ELUレイヤー(Exponential Linear Units)

説明

ReLUはxが0以下の入力に対して常に0を出力するのに対し、ELUはxが0以下の入力に対しても一定値をかけて出力するようにしたものです。
ELUと似たような関数にLeakyReLUがあります。
LeakyReLUとELUの違いはx < 0以下の計算に指数関数を用いていることです。

活性化関数の位置づけ

活性化関数は単純パーセプトロンによる線形近似を非線形近似に変換します。

活性化関数の用途は大きくは２つあります。

• 中間層（隠れ層）の表現範囲を広げること
• 出力層の結果を求める答えににあった形式に変換すること

詳しくは以下の記事を参照ください。

Neural Network Consoleレイヤーリファレンス～Tanh～

Tanhレイヤー(Tanh活性化関数) 説明 入力値のTanhによる処理結果を出力する活性化関数です。 活性化関数の位置づけ 活性化関数は...

piyonekochannel.com

2019-12-19 11:58

数式

o=max(0, x) + alpha(exp(min(0, x)) – 1)
max(0, x)は0かxの大きい方をyとする意味で、 min(0, x)は0かxの小さい方をyとする意味です。
alphaは係数です。
上記の式は以下の様に書き表すこともできます。

プロパティ

Alpha

負の勾配aの値を指定します。

デフォルト値 = 1

利用用途

ELU関数は中間層の活性化関数として用いられる関数の一つです。
理由はELU関数は微分値が常に1であるため勾配消失の心配が無いためです。
ReLUに合ったxが0以下の場合に微分係数が常に0となり誤差が逆伝播しない問題をELUは改善しています。

ReLU、PReLU及びその他の活性化関数の効果の比較結果

出典： [https://www.procrasist.com/entry/2017/01/12/200000]

出力サイズ

入力サイズと同様

サンプル構成

多層パーセプトロン

誤差関数の使い分けについて

中間層

PReLuなどのReLu系の関数を使うのが一般的です。
Sigmoid関数、Tanh関数は勾配消失問題があり、層が深くなると重みの調整が巧くいかなくなります。

出力層

回帰問題の場合

• 恒等関数（＝出力層に関数を挟まない）が一般的です。
• 出力値を0～1の範囲に納めたい場合はシグモイド関数も使われる。

分類問題の場合

• 二値分類問題を解く場合はSigmoid関数が使われることが多い。
• 多値分類問題を解く場合はSoftmax関数が使われることが多い。

こちらのサイトが参考になりましたので、リンクを掲載いたします。
https://thinkit.co.jp/article/14103

【送料無料】 ソニー開発のNeural Network Console入門 増補改訂・クラウド対応版--数式なし、コーディングなしのディープラーニング / 足立悠 【本】 価格:2,592円 (2019/6/26 22:40時点) 感想(0件)