LeakyReLUレイヤー(Leaky ReLU活性化関数)

説明

ReLUはxが0以下の入力に対して常に0を出力するのに対し、LeakyReLUはxが0以下の入力に対しても一定値をかけて出力するようにしたものです。

活性化関数の位置づけ

活性化関数は単純パーセプトロンによる線形近似を非線形近似に変換します。

活性化関数の用途は大きくは２つあります。

• 中間層（隠れ層）の表現範囲を広げること
• 出力層の結果を求める答えににあった形式に変換すること

詳しくは以下の記事を参照ください。

Neural Network Consoleレイヤーリファレンス～Tanh～

Tanhレイヤー(Tanh活性化関数) 説明 入力値のTanhによる処理結果を出力する活性化関数です。 活性化関数の位置づけ 活性化関数は...

piyonekochannel.com

2019-12-19 11:58

数式

o=max(0, x) + a×min(0, x)
max(0, x)は0かxの大きい方をyとする意味で、 min(0, x)は0かxの小さい方をyとする意味です。
上記の式は以下の様に書き表すこともできます。

プロパティ

Alpha

負の勾配aの値を指定します。

デフォルト値 = 0.1

InPlace

入力バッファと出力バッファの共有設定。

デフォルト値 = *AutoInPlaceOnce

本家マニュアルには以下の様に記載されていますが、現時点は*AutoInPlaceOnce以外は選べない様です。（私の知識不足かもしれませんが・・・）

利用用途

LeakyReLU関数は中間層の活性化関数として現在最も多く用いられる関数の一つです。
理由はLeakyReLU関数は微分値が常に1であるため勾配消失の心配が無いためです。
ReLUに合ったxが0以下の場合に微分係数が常に0となり誤差が逆伝播しない問題をLeakyReLUは改善しており、現在最も多く用いられる関数の一つです。（※1）
※1 LeakyReLUの発案者がReLUの代わりにLeakyReLUを用いる意味はなかったと言っていますので、中間層の活性化関数にはReLUを使うでも良いかもしれません。

出力サイズ

入力サイズと同様

サンプル構成

多層パーセプトロン

誤差関数の使い分けについて

中間層

PReLuなどのReLu系の関数を使うのが一般的です。
Sigmoid関数、Tanh関数は勾配消失問題があり、層が深くなると重みの調整が巧くいかなくなります。

出力層

回帰問題の場合

• 恒等関数（＝出力層に関数を挟まない）が一般的です。
• 出力値を0～1の範囲に納めたい場合はシグモイド関数も使われる。

分類問題の場合

• 二値分類問題を解く場合はSigmoid関数が使われることが多い。
• 多値分類問題を解く場合はSoftmax関数が使われることが多い。

こちらのサイトが参考になりましたので、リンクを掲載いたします。
https://thinkit.co.jp/article/14103

【送料無料】 ソニー開発のNeural Network Console入門 増補改訂・クラウド対応版--数式なし、コーディングなしのディープラーニング / 足立悠 【本】 価格:2,592円 (2019/6/26 22:40時点) 感想(0件)