Neural Network Consoleレイヤーリファレンス～LeakyReLU～

2019/12/19 2020/2/17 Neural Network Consoleレイヤーリファレンス

LeakyReLUレイヤー(Leaky ReLU活性化関数)

説明

ReLUはxが0以下の入力に対して常に0を出力するのに対し、LeakyReLUはxが0以下の入力に対しても一定値をかけて出力するようにしたものです。

活性化関数の位置づけ

活性化関数は単純パーセプトロンによる線形近似を非線形近似に変換します。

活性化関数の用途は大きくは２つあります。

中間層（隠れ層）の表現範囲を広げること
出力層の結果を求める答えににあった形式に変換すること

詳しくは以下の記事を参照ください。

Neural Network Consoleレイヤーリファレンス～Tanh～

Tanhレイヤー(Tanh活性化関数) 説明入力値のTanhによる処理結果を出力する活性化関数です。活性化関数の位置づけ活性化関数は...

piyonekochannel.com

2019-12-19 11:58

数式

o=max(0, x) + a×min(0, x)
max(0, x)は0かxの大きい方をyとする意味で、 min(0, x)は0かxの小さい方をyとする意味です。
上記の式は以下の様に書き表すこともできます。

プロパティ

Alpha

負の勾配aの値を指定します。

デフォルト値 = 0.1

InPlace

入力バッファと出力バッファの共有設定。

デフォルト値 = *AutoInPlaceOnce

本家マニュアルには以下の様に記載されていますが、現時点は*AutoInPlaceOnce以外は選べない様です。（私の知識不足かもしれませんが・・・）

Trueの場合、入力バッファと出力バッファを共有することにより学習に要するメモリを節約します。
InPlace可能な場合に自動でInPlaceするには、*AutoInPlaceOnceを指定します。

利用用途

LeakyReLU関数は中間層の活性化関数として現在最も多く用いられる関数の一つです。
理由はLeakyReLU関数は微分値が常に1であるため勾配消失の心配が無いためです。
ReLUに合ったxが0以下の場合に微分係数が常に0となり誤差が逆伝播しない問題をLeakyReLUは改善しており、現在最も多く用いられる関数の一つです。（※1）
※1 LeakyReLUの発案者がReLUの代わりにLeakyReLUを用いる意味はなかったと言っていますので、中間層の活性化関数にはReLUを使うでも良いかもしれません。