Sigmoidレイヤー(シグモイド活性化関数)
説明
入力値のSigmoidによる処理結果を出力する活性化関数です。
確率など0.0～1.0の出力値を得たい場合に使用します。
活性化関数の位置づけ
活性化関数は単純パーセプトロンによる線形近似を非線形近似に変換します。
活性化関数の用途は大きくは２つあります。
- 中間層（隠れ層）の表現範囲を広げること
- 出力層の結果を求める答えににあった形式に変換すること
詳しくは以下の記事を参照ください。
Tanhレイヤー(Tanh活性化関数)
説明
入力値のTanhによる処理結果を出力する活性化関数です。
活性化関数の位置づけ
活性化関数は...
piyonekochannel.com
2019-12-19 11:58
数式
o=sigmoid(x)
プロパティ
なし
利用用途
Sigmoid関数はLSTM等の連続データの回帰分析を行うネットワークにおいて、出力層の結果を0～1の範囲に変換するために利用します。
Sigmoid関数には勾配消失問題があるため中間層では使われません。中間層には勾配消失問題が少ないReLUなどの活性化関数を用いるのが一般的です。
出力サイズ
入力サイズと同様
サンプル構成
LSTM
誤差関数の使い分けについて
中間層
PReLuなどのReLu系の関数を使うのが一般的です。
Sigmoid関数、Tanh関数は勾配消失問題があり、層が深くなると重みの調整が巧くいかなくなります。
出力層
回帰問題を解く場合はSigmoid関数、分類問題を解く場合はSoftmax関数を用いるのが一般的です。
2019/05/25 コメントで指摘頂きまして訂正します。ご指摘ありがとうございました。
回帰問題の場合
- 恒等関数（＝出力層に関数を挟まない）が一般的です。
- 出力値を0～1の範囲に納めたい場合はシグモイド関数も使われる。
分類問題の場合
- 二値分類問題を解く場合はSigmoid関数が使われることが多い。
- 多値分類問題を解く場合はSoftmax関数が使われることが多い。
こちらのサイトが参考になりましたので、リンクを掲載いたします。
https://thinkit.co.jp/article/14103
 |
【送料無料】 ソニー開発のNeural Network Console入門 増補改訂・クラウド対応版--数式なし、コーディングなしのディープラーニング / 足立悠 【本】 価格:2,592円 |
