Neural Network Consoleレイヤーリファレンス~SigmoidCrossEntropy~

SigmoidCrossEntropyレイヤー(シグモイド交差エントロピー)

説明

データセットの変数との交差エントロピーを最小化するニューラルネットワークの出力層です。学習時、SigmoidCrossEntropyはSigmoid + BinaryCrossEntropyと等価ですが、まとめて演算することにより演算誤差を抑える効果があります。

ご参考)
Sigmoid + BinaryCrossEntropyの代わりにSigmoidCrossEntropyを用いた場合、評価実行結果としてはSigmoid処理が行われていない連続値がそのまま出力されることになります。

SigmoidCrossEntropyレイヤー

誤差関数の位置づけ

誤差関数レイヤーは出力層に位置づいていますが、厳密にはこのレイヤーの手前の層が出力層です。誤差関数レイヤーは学習済モデルの実行時は手前のレイヤーの出力をそのまま出力します。
学習時は手前のレイヤーの出力を正解値と比較し、出力値と正解値の誤差を算出します。算出された誤差は各ネットワークの重みの変更に利用されます。

誤差関数の位置づけ

数式

シグモイド関数

数式

2値分類交差エントロピー

数式

シグモイド関数について

https://piyonekochannel.com/entry/2019/12/19/204731

2値分類交差エントロピー関数について

https://piyonekochannel.com/entry/2019/12/19/120408

プロパティ

T.Dataset

データセットに含まれる変数のうち、このBinaryCrossEntropyレイヤーの出力として期待する変数の変数名を指定します。

デフォルト値 = y

T.Generator

データセットの代わりに用いるGeneratorを指定します。GeneratorプロパティがNone以外の場合、最適化時T.Datasetで指定した変数の代わりにGeneratorにより生成するデータを用います

デフォルト値 = None

  • None:データ生成を行いません
  • Uniform:-1.0~1.0の一様乱数を生成します
  • Normal:平均0.0、分散1.0であるガウス乱数を生成します
  • Constant:全ての要素が一定値(1.0)であるデータを生成します

T.GeneratorMultiplier

T.Generatorにより生成した値に対して掛ける係数を指定します。

デフォルト値 = 1

利用用途

出力結果と正解の誤差の算出に利用します。出力結果が0と1の2値の場合に使用します。
分類ネットワークにおいて使用するネットワークの基幹となるレイヤーです。

出力サイズ

入力サイズと同様

サンプル構成

CNN

CNN

補足)誤差関数の役割と学習の仕組み

https://qiita.com/Nezura/items/0a37e1746f2830e31ddc/

qiitaに丸投げです(-_-;)
何時か自分で記事にします。

【送料無料】 ソニー開発のNeural Network Console入門 増補改訂・クラウド対応版--数式なし、コーディングなしのディープラーニング / 足立悠 【本】

価格:2,592円
(2019/6/26 22:40時点)
感想(0件)

広告




スポンサーリンク
広告




広告




シェアする

  • このエントリーをはてなブックマークに追加

フォローする

スポンサーリンク
広告