Neural Network Consoleレイヤーリファレンス ~Affine~

Affineレイヤー(全結合層)

説明

全ての入力値から、OutShapeプロパティで指定する全ての出力ニューロンへの結合を持つ全結合層です。
Affineレイヤー

数式

o = Wi+b

全結合層
全結合層

プロパティ

OutShape

Affineレイヤーの出力ニューロン数を指定します。
前述の数式のoのニューロン数に該当します。

デフォルト値 = 100

WithBias

バイアス項(b)の有無を指定します。

デフォルト値 = True

  • True:バイアス項(b)有り
  • False:バイアス項(b)無し

ParameterScope

このレイヤーで用いるパラメータの名前を指定します。
同じParameterScopeの指定されたレイヤーの間ではパラメータが共有されます。

デフォルト値 = ブランク(このレイヤーでのみ有効)

W.File

プリトレーニング(事前学習)された重みWを用いる場合に、Wの書かれたファイルを絶対パスで指定します。
Fileが指定されており重みWをファイルから読み込む場合、Initializerによる初期化は無効になります。

デフォルト値 = ブランク

プリトレーニング済の設定を取得する方法は後述の「補足説明)プリトレーニング済の設定の取得方法」を参照してください。

W.Initializer

重みWの初期化方法を指定します。

デフォルト値 = NormalAffineGlorot

  • Uniform:-1.0~1.0の一様乱数で初期化します
  • UniformAffineGlorot:一様乱数にXavier Glorot提案の 係数をかけて初期化します
  • Normal:平均0.0、分散1.0であるガウス乱数で初期化します
  • NormalAffineHeForward:ガウス乱数にKaiming He提案の係数をかけて初期化します(Forward Case)
  • NormalAffineHeBackward:ガウス乱数にKaiming He提案の係数をかけて初期化します(Backward Case)
  • NormalAffineGlorot:ガウス乱数にXavier Glorot提案の 係数をかけて初期化します
  • Constant:全ての要素を一定値(1.0)で初期化します

W.InitializerMultiplier

W.Initializerにより生成した値に対して掛ける係数を指定します。

デフォルト値 = 1

W.LRateMultiplier

コンフィグタブで指定したLearning Rateに対し、重みWの更新に用いるLearning Rateの倍率を指定します。
例えばコンフィグタブで指定したLearning Rateが0.01の状態でW.LRateMultiplierを2とした場合、重みWはLearning Rate0.02で更新されます。

デフォルト値 = 1

b.File

プリトレーニング(事前学習)されたバイアス項bを用いる場合に、bの書かれたファイルを絶対パスで指定します。
Fileが指定されておりバイアス項bをファイルから読み込む場合、Initializerによる初期化は無効になります。

デフォルト値 = ブランク

b.Initializer

バイアス項bの初期化方法を指定します。

デフォルト値 = NormalAffineGlorot

  • Uniform:-1.0~1.0の一様乱数で初期化します
  • UniformAffineGlorot:一様乱数にXavier Glorot提案の 係数をかけて初期化します
  • Normal:平均0.0、分散1.0であるガウス乱数で初期化します
  • NormalAffineHeForward:ガウス乱数にKaiming He提案の係数をかけて初期化します(Forward Case)
  • NormalAffineHeBackward:ガウス乱数にKaiming He提案の係数をかけて初期化します(Backward Case)
  • NormalAffineGlorot:ガウス乱数にXavier Glorot提案の 係数をかけて初期化します
  • Constant:全ての要素を一定値(1.0)で初期化します

b.InitializerMultiplier

b.Initializerにより生成した値に対して掛ける係数を指定します。

デフォルト値 = 1

b.LRateMultiplier

コンフィグタブで指定したLearning Rateに対し、バイアス項bの更新に用いるLearning Rateの倍率を指定します。
例えばコンフィグタブで指定したLearning Rateが0.01の状態でb.LRateMultiplierを2とした場合、バイアス項bはLearning Rate0.02で更新されます。

デフォルト値 = 1

出力サイズ

OutShape値

利用用途

多層パーセプトロンの隠れ層やCNNの全結合層に使用します。
何れのネットワークにおいても使用するネットワークの基幹となるレイヤーです。

サンプル構成

CNN(畳み込みニューラルネットワーク)

CNN

CNNについての詳しいことはこちら↓↓↓

こんにちはー。管理人のピヨ猫でーす。 SONY Neural Network Consoleでディープラーニングの画像認識にチャレンジしてい...

LSTM(時系列解析ネットワーク Long-Short Term Memory)

LSTM

LSTMについての詳しいことはこちら↓↓↓

こんにちはー。管理人のピヨ猫でーす。 機械学習を使って予測がしたくてSONY Neural Network Consoleでディープラーニン...

補足説明)プリトレーニング済の設定の取得方法

学習済モデルを開く

① 学習済モデルの履歴を右クリック ⇒ ② Open in EDIT Tab with Weight を選択する
プリトレーニング済の設定の取得方法

学習済モデルのパラメタ設定ファイルを確認する

学習済モデルのW.File、b.Fileに設定されているパラメタファイルのパスを確認する。
プリトレーニング済の設定の取得方法

パラメタファイルを確認。これを任意のモデルに適用すれば学習済のパラメタを利用できます。
プリトレーニング済の設定の取得方法

【送料無料】 ソニー開発のNeural Network Console入門 増補改訂・クラウド対応版--数式なし、コーディングなしのディープラーニング / 足立悠 【本】

価格:2,592円
(2019/6/26 22:40時点)
感想(0件)

広告




スポンサーリンク
広告




広告




シェアする

  • このエントリーをはてなブックマークに追加

フォローする

スポンサーリンク
広告