Affineレイヤー(全結合層)
説明
全ての入力値から、OutShapeプロパティで指定する全ての出力ニューロンへの結合を持つ全結合層です。
数式
o = Wi+b
プロパティ
OutShape
Affineレイヤーの出力ニューロン数を指定します。
前述の数式のoのニューロン数に該当します。
デフォルト値 = 100
WithBias
バイアス項(b)の有無を指定します。
デフォルト値 = True
- True：バイアス項(b)有り
- False：バイアス項(b)無し
ParameterScope
このレイヤーで用いるパラメータの名前を指定します。
同じParameterScopeの指定されたレイヤーの間ではパラメータが共有されます。
デフォルト値 = ブランク（このレイヤーでのみ有効）
W.File
プリトレーニング（事前学習）された重みWを用いる場合に、Wの書かれたファイルを絶対パスで指定します。
Fileが指定されており重みWをファイルから読み込む場合、Initializerによる初期化は無効になります。
デフォルト値 = ブランク
プリトレーニング済の設定を取得する方法は後述の「補足説明）プリトレーニング済の設定の取得方法」を参照してください。
W.Initializer
重みWの初期化方法を指定します。
デフォルト値 = NormalAffineGlorot
- Uniform：-1.0～1.0の一様乱数で初期化します
- UniformAffineGlorot：一様乱数にXavier Glorot提案の 係数をかけて初期化します
- Normal：平均0.0、分散1.0であるガウス乱数で初期化します
- NormalAffineHeForward：ガウス乱数にKaiming He提案の係数をかけて初期化します（Forward Case）
- NormalAffineHeBackward：ガウス乱数にKaiming He提案の係数をかけて初期化します（Backward Case）
- NormalAffineGlorot：ガウス乱数にXavier Glorot提案の 係数をかけて初期化します
- Constant：全ての要素を一定値（1.0）で初期化します
W.InitializerMultiplier
W.Initializerにより生成した値に対して掛ける係数を指定します。
デフォルト値 = 1
W.LRateMultiplier
コンフィグタブで指定したLearning Rateに対し、重みWの更新に用いるLearning Rateの倍率を指定します。
例えばコンフィグタブで指定したLearning Rateが0.01の状態でW.LRateMultiplierを2とした場合、重みWはLearning Rate0.02で更新されます。
デフォルト値 = 1
b.File
プリトレーニング（事前学習）されたバイアス項bを用いる場合に、bの書かれたファイルを絶対パスで指定します。
Fileが指定されておりバイアス項bをファイルから読み込む場合、Initializerによる初期化は無効になります。
デフォルト値 = ブランク
b.Initializer
バイアス項bの初期化方法を指定します。
デフォルト値 = NormalAffineGlorot
- Uniform：-1.0～1.0の一様乱数で初期化します
- UniformAffineGlorot：一様乱数にXavier Glorot提案の 係数をかけて初期化します
- Normal：平均0.0、分散1.0であるガウス乱数で初期化します
- NormalAffineHeForward：ガウス乱数にKaiming He提案の係数をかけて初期化します（Forward Case）
- NormalAffineHeBackward：ガウス乱数にKaiming He提案の係数をかけて初期化します（Backward Case）
- NormalAffineGlorot：ガウス乱数にXavier Glorot提案の 係数をかけて初期化します
- Constant：全ての要素を一定値（1.0）で初期化します
b.InitializerMultiplier
b.Initializerにより生成した値に対して掛ける係数を指定します。
デフォルト値 = 1
b.LRateMultiplier
コンフィグタブで指定したLearning Rateに対し、バイアス項bの更新に用いるLearning Rateの倍率を指定します。
例えばコンフィグタブで指定したLearning Rateが0.01の状態でb.LRateMultiplierを2とした場合、バイアス項bはLearning Rate0.02で更新されます。
デフォルト値 = 1
出力サイズ
OutShape値
利用用途
多層パーセプトロンの隠れ層やCNNの全結合層に使用します。
何れのネットワークにおいても使用するネットワークの基幹となるレイヤーです。
サンプル構成
CNN（畳み込みニューラルネットワーク）
CNNについての詳しいことはこちら↓↓↓
LSTM（時系列解析ネットワーク Long-Short Term Memory）
LSTMについての詳しいことはこちら↓↓↓
補足説明）プリトレーニング済の設定の取得方法
学習済モデルを開く
① 学習済モデルの履歴を右クリック ⇒ ② Open in EDIT Tab with Weight を選択する
学習済モデルのパラメタ設定ファイルを確認する
学習済モデルのW.File、b.Fileに設定されているパラメタファイルのパスを確認する。
パラメタファイルを確認。これを任意のモデルに適用すれば学習済のパラメタを利用できます。
 |
【送料無料】 ソニー開発のNeural Network Console入門 増補改訂・クラウド対応版--数式なし、コーディングなしのディープラーニング / 足立悠 【本】 価格:2,592円 |
