ＲｅＬＵ関数 (3/5) 活性化関数の要求仕様<後半>
はぐれ弁理士 PA Tora-O です。前回（第２回）では、活性化関数の要求仕様について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。
前回検討の補足
第３要件：活性化区間における傾きが１であること。
ところで、この第３要件に関して、単に勾配消失を防ぐのであれば活性化関数の傾きを１に限定する必要はないのでは？と考えた方もいるでしょう。むしろ、傾きを２とか３に設定した方がより好ましいのでは？という意見です。確かに、活性化関数をｍａｘ（２ｘ，０）に設定したとき、２倍になった傾きを相殺すべく結合重みを全体的に１／２倍にすれば、傾きが１である場合と等価の学習結果が得られるとも言えそうです。
ところが、関数の傾きがそれぞれ１より大きい場合には、項数の増加につれてプロダクトが増幅するので、今度は勾配爆発（Exploding Gradients）が問題になります。つまり、逆伝播の過程において誤差の勾配が爆発し、入力層付近での学習が進みにくくなります。
このように、状況にもよりますが、基本的には、傾きの値は、何乗しても一定値になる「１」が最も望ましいです。上記した学習結果の等価性と、収束性の良し悪しは別の問題であると言えます。そのあたりを誤解しないように気を付けましょう。
要求仕様のクレーム化
続いて、既に定義した３つの要件を使ってクレーム骨子を作成してみます。ここでは、勾配消失／勾配爆発を抑制することを課題に挙げて検討してみます。まずは、活性化関数が満たすべき要件を３つ挙げます（再掲）。
- 第１要件：連続関数であって広義単調増加であること。
- 第２要件：全区間線形性が破れていること。
- 第３要件：活性化区間における傾きが１であること。
第１要件は、活性化関数にとって重要な事項ですが、勾配消失／勾配爆発との関連性が低いと思われます。クレームの構成から除外しても特に問題なさそうです。
第２要件は、「全区間線形性の破れ」がちょっと何言ってるか解りません。クレームへの適用にあたって表現の見直しが必要ですが、第３要件の検討を先に済ませましょう。
第３要件は、「活性化区間」という表現がやや不明確です。そこで、「区間」の文言を用いずに曲線の形状のみで表現してみます。例えば、ある点（ｘ＝０）から正側に延びる直線の勾配が１である、というイメージでしょうか。ＲｅＬＵ関数の場合、「ある点」とは屈曲点に相当するので、この表現を使ってしまいます。なお、屈曲点は基本的にはｘ＝０ですが、活性化関数にバイアス（閾値）が含まれると解釈した場合にはｘ≠０になり得ます。したがって、屈曲点の座標をｘ＝０に特定しない方が良さそうです。
第２要件に戻って、前回で説明した通り、屈曲点の存在を示すことで全区間線形性の破れがあることを暗に表現できているため、「全区間線形性の破れ」の文言を使わずに済みました。
それでは、改めて作成し直したクレーム骨子は、以下の通りです。
【クレーム骨子】（第２形態）
複数の演算ユニットを含んで構成されるニューラルネットワークを用いた演算方法であって、少なくとも１個の演算ユニットの活性化関数が、以下の２つの条件Ａ，Ｂを同時に満たすことを特徴とする演算方法。
（条件Ａ）全区間内に少なくとも１つの屈曲点があること。
（条件Ｂ）屈曲点から正側に延びる直線の傾きが１であること。
以上、今回（第３回）は、活性化関数の要求仕様について補足的に説明し、改めてクレーム骨子を作成しました。次回（第４回）は、ＲｅＬＵ関数の改良案を紹介しつつ、クレーム第２形態の妥当性を評価してみます。
↓ブログランキングに参加しています。よろしければ１クリックお願いします。
