はじめに
ニューラルネットワークの複素数値化は一応成功したと言えるでしょう。さらに拡張するというのは自然な研究の流れでしょう。多くの人が思いつくのは四元数です。さらに多様な代数系を求めて、クリフォード代数などが試みられています。今回はモデル拡張の考え方を見る目的で MLP の四元数化を取り上げます。
単純な構成例
ニューラルネットワークの高次元化で何を決める必要があるかというと、ニューロンの入出力と入力和です。複素 MLP の場合を確認しましょう。ニューロンへの入力を直交座標系と極座標系の2通りで表して
T. Nitta: “A Quaternary Version of the Back-propagation Algorithm”, Proceedings of IEEE International Conference on Neural Networks, ICNN’95-Perth, Nov. 27-Dec. 1, Vol.5, pp.2753-2756 (1995).
T. Nitta: “An Extension of the Back-propagation Algorithm to Quaternions”, Proceedings of International Conference on Neural Information Processing, ICONIP’96-HongKong, Sep. 25-27, Vol.1, pp.247-250 (1996).
別の活性化関数としては位相型
ニューロンへの入力和は
M. Kobayashi, A. Nakajima: “Twisted Quaternary Neural Networks”, IEEJ Transactions on Electrical and Electronic Engineering, Vol.7, No.4, pp.397-401 (2012)
3次元の構成例
少し特徴のある構成例を解説しましょう。四元数の利用法の1つに3次元空間の回転作用があります。Arena がこれを反映した構成を提案しています。詳しくは次の書籍または Arena の論文を参照してください。
Neural Networks in Multidimensional Domains (Lecture Notes in Control and Information Sciences, 234) Paolo Arena著 Springer
四元数の実部を 0 にすることで、3成分になります。
どこまで研究すればよいのか
本ブログは国際会議または論文誌の査読に通るレベルの研究を想定しています。どの程度の研究をすれば査読に通るのでしょうか。査読者の価値観にも大きく依存しますので、あくまでも個人的な戦略に過ぎないという点をご承知ください。上のように新しいモデルを考えるだけでも新規性はありますが、それだけでは査読者を納得させることは難しいと思います。それでも新規性はありますので、余裕のない国際会議では採択されるかもしれません。MLPの場合は学習アルゴリズムとしてバックプロパゲーション学習則を導出することが出来ます。バックプロパゲーションは単なる勾配降下法ですので、地道に計算すれば導出できます。学習則を実装すれば計算機シミュレーションを追加することが出来ます。それだけでは有用性が示せたわけではないですが、それなりに体裁が整いますのでレベルの低い国際会議なら採択される確率も上がるかもしれません。
単純な構成例で取り上げた新田先生の業績を見てみましょう。国際会議 ICONIP に採択されています。ICONIP はこの分野ではレベルが高い国際会議とされています。それは、提案モデルが従来のモデルより高速に学習できることをシミュレーションで示して、有用性を主張したことが理由だと思われます。Arena も論文が複数採択されていると思います。あまり憶えていませんが、ロボットのアームの制御に応用したと思います。こういった応用事例があると論文誌に採択されやすくなります。
研究課題
ここで研究課題を提供します。本記事を見てこの課題を研究される方にお願いですが、今後の発展のために研究成果は国際会議または英文論文誌で発表していただき、掲載誌を知らせていただけると幸いです。
私の主な研究テーマは連想記憶ですが、共同研究者と dual connection という方法を開発しました。dual connection に関しては次の文献があります。
T. Minemoto, T. Isokawa, M. Kobayashi, H. Nishimura, N. Matsui: “Pattern Retrieval by Quaternionic Associative Memory with Dual Connections”, International Conference on Neural Information Processing (ICONIP 2016), pp.317-325 (2016)
M. Kobayashi: “Quaternion-Valued Twin-Multistate Hopfield Neural Networks with Dual Connections”, IEEE Transactions on Neural Networks and Learning Systems, Vol.32, No.2, pp.892-899 (2021)
M. Kobayashi: “Storage Capacity of Quaternion-Valued Hopfield Neural Networks with Dual Connections”, Neural Computation, Vol.33, No.8, pp.2226-2240 (2021)
四元数の積は非可換のため入力和