高次元ニューラルネットワーク研究所

はじめに 複素連想記憶モデルの発展させるために、複素数を他の代数系で置き換えることは自然な発想です。四元数も最初に思いつくでしょう。実数、複素数、四元数の流れから次に何が来るでしょうか。この系列が Cayley–Dickson 代数の一部と...

はじめに 前回の記事 ニューラルネットワークの四元数化 では四元数の MLP を構成しました。MLP を高次元化することは比較的容易で、連想記憶を高次元化する場合は難易度が上がります。それは安定性を保証する必要があるからです。実数の場合では...

はじめに 連想記憶とは学習パターンを記憶する学習モデルです。記憶するとは学習パターンを安定状態に持つということ、エネルギーの言葉で表せば、学習パターンをエネルギーの極小にすることになります。実数型の Hopfield 連想記憶では、パターン...

はじめに 複素連想記憶に関しては Hopfield Network　複素数値化の例 をご覧ください。オープンアクセスの文献も紹介してあります。 反転不変性 Hopfield 連想記憶では、パターンベクトル \( \vec{x} \) のエネ...

今回は projection rule の理論的な補足をします。 記憶容量 学習ベクトルを並べた行列 \( X=\left( \, \vec{x}^1 \, \cdots \, \vec{x}^P \, \right) \) に対して \(...

学習アルゴリズムの種類 これまでに学習則としてヘブ則を解説しました。ヘブ則は記憶容量が非常に小さいために、学習データが極めて少ない場合にのみ使用されます。データが増えた場合に学習できる学習アルゴリズムが幾つか提案されています。代表例が pr...

偽記憶 Hopfield 連想記憶は幾つかの学習パターンを記憶し、ノイズを乗せた学習パターンを与えてノイズを回復する形で利用されます。したがって、記憶容量とともにノイズ除去性能が求められます。ノイズ除去性能に深く関わってくるのが偽記憶という...

前回の学習パターンは１つでした。今回は複数パターンを学習するヘブ則を扱います。 複数パターンのヘブ則 学習パターンを \( \{ \vec{a}^p = (a_1^p, \cdots, a_N^p)^{\mathrm{T}} \,|\, p...

Hopfield Network の構造を与え、収束することまで証明しました。今回は Hopfield Network の応用として、連想記憶を解説します。Hopfield Network を使った連想記憶を Hopfield Associ...