Seq2Seq（4/4）総括
はぐれ弁理士 PA Tora-O です。前回（第３回）では、Seq2Seq の実施例について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回は、過去３回分の検討を踏まえ、発明ストーリーの一例を提示します。
発明ストーリー
【従来技術】
従来から、自動翻訳の分野において、登録済みのルールを適用して原文を分析することで訳文を出力するルールベース機械翻訳（ＲＭＴ）や、対訳データの学習を通じて構築された統計モデルを用いて訳文を出力する統計的機械翻訳（ＳＭＴ）が知られている。
【問題点と課題】
問題点は、ＲＭＴではルールを登録するための手間や複雑さがあり、ＳＭＴでは処理時の計算コストが高いこと。
課題は、単語列に関する個別・具体的な変換ルールを登録する手間や、変換処理に要する計算コストを削減すること。
【クレーム骨子】
<Encoder>
単語のラベル集合を入力する入力層と、入力情報に対して再帰的演算を実行可能な１層以上の隠れ層と、を含む再帰型ニューラルネットワークを構築可能に構成され、
１層以上の隠れ層は、
単語列を構成する単語が入力層から時系列的に入力される度に、再帰的演算を実行して隠れ状態ベクトルを計算し、
得られた時系列の隠れ状態ベクトルのうち少なくとも１つのベクトルを単語列の特徴量として出力する
ことを特徴とする単語列処理装置。（１９９文字）
<Decoder>
単語のラベル集合を入力する入力層と、入力情報に対して再帰的演算を実行可能な１層以上の隠れ層と、単語のラベル集合を出力する出力層と、が順次接続されてなる再帰型ニューラルネットワークを構築可能に構成され、
再帰型ニューラルネットワークは、
第１単語列の特徴ベクトルが１層以上の隠れ層に供給されたことを契機として、ラベル集合の入力、再帰的演算による特徴ベクトルの更新、及びラベル集合の出力を時系列的に繰り返すことで、第１単語列に対応する第２単語列を生成する
ことを特徴とする単語列処理装置。（２３９文字）
【作用と効果】
<Encoder>
単語列を構成する単語が入力層から時系列的に入力される度に、再帰的演算を実行して隠れ状態ベクトルを計算することで、単語の配列を示す時系列情報が段階的に符号化される。得られた少なくとも１つの特徴ベクトルを適切に復号化できれば、単語列に関する個別・具体的な変換ルールを一々設定しなくても済むので、登録の手間が削減される。
<Decoder>
ラベル集合の入力、再帰的演算による特徴ベクトルの更新、及びラベル集合の出力を時系列的に繰り返すことで、特徴ベクトルが示す時系列情報の段階的な復号化によって、第１単語列に対応する第２単語列が生成される。このように、再帰型ニューラルネットワークを用いることで、単語の母集団に対する統計的手法の場合と比べて、単語列の変換処理に要する計算コストが削減される。
作者コメント
この種の発明は、ネットワーク構造（第３回記事の図２参照）で特定するクレームを作成するのがより明快と思われます。ところが、ＡＩの世界では、ＳＯＴＡ（State-of-the-art）の更新が目まぐるしいので、ネットワーク構造を安易に具体化したクレームを作ってしまうと、その改良モデルがカバーできなくなる場合が多いです。そこで、今回、「再帰的演算」と「隠れ状態ベクトル（特徴ベクトル）」の構成、「符号化／復号化」の機能にそれぞれ焦点を当てて、ネットワーク構造による限定を極力避けるようにクレーム骨子を作成しました。
頑張ってエンコーダ部分とデコーダ部分を別々にクレームアップしたのですが、作用効果が上手く書けなかったことから、ちょっと無理があったかもしれません。実務的には、エンコーダとデコーダのセットを基軸にクレームを作成する方がやはり賢明かと思われます。
以上をもちまして、Seq2Seq の事例検討を終了します。次回から、また別のテーマに移ります。
↓ブログランキングに参加しています。よろしければ１クリックお願いします。
