人と音楽を結びつける技術

 以下は、今年（2020年）9月12日（土）に、YouTubeとニコニコ動画でライブ配信されました、「OngaACCELシンポジウム2020」を、筆者なりに理解した非公式な内容です。

現在は、以下のURLでアーカイブ配信されています。

◆OngaACCELシンポジウム2020

◆OngaACCELプロジェクト 公式HP

このシンポジウムの視聴者は、音楽と共に、音楽に関するテクノロジーやAIに、最低限以上の知識・理解がある方を対象としていると思われます。

そこで、そういったことに、あまり馴染みがない人にも解るよう、易しく簡潔にお話しようと考えて書きました。

【本文】

イギリスの作家コリン・ウィルソン（1931-2013）は、少年時代、アインシュタインのような科学者になることを夢見ていましたが、家が貧しくて（日本でいう）高校に進学出来ずに、工場労働者をしながら図書館で勉強を続け、23歳の時に書いた心理学的評論『アウトサイダー』で、一夜にして世界的作家となりました。

そのウィルソンは、生涯、大量の書籍を買い続け、置く場所がなくなる度に庭に小屋を立てたらしいですが、ある時点で２万冊と言われた蔵書の大半を実際に読んでいたといいます。

ところで、ウィルソンは、本だけでなく、音楽も好きで、彼の時代ですから、主にアナログレコードを、やはり大量に購入しました。

そしてある時、買ったレコードを全部聴くには、どのくらいの時間がかかるか計算してみたところ、一生、絶え間なく聴いても、聴ききれないことが判ったといいます。

◆名曲のほとんどを一生聴かない

普通の人は、歴史的名曲であっても、その大半を一生聴かずに終わります。

モーツァルトやベートーヴェンの主要曲ですら、クラシック音楽愛好家でない限り、そのほとんどを一度も聴いたことはないでしょう。

クラシックに限らず、もしかしたら、聴きさえすれば感動するような名曲でも、一生出会わないことがほとんどです。

ところで、音楽制作というものは、決して専門家だけが出来ることではなく、特に、近年はパソコンを使った電子音楽創作技術の発達により、音楽は、実は誰でも作ることが出来ることが解ってきました。

昔ですら、名曲の誉れ高いフランス国歌『ラ・マルセイエーズ』は、プロではない趣味の音楽家が作ったものです。

ですから、毎日、素晴らしい曲が、世界中で沢山生まれ続けていると考えた方が自然と思います。

そして、せっかく作られた素晴らしい曲が、誰にも聴かれないまま埋もれたり、また、聴いていれば歓喜するような曲に出会えないというのは残念なことと思います。

◆AIによる音楽との出会い

その中で、AI等のテクノロジーを使い、人と音楽を結びつける研究が行われています。

その人に合った音楽がスムーズに見つかるよう支援することが１つの目的です。

経済産業省所管の公的研究機関である国立研究開発法人産業技術総合研究所（略称：産総研）の人間情報インタラクション 研究部門、首席研究員、兼、メディアコンテンツ生態系プロジェクトユニット代表である後藤真孝氏（工学博士）が中心となって行っている、そういった研究成果が、今年9月12日、「OngaACCELシンポジウム2020」として、３時間に渡って開催され、YouTubeでライブ配信されました。

（「OngaACCELシンポジウム2020」プロジェクトマネージャーは、クリプトン・フューチャー・メディア社長、伊藤博之氏）

その内容の一部を、以下でお話しようと思います。

以下にご紹介するサービスでは、YouTube、ニコニコ動画などの、膨大な曲を利用出来ます。 

◆Lyric Jumper 

このサービスは、まず、ある歌手が、どんな傾向の歌を歌っているのかを歌詞で解析します。

例えば、松田聖子と指定すれば、AIは、第一に「大人の恋愛」にカテゴライズ出来る曲が多いと判定し、では、楽曲のどの部分が、大人の恋愛と言えるかを示します。

さらに、同じ傾向を持つ歌手を選別し、サービスの利用者は、次に聴く歌手を選ぶ際の参考にすることが出来ます。

◆Songle

AIの力を借りて、その楽曲がそのような曲であるかを素早く把握することが出来るサービスです。

例えば、曲のサビ（聴かせどころ）をAIが抽出し、サビから聴くことで、音楽の傾向や雰囲気を感じることが出来ます。

もし、AIの判断が不正確だと考えられる場合は、人間が修正することも出来、AIと人間の集合知の両方を生かすことが出来ます。

◆Songrium

曲と曲との関係性から、自分に適した音楽を発見することを支援するという高度なサービスです。

今日では、１つの音楽コンテンツから、新しい音楽コンテンツが派生することがよくあります。

例えば、ある曲を気に入った人が、その曲を自分で歌い、演奏し、動画を作ったりして、新しいコンテンツとして動画サイトに投稿するのです。

（著作権の関係で問題が起こる場合もありますが）

こういった、オリジナル作品と派生作品の関係を解析することで、これまでは分からなかった、その音楽の傾向性を見つけ出せることが研究により分かってており、ここからも、お薦めの音楽を選択する重要なヒントが得られます。

これは、インターネットの発達と、一般の人がコンテンツを創造するCGM文化の発展がなければ、起こらなかったことです。

ニコニコ動画の21万曲のオリジナル曲に対する82万以上の派生作品を解析に利用しています。

◆Songle sync（同期技術）

これは、上記のものとは違い、音楽を解析する技術を応用し、人々を楽しませるサービスです。

例えば、コンサートにおいて、音楽に合わせてライブ会場の照明（色や照度等）を変化させたり、観客のスマートフォンにCGを表示させることで、ライブをより楽しいものに出来ます。

あるいは、音楽と同期してロボットを動かすことも出来ます。

ポイントは、そういった演出はソフトウェアが作るので人間が作る必要がないことと、音楽と完全同期することです。

例えば、１つの場所で、曲に合わせて花火を打ち上げ、遠くの人は、スマートフォンでリアルタイム配信された音楽を聴きながら、曲と同期した花火を楽しむことが出来ます。

同じことを普通に野外で行えば、まず、光速と音速の差により、花火と音楽が同期しないのはもちろん、通信遅延も起こりますが、これが完全同期しますので、広い場所で多くの人が一体感を得ることが出来るのです。これは素晴らしい技術です。

他にも、３時間に渡って、様々な研究成果が発表されました。

例えば、自動採譜という分野では、ピアノ演奏から楽譜をAIが作成するのですが、極めて高度な演奏であってもかなり正確に楽譜を作れるところまできています。

シンポジウムでは、具体的なAI技術をどのように使って実現しているのかといった専門的な内容も説明されていました。

また、 このシンポジウムの名称であるOngaACCELのOngaは「音画」であり、ミュージックだけでなく、ビジュアルも含みます。

例えば、これまでも、踊っている人の身体にモーションキャプチャーを行う機器を付けて、動きのデータをデジタル的に取り込むことは行われていましたが、CGやAIの発達により、カメラで捉えた映像だけからそういったデータを取得したり、あるいは、静止画から、動画データを作るといったことも行われているようです。

音楽を楽しみ、そして、新しい形の音楽を発展させていくことに、テクノロジーが大きく貢献しているのです。

 

以上です。 

当ブログオーナー、KayのAI書籍。 自動車はメカが解らなくても運転する専門で良いのですし、電子レンジはマイクロ波が解らなくても料理専門で良いことはお解りと思います。 AIも、理論やプログラミングが解らなくても、「推測させる」専門で十分です 誰でも実用的AIを作ることが出来るように書きました。 ただし、理論、数学、プログラミング、AI思想も、入門者にとって興味深いことは書いたつもりです。 本書のほぼ全ての実習が出来るデータを作ることが出来るExcelマクロを出版社サイトから無料でダウンロード出来ます。