リザバーコンピューティングの概要とその応用例

こんにちは。スキルアップAIの有留です。私は現在、リザバーコンピューティングに関する研究に取り組んでいます。

リザバーコンピューティングとは、リカレントニューラルネットワークの特殊なモデルを一般化した概念で、時系列情報処理に適した機械学習の枠組みのひとつです。リザバーコンピューティングの最大の特徴は、他のリカレントニューラルネットワークモデルに比べて、学習が極めて高速であるという点です。現在、時系列パターン認識への応用が期待されるとともに、エネルギー効率が高い機械学習デバイスを実現するための基礎技術としても注目されています。
本記事では、リザバーコンピューティングの概要とその応用例についてご紹介します。

1.リザバーコンピューティング

リザバーコンピューティングは一般的に入力層、リザバー、出力層から構成されます。まずはリザバーコンピューティングの概念を理解するために、簡単な例を考えてみます。
リザバー（Reservoir）という単語には、貯水池という意味があります。いま、水面に石を投げ込むとします。すると、水面に波紋が生じます。その波紋は石の大きさや形、スピードによって変化します。つまり、この波紋は投げた石の情報を反映していると考えることができます。
では、複数の石を次々と投げるとどうなるでしょうか。今度は石が1つの場合よりもはるかに複雑な波紋が生まれます。このような波紋の動的パターンは、投げ込まれた複数の石の大きさや形、さらにはそれらの投げ込まれた順番にも依存します。
つまり、リザバーは系列入力を波紋の時空間パターンに変換する装置とみなすことができます。リザバーコンピューティングは、このリザバーが生成する動的パターンから、簡便なアルゴリズムを用いて系列入力の識別を行います。

図1. リザバーコンピューティングの概念
(参考文献[1]より引用)

2.エコーステートネットワーク

リザバーコンピューティングの代表的なモデルの1つにエコーステートネットワークがあります。エコーステートネットワークでは、リザバーとして結合重みを固定したリカレントニューラルネットワークを用いて、時系列入力の過去の情報が反響して残る状態（エコーステート）を作り出し、そこから入力の特徴の読み出し（リードアウト）を行います。

図2. リザバーコンピューティングモデル
(参考文献[2]より引用)

入力層とリザバーの間の結合重みとリザバー内のフィードバック重みはあらかじめ固定しておき、リザバーと出力層の間の結合重みだけを計算量の小さい線形学習器で最適化します。この工夫によって、全ての結合重みを学習する一般のリカレントニューラルネットワークよりも高速な学習が可能となります。ただし、高い性能を実現するには、あらかじめ固定する結合重みの値を適切に設定しておく必要があります。

3.物理的実装

リザバーコンピューティングは、従来のリカレントニューラルネットワークに比べて学習時に変更する要素が少ないため、ハードウェア実装が比較的容易であると考えられます。また近年、リザバーの非線形変換機能を物理現象によって実現する物理リザバーコンピューティングも注目されています。電子、光、スピン、流体、機械、ナノ粒子、培養細胞などさまざまな媒質・基質を利用する物理リザバーが提案されています（表1）。
このようにリザバーコンピューティングは物理系のダイナミクスによっても実現できるため、ソフトウェア実装に比べて高速性や低消費電力性を持つ実装が可能であり、高効率機械学習デバイスを実現するための基盤技術として注目されています。

表1. 物理リザバーの分類
(参考文献[1]より引用)

4.おわりに

スキルアップAIでは、関連講座として「現場で使えるディープラーニング基礎講座」を開講中です。
本講座は、ディープラーニングの基礎・原理を理解し、ディープラーニングを支える最先端の技術をプログラミングレベルでマスターすることをゴールとした講座です。グループワーク・ハンズオンなどを取り入れ、アクティブラーニングを実践しています。

また、毎週水曜日に実践的AI勉強会「スキルアップAIキャンプ」を開催しています。勉強会では、様々な実践的テーマを取り上げ、データ分析・AI開発の実務力アップにつながるヒントをご提供します。講師が参加者の皆さんからの質問や悩みに答えるコーナーもあります。
興味がある方はぜひ参加してみてください！

5.参考文献

6.関連書籍