NeurIPS2019参加報告（後編）

1.招待講演 (Yoshua Bengio, From System 1 Deep Learning to System 2 Deep Learning)

招待講演は、会期を通して全部で7件ありました。ここでは、その中からYoshua Bengio氏のご講演を紹介しましょう。

Bengio氏は、Deep Learning本の著者の一人であり、AI界の重鎮です。Deep Learning本の共著に並んでいるIan Goodfellow氏(GANの開発者)の博士課程指導教官も務めていました。Deep Learning本といえば、E資格試験公式シラバスが参照している文献なので、E資格を受験される方は必読です。

• Yoshua Bengio氏の招待講演

講演テーマは、Bengio氏が考える次のディープラーニングについてでした。Bengio氏はさすがAI界の重鎮だけあって、約6000もある座席がほぼ埋まっていました。

• 会場の様子

講演の要点を以下に示します。

● 現在の機械学習は進歩したが、人間の知能レベルにはほど遠い。

● 人間の知能レベルを達成するには、ハイレベルな認知が必要である。

● Daniel Kahneman 2011 *1 から、System1 CognitionとSystem2 Cognitionという言葉を引用しよう。

○ System1 Cognitionは、直感的、無意識的に思考や判断を行うことを指す。

○ System2 Cognitionは、論理的、意識的に思考や判断を行うことを指す。

○ System1 Cognitionは、現在のディープラーニングが得意なことであり、System2 Cognitionは、現状のディープラーニングでは達成できないことである。

● System1からSystem2に移行するために、機械学習が獲得しなければならないのは、高いレベルの意味表現、合成力(既存のものを組み合わせる力)、因果関係の表現である。

● それらを獲得するために重要となる技術的テーマをいくつか紹介しよう。

○ データ分布が変化することへの対応

■ 従来の機械学習は、独立同分布(iid)を仮定しているが、データ分布から外れたものへの汎化性はない。

■ 合成力(既存のものを組み合わせる力)を獲得できれば、データ分布から外れたものへも汎化性を発揮できるはずである。

○ アテンション機構

■ 近年のニューラルネットワークでよく用いられるアテンション機構は、脳内の仕組みと非常によく似ている。

■ アテンション機構をもっと深く研究することで、より高度な認知を実現できるだろう。

○ 疎構造因子グラフ*2

■ 言語を高度に表現する方法としてConsciousness prior(意識に関する事前確率モデル)というものを考えた。

■ Consciousness priorを実現するための手段としては、疎構造因子グラフが適しているだろう。

Bengio氏が目指しているのは、より高度な判断ができるAIの実現です。それには、今のディープラーニングだけでは到達できないので、学習結果をうまく転移できるような新しいフレームワークが必要という考えです。

ここでもグラフ構造が登場しました。やはりグラフニューラルネットワークの動向は今後も要注目ですね！ E資格受験予定者としては、アンテンションも要チェックです。アテンションは、近年の重要技術であり、E資格頻出キーワードです。seq2seq、Transformer、BERTと合わせて押さえておきましょう。

*1 Daniel Kahneman. Thinking, Fast and Slow. Macmillan, 2011.
*2 因子グラフとは、通常のグラフに因子ノードを追加したグラフのこと。ノード間の関係性を詳細に表現することができる。

2.個人的に気になった研究

個人的に気になった研究をご紹介します。

● One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers. Ari Morcos · Haonan Yu · Michela Paganini · Yuandong Tian. http://papers.nips.cc/paper/8739-one-ticket-to-win-them-all-generalizing-lottery-ticket-initializations-across-datasets-and-optimizers

○ Lottery ticket関連の研究です。

○ 獲得したticketが他のデータセットや最適化手法でも有効なのかどうかを調査して報告しています。

● One-Shot Object Detection with Co-Attention and Co-Excitation.Ting-I Hsieh · Yi-Chen Lo · Hwann-Tzong Chen · Tyng-Luh Liu. http://papers.nips.cc/paper/8540-one-shot-object-detection-with-co-attention-and-co-excitation

○ One-Shotで物体検出できるモデルの提案です。

○ 例えば、このモデルに、馬がたくさん写っている画像Aと馬が1頭だけ写っている画像Bを見せると、画像Aに写っている馬を個々に検出します。従来のモデルでこれを実現しようと思うと、あらかじめ馬の画像を学習させておく必要がありましたが、この提案手法ではそれが必要ないということです。

● FreeAnchor: Learning to Match Anchors for Visual Object Detection. Xiaosong Zhang · Fang Wan · Chang Liu · Rongrong Ji · Qixiang Ye. http://papers.nips.cc/paper/8309-freeanchor-learning-to-match-anchors-for-visual-object-detection

○ 新しい物体検出モデルの提案です。

○ 通常の物体検出モデルと、最終層あたりが異なります。従来の物体検出モデルに比べ、アンカー(物体位置の候補座標)を柔軟に扱えるようになり、予測精度が向上したということです。

● Consistency-based Semi-supervised Learning for Object detection. Jisoo Jeong · Seungeui Lee · Jeesoo Kim · Nojun Kwak. http://papers.nips.cc/paper/9259-consistency-based-semi-supervised-learning-for-object-detection

○ 半教師あり学習によって、ラベルなし画像も活用しながら学習する物体検出モデルの提案です。

○ 教師なし画像を活用する方法は次の通りです。ある教師なし画像とそれを水平反転させた画像を用意し、各画像について物体検出をさせます。元画像と反転後画像で、物体検出結果が一致すると損失が小さくなるように損失関数を設計しておきます。これによって、物体検出能力が向上するということです。この損失は、Consistency lossと呼ばれますが、いろんな場面で使える汎用的な考え方です。最近の論文を読んでるとちょくちょく見かけますし、今後ももっと利用されるのではないでしょうか。ちなみに、CycleGANでは、cycle consistency lossという損失関数が使われていました。CycleGANは、E資格に出題されたことがありますので、こちらも合わせてチェックしておくと良いと思います。

○ 物体検出は、E資格頻出です。物体検出周りの評価指標も押さえておきましょう。

● Zero-Shot Semantic Segmentation.Maxime Bucher · Tuan-Hung VU · Matthieu Cord · Patrick Pérez. http://papers.nips.cc/paper/by-source-2019-245

○ Zero-shotでセマンティックセグメンテーションを実現するモデルの提案です。

○ 学習したことないクラスをどうやって予測するのか？ということが気になりますが、単語埋め込み行列を別途用意しておき、それと紐づけるということです。

○ 例えば、空というクラスは学習したことがあって、雲というクラスを学習したことがない場合、雲というピクセルが空白になってしまいます。この時、雲のピクセルが空のピクセルに似ているということは画像特徴量から判断できるので、空という言葉に似ている雲というクラスをそのピクセルに割り当てるという仕組みです。空という言葉と雲という言葉が似ているかどうかはword2vecの要領で求めることができます。

○ セマンティックセグメンテーションで、単語埋め込み行列が使われているのは初めて見ました。

○ セマンティックセグメンテーションとword2vecはE資格シラバスに入っているので、E資格を受験される方は、このモデルの面白さがよくわかると思います。

● Weakly Supervised Instance Segmentation using the Bounding Box Tightness Prior.Cheng-Chun Hsu · Kuang-Jui Hsu · Chung-Chi Tsai · Yen-Yu Lin · Yung-Yu Chuang. http://papers.nips.cc/paper/8885-weakly-supervised-instance-segmentation-using-the-bounding-box-tightness-prior

○ バウンディングボックスだけが付与された画像を用いて、インスタンスセグメンテーションを実現するモデルの提案です。

○ インスタンスセグメンテーションは、セマンティックセグメンテーションよりも高度なタスクであり、クラスだけでなく個体も識別させます。

○ 従来、インスタンスセグメンテーションタスクを学習させる場合、ピクセル毎にクラスと個体を識別した教師データが必要だったのですが、この手法ではバウンディングボックスだけで十分ということになります。

● Functional Adversarial Attacks. Cassidy Laidlaw · Soheil Feizi. http://papers.nips.cc/paper/9228-functional-adversarial-attacks

○ 新しい敵対的攻撃手法の提案です。

○ ReColorAdvという、画像の色を操作する関数によって、識別モデルを高い確率で騙せる敵対的サンプル(Adversarial example)を作り出します。

○ 敵対的サンプル(Adversarial example)は、E資格シラバスには入っていませんが、機械学習エンジニアとして押させておくべきでしょう。

● Defending Against Neural Fake News.Rowan Zellers · Ari Holtzman · Hannah Rashkin · Yonatan Bisk · Ali Farhadi · Franziska Roesner · Yejin Choi. http://papers.nips.cc/paper/9106-defending-against-neural-fake-news

○ フェイクニュースを高精度で識別できるモデルの提案です。

○ 敵対的学習によってモデルを学習させており、フェイクニュース自体を生成することも可能です。

○ モデルの名前はGrover。最近、自然言語モデルにセサミストリートのキャラクター名を付けるのが流行っていますね。

● Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain). Mariya Toneva · Leila Wehbe. http://papers.nips.cc/paper/by-source-2019-8531

○ 自然言語モデルの言語表現と脳内の活動を紐付けようという研究です。

○ BERT等の自然言語モデルにおける中間言語表現とfMRIデータとの相関を分析し、各自然言語モデルの特徴などを考察しています。

○ 自然言語モデルと脳内の活動を関連づけるという発想に興味を惹かれました。この研究が進めば、新しい自然言語モデルの提案に繋がるかもしれませんね。

○ E資格としては、この論文で紹介されているTransformerがシラバスに入っていますし、Transformerモジュールを利用しているBERTも出題される可能性が高いです。

3.まとめ

今回のNeurIPSに参加して、一番興味を惹かれたキーワードは、「解明」です。例えば、自然言語の解明、生体の解明、DNAの解明、物理現象の解明などです。普段、業務では予測することや分類することを目的に機械学習を使うことがほとんどで、こういう自然科学の解明を目的に機械学習が使われているという話はとても新鮮でした。CNNのコンセプトがそうであったように、自然科学への理解は機械学習の新しいアイデアにつながります。次世代の機械学習を想像する際は、自然科学に目を向けてみるのも面白いと思いました。

NeurIPSでは、ニューラルネットワークまわりの研究動向を一度に把握することができます。研究成果を仕入れるだけであれば、国内にいて論文を漁ってればいいじゃないかと思われるかもしれませんが、こういう国際会議に参加すると世界中の研究者がどういう論文のどういう点に注目しているのかがよくわかります。また、著者と話をするとその研究に対する思いが伝わってきて、その論文への親しみが湧いてきます。そして、遠い存在になりがちな世界の研究者が身近に感じられるようになります。NeurIPS2020は今年と同じくバンクーバー、NeurIPS2021はシドニーの予定だそうです。論文の著者から直接話を聞ける貴重な機会なので、ぜひみなさまも足を運んでみてください。

NeurIPS2019参加報告（前編）へ≫