【自然言語処理＆強化学習編】2021年前半に読むべき「機械学習/ディープラーニングの論文」26選

はじめに

今回は自然言語処理＆強化学習編として、Transformer/BERTの発展モデルや今後重要になるであろう強化学習に対する解釈や敵対的攻撃に関する内容を中心に7本ご紹介します！著者実装が公開されているものは、その情報も合わせてまとめました。
論文は自動機械学習（AutoML）を専門としICMLなどのトップカンファレンスへの論文採択経験もある斉藤と、需要予測・異常検知など様々な分野で機械学習/ディープラーニングの産業応用に取り組んできた小縣が中心となってスキルアップAI講師陣にて厳選しました。是非、今後の学びにご活用ください！
>自然言語処理（NLP）とは｜仕組みや活用事例、最近の研究をご紹介

◆2022年に読むべき「機械学習/ディープラーニングの最新論文」30選の一覧はこちら

「自然言語処理」に関する論文

• 「Language Models are Few-Shot Learners」
  • 著者（OpenAI）によるAPI提供（beta版、要登録）：https://beta.openai.com/
  • 機械学習のトップカンファレンスNeurIPSの採択論文
  • 1,750億個のパラメータを持つ新たな言語モデル「GPT-3」に関する論文。質問応答、翻訳などの様々なタスク・データセットに対し、少数の教師付きデータで学習するfew-shot learningの性能が大幅に向上した。

• 「ALBERT: A Lite BERT for Self-supervised Learning of Language Representations」
  • 著者実装：https://github.com/google-research/ALBERT
  • 機械学習のトップカンファレンスICLRの採択論文
  • 自然言語表現の学習におけるメモリ消費量を減らし、訓練速度を上げるための手法に関する論文。Multi-head attentionやその後の全結合レイヤに関連するパラメータを各層で共有するなどの工夫を行い軽量化・高速化を実現した。
    さらにBERTの事前学習で用いられる隣接文問題を改良し、隣接した2つの文章が正しい順番か逆の順番かを予測するSentence-Order Predictionタスクとすることで各既存モデル(BERT)と比べてパラメータ数が少ない中で、ベンチマークスコアの向上を達成した。

• 「On Identifiability in Transformers」
  • 機械学習のトップカンファレンスICLRの採択論文
  • Transformerにおけるattention weightとtoken embeddingの識別可能性（attentionやembeddingの結果が各トークンで一意であるかどうか）、Transformer内部で生成される隠れトークンへの文脈の集約に関する研究論文。Transformerのさらなる改善のためのいくつかの手法も提案されている。

• 「Scaling Laws for Neural Language Models」
  • トランスフォーマーの性能は、モデルのパラメータ、データセットサイズ、計算量に大きく左右されることを示した論文。その性能は、各要因のみを変数に用いたべき乗の式で表すことができる。

「強化学習」に関する論文

• 「xGAIL: Explainable Generative Adversarial Imitation Learning for Explainable Human Decision Analysis」
  • データマイニング関連の国際会議KDDの採択論文
  • 著者実装：https://github.com/paperpublicsource/xgail
  • 人間の意思決定戦略を学習するための、深層ニューラルネットワークをベースとした敵対的学習に基づく逆強化学習手法GAILに着目し、モデルが学習によって得た知識を説明するための新たなフレームワークxGAILを提案した。タクシー運転手の乗客探索データをもとに検証した結果、タクシー運転手の意思決定の要因を示す結果が得られた。

• 「Malicious Attacks against Deep Reinforcement Learning Interpretations」
  • 著者実装：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet
  • データマイニング関連の国際会議KDDの採択論文
  • 深層強化学習(DLR)における解釈手法の脆弱性に関する論文。手法に対する敵対的攻撃を考え、そのための最適化フレームワークや、攻撃に対する脆弱性、攻撃の定式化のためのフレームワークの提案・評価を行った。

• 「Adversarial Policies: Attacking Deep Reinforcement Learning」
  • 機械学習のトップカンファレンス ICLR の採択論文
  • 著者実装：https://github.com/humancompatibleai/adversarial-policies
  • 解説動画：https://bair.berkeley.edu/blog/2020/03/27/attacks/
  • 深層強化学習における観測結果に対する敵対的攻撃に関する論文。環境を共有したゼロサムゲームにおいて、一見ランダムに行動するように見えながらも攻撃対象のエージェントに確実に勝利する敵対的な方策が存在することを実証した。

次回予告

次回は最終回となる「機械学習/ニューラルネットワークの一般的テクニック＆実務応用編」に関する論文10本を解説いたします！ご期待ください！

◆2021年前半に読むべき「機械学習/ディープラーニングの論文」26選の一覧はこちら
◆2021年前半に読むべき「機械学習/ディープラーニングの論文」26選　コンピュータビジョン編はこちら
◆2021年前半に読むべき「機械学習/ディープラーニングの論文」26選　機械学習/ニューラルネットワークの一般的テクニック＆実務応用編はこちら
◆2022年最新版「機械学習/ディープラーニングの最新論文」30選はこちら

スキルアップAIでは、Transformer/BERTの基礎および強化学習の基礎から応用まで学ぶ「現場で使えるディープラーニング基礎講座」や、AIの説明可能性について学ぶ「現場で使える XAI（Explainable AI）講座」を開講しています。
基礎から学びたい方は、是非ご検討ください。

また、スキルアップAI技術ブログでは
・文章読解タスクにおける Adversarial Examples
など、自然言語処理や敵対的攻撃に関連する最新論文の解説も行っております。こちらも合わせてご覧ください。