合計31本の重要論文の概要に加えて 最後は「論文の読み方」について伝授します。

取り扱い論文

• Memory Networks
  • LSTM以上の長期記憶を実現した質疑応答用DNN
• End-To-End Memory Networks
  • 全体をBPで学習可＋多層化したMemory Networks。Attention機構の再発見という意味で非常に重要な論文
• Attention Is All You Need
  • 現在のNLPタスクの主流になっているTransformerモデルの原論文であり、タイトルが非常にキャッチー、パクリタイトル論文が多数存在する
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
  • 最近出たNLPタスクの決定的モデル、あらゆるタスクでSotAを達成した
• XLNet: Generalized Autoregressive Pretraining for Language Understanding
  • BERTの問題を解決した後発の万能NLPモデル
• Neural Turing Machine
  • DNNで「計算」そのものをモデリングしようという試み
• Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
  • 言語に表れる階層構造をinductive biasとしてLSTMに導入

担当講師

非公開: 鈴木 藍雅

筑波大学システム情報工学研究科修了、産業技術総合研究所人工知能研究センターに在籍中。博士(工学)。数理的・生物的な観点による深層学習モデルの解析、機械学習技術の実社会応用に関する研究に従事。日本ディープラーニング協会主催の第１回G検定の成績優秀者表彰、情報処理学会 山下記念研究賞、IEEE CISJ Young Researcher Awardほか受賞多数。

合計31本の重要論文の概要に加えて 最後は「論文の読み方」について伝授します。

取り扱い論文

• Distilling the Knowledge in a Neural Network
  • モデル軽量化の主流手法、小さなモデルに知識を蒸留する
• Born Again Neural Networks
  • Self-distillation(自己蒸留)によってNNを生まれ変わらせる手法の提案
• Explaining and Harnessing Adversarial Examples
  • ニューラルネットワークを騙すような入力Adversarial Exampleについて
• Dataset Distillation
  • 上2本に関連、「NNが好きな入力」を使って、「データを」蒸留する試み
• Linear Backprop in non-linear networks
  • 性能を変えずにBPの計算を高速にする手法
• Understanding Batch Normalization
  • DNNの学習に必要不可欠なバッチ正規化の解析論文
• Modeling Relational Data with Graph Convolutional Networks
  • 画像ではなく”関係性”を畳み込もうという新しいネットワーク
• On the Convergence of Adam and Beyond
  • 広く用いられる最適化アルゴリズムAdamの問題点を提示
• The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
  • 宝くじ仮説と呼ばれるNNの初期値に関する重大仮説を提案
• Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
  • Obfuscated gradientsと呼ばれるAdversarial Attackへの防御手法の回避方法
• Delayed Impact of Fair Machine Learning
  • AIが差別的な意思決定を行わないようにするFairness制約の問題点を提示
• Unsupervised Domain Adaptation by Matching Distributions based on the Maximum Mean Discrepancy via Unilateral Transformations
  • 教師なしでのドメイン適応を行うカーネルベース手法の提案

担当講師

非公開: 鈴木 藍雅

筑波大学システム情報工学研究科修了、産業技術総合研究所人工知能研究センターに在籍中。博士(工学)。数理的・生物的な観点による深層学習モデルの解析、機械学習技術の実社会応用に関する研究に従事。日本ディープラーニング協会主催の第１回G検定の成績優秀者表彰、情報処理学会 山下記念研究賞、IEEE CISJ Young Researcher Awardほか受賞多数。

合計31本の重要論文の概要に加えて 最後は「論文の読み方」について伝授します。

取り扱い論文

• Mastering the game of Go without human knowledge
  • 人工知能の火付け役、AlphaGoの進化版 • 教師あり学習から完全自律の教師なしモデルに進化した
• Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization
  • 強化学習の新しい考え方「逆強化学習」を解こう、という試み
• Generative Adversarial Imitation Learning
  • GANのアイデアを元にしたImitation Learningのアルゴリズム Generative Adversarial Imitation Learning (GAIL)を提案

担当講師

非公開: 鈴木 藍雅

筑波大学システム情報工学研究科修了、産業技術総合研究所人工知能研究センターに在籍中。博士(工学)。数理的・生物的な観点による深層学習モデルの解析、機械学習技術の実社会応用に関する研究に従事。日本ディープラーニング協会主催の第１回G検定の成績優秀者表彰、情報処理学会 山下記念研究賞、IEEE CISJ Young Researcher Awardほか受賞多数。