スキルアップAI講師陣が選ぶ「2019年前半に読むべきディープラーニングの最新論文 19選」

はじめに

スキルアップAIでは、先日、「【E資格対策】ディープラーニング最新論文対策講座」を開催致しました。この講座では、2015年以降に発表されたディープラーニングに関する注目論文を潮流に沿って紹介し、注目ポイントを解説しました。

本講座で、多くの参加者から、「もっと深く書く論文を取り上げて欲しい」「より詳細な解説をしてもらいたい」という声も多数頂き、今後、ブログにて取り上げた論文の内容をご紹介する事に致しました。

月1回程度を目安とし、本講座で取り扱った内容を1論文ずつ紹介していく予定です。初回は、取り上げた論文一覧のご紹介です。

<コンピュータビジョン系>

• ・「Deep Residual Learning for Image Recognition」

　モダンなCNNの主要技術であるResNetの原論文。

• ・「Squeeze-and-Excitation Networks」

　ResNetと並んでCNNの汎化性能の基本技術になりうるSE moduleの原論文。

• ・「MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications」

　組み込み向けCNNの構成技術であり、スマホ等で使われている。

• ・「U-Net: Convolutional Networks for Biomedical Image Segmentation」

　医療分野で活躍するCNNであり、少数データからセグメンテーションを可能とする。

• ・「Visualizing and Understanding Convolutional Networks」

　なぜCNNが画像認識をうまくできるのか？という問題の解析手法。

<自然言語処理系>

• ・「Memory Networks」

　LSTM以上の長期記憶を実現した質疑応答用DNN。

• ・「End-To-End Memory Networks」

　全体をBPで学習可＋多層化したMemory Networks。Attention機構の再発見という意味で非常に重要な論文。

• ・「Attention Is All You Need」

　現在のNLPタスクの主流になっているTransformerモデルの原論文であり、タイトルが非常にキャッチー、パクリタイトル論文が多数存在する。

• ・「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」

　最近出たNLPタスクの決定的モデル、あらゆるタスクでSotAを達成した。

• ・「Neural Turing Machines」

　DNNで「計算」そのものをモデリングしようという試み。

<ニューラルネット一般>

• ・「Distilling the Knowledge in a Neural Network」

　モデル軽量化の主流手法、小さなモデルに知識を蒸留する。

• ・「Explaining and Harnessing Adversarial Examples」

　ニューラルネットワークを騙すような入力Adversarial Exampleについて。

• ・「Dataset Distillation」

　上2本に関連、「NNが好きな入力」を使って、「データを」蒸留する試み 。

• ・「Linear Backprop in non-linear networks」

　性能を変えずにBPの計算を高速にする手法 。

• ・「Understanding Batch Normalization」

　DNNの学習に必要不可欠なバッチ正規化の解析論文。

• ・「Modeling Relational Data with Graph Convolutional Networks」

　画像ではなく”関係性”を畳み込もうという新しいネットワーク。

<強化学習系>

• ・「Mastering the game of Go without human knowledge」

　人工知能の火付け役、AlphaGoの進化版 • 教師あり学習から完全自律の教師なしモデルに進化した。

• ・「Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization」

　強化学習の新しい考え方「逆強化学習」を解こう、という試み。

• ・「Generative Adversarial Imitation Learning」

　逆強化学習は実はGANと同じという主張であり、GAN-Likeなネットワークでモデルフリーな強化学習手法を提案する。

次回予告

次回は「Deep Residual Learning for Image Recognition」を紹介する予定です。ご期待ください！
記事はこちら

【AI最新論文】2021年前半に読むべき「機械学習/ディープラーニングの最新論文」26選はこちら