最終更新日：
【AI最新論文まとめ】機械学習/ディープラーニングのおすすめ論文30選
はじめに
スキルアップAIでは、下記の4講座を始めとして、現在、そしてこれから注目されるであろう最先端の機械学習/ディープラーニング技術に関する講座を開講しております。
このような講座を開講していく中で、スキルアップAIの講師陣が注目している最先端技術をぜひ知りたいというお声を多くいただきました。
そこで、自動機械学習（AutoML）を専門としICMLなどのトップカンファレンスへの論文採択経験もある斉藤と、需要予測・異常検知など様々な分野で機械学習/ディープラーニングの産業応用に取り組んできた小縣が中心となって、スキルアップAI講師陣にておすすめの論文を選びました。
今回は、下記の4つに分けて合計30本の論文をご紹介いたします。
- 第1回：コンピュータビジョン編
- 第2回：自然言語処理編
- 第3回：強化学習編
- 第4回：実務応用編
第1回：コンピュータビジョン編
第1回では、コンピュータビジョン編として、生成モデル、画像認識、物体検出などに関するおすすめの論文を紹介します！
- 「OpenGAN: Open-Set Recognition via Open Data Generation」
オープン認識精度の向上のためにGANを利用する手法の提案
- 「NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis」
二次元画像を入力として3Dレンダリングを行うNeRFの提案
- 「NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections」
異なる環境下で撮影した入力画像にも対応したNeRF
- 「Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows」
新たなVision TransformerであるSwin Transformerを提案
- 「MLP-Mixer: An all-MLP Architecture for Vision」
多層パーセプトロンをベースにした画像処理モデルを提案
- 「Pay Attention to MLPs」
MLPをベースにすることで、AttentionやTransformerを不要とするモデルを提案
- 「Exploring simple siamese representation learning」
自明解の出力を抑止するSiamese Networkを提案
- 「A Simple Framework for Contrastive Learning of Visual Representations」
従来よりもシンプルな対照学習モデルを提案
- 「Transformation Driven Visual Reasoning」
Visual Reasoningにおけるデータセットを提案
各論文について詳しい内容は、下記の記事で紹介しています。
第2回：自然言語処理編
第2回では、自然言語処理編として機械翻訳における最適な語彙のサイズを求めるアルゴリズムやテキスト生成タスクにおけるデータ拡張の新手法などに関するおすすめの論文を紹介します！
- 「Vocabulary Learning via Optimal Transport for Neural Machine Translation」
機械翻訳における適切な語彙サイズを求めることで、辞書サイズ削減を行うアルゴリズム「VOLT」を提案
- 「All That’s ‘Human’ Is Not Gold: Evaluating Human Evaluation of Generated Text」
モデルの性能向上により、自然言語生成の評価指標を人間とすることを疑問視することを提唱
- 「EarlyBERT: Efficient BERT Training via Early-bird Lottery Tickets」
”宝くじ仮説”を用いてBERTなど自然言語処理モデルの訓練時間の削減方法を達成
- 「Data Augmentation for Text Generation Without Any Augmented Data」
テキスト生成タスクにおけるデータ拡張の新手法を提案
- 「KaggleDBQA: Realistic Evaluation of Text-to-SQL Parsers」
新たな質問応答におけるデータベースであるKaggleDBQAの提案
- 「Towards Robustness of Text-to-SQL Models against Synonym Substitution」
新たなText-to-SQLのデータセットであるSpider-Synを提案
- 「When Attention Meets Fast Recurrence: Training Language Models with Reduced Compute」
低計算コストで言語モデリングが可能な再帰とアテンションの両方に着目したSRU++を提案
各論文について詳しい内容は、下記の記事で紹介しています。
第3回：強化学習編
第3回では、強化学習編としてTransformer/BERTの発展モデルや新たな学習法・正則化方法の提案に関する内容などに関するおすすめの論文を紹介します！
- 「CoBERL: Contrastive BERT for Reinforcement Learning」
強化学習における新たなエージェント「Contrastive BERT for Reinforcement Learning（CoBERL）」を提案
- 「Decision Transformer: Reinforcement Learning via Sequence Modeling」
Transformerやzero-shot学習などから着想を得た強化学習方法「Decision Transformer」を提案
- 「Zeroth-Order Actor-Critic」
進わせたZOAC（Zeroth-Order Actor-Critic）を提案
- 「Efficient Learning of Safe Driving Policy via Human-AI Copilot Optimization」
新たなhuman-in-the-loop学習法であるHACO（Human-AI Copilot Optimization）を提案
- 「Regularizing Action Policies for Smooth Control with Reinforcement Learning」
強化学習の新たな正則化方法であるCAPS（Conditioning for Action Policy Smoothness）を提案
- 「SimGAN: Hybrid Simulator Identification for Domain Adaptation via Adversarial Reinforcement Learning」
一度学習した方策を他のドメインに転移するドメイン適応の新たなフレームワークであるSimGANを提案
- 「Data-Efficient Learning for Complex and Real-Time Physical Problem Solving using Augmented Simulation」
人間が直感的に理解できても、機械には難しいタスクを実用的な時間で学習できるモデルを提案
各論文について詳しい内容は、下記の記事で紹介しています。
第4回：実務応用編
第4回では、実務応用編としてニューラルネットワークの構造最適化やアクティブラーニング、モデルの枝刈り、推薦システムへの応用などに関するおすすめの論文を紹介します！
- 「An Embedding Learning Framework for Numerical Features in CTR Prediction」
広告のクリック率（Click-Thorough Rate: CTR）予測の新たなモデルであるAutoDisを提案
- 「VisRel: Media Search at Scale」
メディア検索システムであるVisRelを提案
- 「We Know What You Want: An Advertising Strategy Recommender System for Online Advertising」
Alibabaグループのインターネット広告におけるターゲティングに関する論文
- 「Preference Amplification in Recommender Systems」
Facebookのレコメンドに関する研究
- 「Value Function is All You Need: A Unified Learning Framework for Ride Hailing Platforms」
DiDi、Uberといったride-hailing（配車）サービスの輸送効率向上に関する論文
- 「SizeFlags: Reducing Size and Fit Related Returns in Fashion E-Commerce」
ファッション系のオンラインストアにおける電子広告に関する研究
- 「A Semi-Personalized System for User Cold Start Recommendation on Music Streaming Apps」
ストリーミングサービスを運営するDeezerが発表した実際に運用中のレコメンドシステムに関する論文
各論文について詳しい内容は、下記の記事で紹介しています。
まとめ
この記事では、機械学習/ディープラーニングに関するおすすめの論文30選をご紹介しました。
AIエンジニアやデータサイエンティストとして、NeurIPSやICLR、ICMLなどと合わせてCVPRやKDDなど自分の業務に直結しそうな各種カンファレンスの採択論文を毎年フォローし、常に一次情報に触れ続けることが重要です。本記事を足がかりにして、ぜひ自分でもさまざまな論文を調査してみてください。
他にも論文を参照したい方は、弊社がリリースする論文検索アプリ「ScholarPlanets」をぜひご活用ください。
また、スキルアップAIでは、最新論文を理解するために必要な深層学習の基礎を学ぶ「現場で使えるディープラーニング基礎講座」を開講しています。基礎から学びたい方は、ぜひご検討ください。
◆「コンピュータビジョン編」の論文解説はこちら
◆「自然言語処理編」の論文解説はこちら
◆「強化学習編」の論文解説はこちら
◆「実務応用編」の論文解説はこちら
【監修】スキルアップAI 取締役CTO 小縣信也
AI指導実績は国内トップクラス。「太陽光発電発電量予測および異常検知」など、多数のAI開発案件を手掛けている。日本ディープラーニング協会主催2018E資格試験 優秀賞受賞、2019#1E資格試験優秀賞受賞。著書「徹底攻略ディープラーニングE資格エンジニア問題集」（インプレス）。
配信を希望される方はこちら
また、SNSでも様々なコンテンツをお届けしています。興味を持った方は是非チェックしてください♪
公開日：
