最終更新日：
【AI論文】2021年前半に読むべき「機械学習/ディープラーニングの論文」26選
はじめに
スキルアップAIでは、上記の3講座を始めとして、現在、そしてこれから注目されるであろう最先端の機械学習/ディープラーニング技術に関する講座を開講しております。このような講座を開講していく中で、スキルアップAIの講師陣が注目している先端技術をぜひ知りたいというお声を多くいただきました。
そこで、自動機械学習（AutoML）を専門とし、ICMLなどのトップカンファレンスへの論文採択経験もある斉藤と、需要予測・異常検知など様々な分野で機械学習/ディープラーニングの産業応用に取り組んできた小縣が中心となって、スキルアップAI講師陣にて厳選した論文を下記の3回に分け、合計26本ご紹介いたします。
- 第1回：コンピュータビジョン編
- 第2回：自然言語処理＆強化学習編
- 第3回：機械学習/ニューラルネットワークの一般的テクニック＆実務応用編
著者実装が公開されているものは、その情報も合わせてまとめました。是非、今後の学びにご活用ください！
今回は講座で取り上げ、特に反響が大きかった論文の一覧をご紹介いたします。
◆2022年に読むべき「機械学習/ディープラーニングの最新論文」30選の一覧はこちら
第1回：「コンピュータビジョン編」に関する論文
第1回では、「画像」に関する論文として、生成モデル、物体検出、画像分類に関する論文を紹介します！
- 「Generative Pretraining from Pixels」
自然言語処理で話題となったGPT-2を画像生成に使うImage-GPTの提案
- 「On Positive-Unlabeled Classification in GAN」
GANの学習をPU学習として定式化することで学習の安定性を向上
- 「Unpaired Image Super-Resolution Using Pseudo-Supervision」
低解像度・高解像度のペア画像がなくとも超解像を実現
- 「Self-training with Noisy Student Improves ImageNet Classification」
ノイズを入れながら蒸留を繰り返すことで予測精度向上を実現
- 「EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks」
画像分類モデルの設計を3つの要素でコントロール
- 「EfficientDet: Scalable and Efficient Object Detection」
EfficientNetを物体検出に応用することで、軽量かつ高精度な物体検出モデルを構築
- 「Objects365: A Large-scale, High-quality Dataset for Object Detection」
大規模かつ高品質な物体検出ベンチマークデータセットの提案
- 「Scaling Laws for Autoregressive Generative Modeling」
ディープラーニングモデルの性能向上に関与する要素を実験的に解析
- 「Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis」
少ない画像枚数でも安定した画像生成を実現する手法の提案
第2回：「自然言語処理＆強化学習編」に関する論文
第2回では、「自然言語処理」に関する論文として、昨今発展著しいGPT-3や、BERTの最新発展モデルを取り上げ、「強化学習」に関する論文では実務利用の上では欠かせない強化学習モデルに対する説明可能性や敵対的攻撃に関する論文を紹介します！
- 「Language Models are Few-Shot Learners」
自然言語処理において話題となったGPT-3の提案
- 「ALBERT: A Lite BERT for Self-supervised Learning of Language Representations」
軽量かつ高速なBERTモデルの提案
- 「On Identifiability in Transformers」
Transformerのアテンション機構に関する解釈可能性の解析
- 「Scaling Laws for Neural Language Models」
Transformerの性能向上に関与する要因を実験的に解析
- 「xGAIL: Explainable Generative Adversarial Imitation Learning for Explainable Human Decision Analysis」
逆強化学習によって得た報酬関数を解釈する手法の提案
- 「Malicious Attacks against Deep Reinforcement Learning Interpretations」
深層強化学習に対する敵対的攻撃の定式化と脆弱性評価
- 「Adversarial Policies: Attacking Deep Reinforcement Learning」
深層強化学習への観測値に対する敵対的攻撃の評価
第3回：「機械学習/ニューラルネットワークの一般的テクニック＆実務応用編」に関する論文
第3回では、ニューラルネットワークの構造最適化（AutoML）やアクティブラーニング、モデルの枝刈りなどの「機械学習/ニューラルネットワークの一般的テクニック」とAirbnbのディープラーニングベースの検索システムなど「実務応用」に関連した論文を紹介します！
- 「On Sampled Metrics for Item Recommendation」
推薦システムにおける評価方法の提案
- 「Understanding and Robustifying Differentiable Architecture Search」
ニューラルネットワークの構造最適化手法に関する性能向上手法の提案
- 「Comparing Rewinding and Fine-tuning in Neural Network Pruning」
ニューラルネットワークの枝刈り手法の評価と，高精度かつ軽量なモデルを得る手法の提案
- 「Pruning Neural Networks without Any Data by Iteratively Conserving Synaptic Flow」
既存の枝刈り手法における問題点を理論的解析し，理論的限界まで枝刈りできる方法の提案
- 「Deep Semi-Supervised Anomaly Detection」
半教師ありのニューラルネットワークベースの異常検知
- 「Improving Deep Learning for Airbnb Search」
Airbnbで採用されているディープラーニングベースの検索システムの提案
- 「Managing Diversity in Airbnb Search」
Airbnbで採用されている検索システムにおいて、検索結果の多様性を各方する方法の提案
- 「The Resale Price Prediction of Secondhand Jewelry Items Using a Multi-modal Deep Model with Iterative Co-Attention」
中古ジュエリーの再販価格を予測するディープラーニングベースの手法の提案
- 「Predicting Next-Season Designs on High Fashion Runway」
ランウェイショーの画像から次シーズンのファッショントレンドを予測するディープラーニングモデルの提案
次回予告
次回は「コンピュータビジョン編」に関する論文9本を解説いたします！ご期待ください！
◆第1回：「コンピュータビジョン編」に関する論文の解説はこちら
◆第2回：「自然言語処理＆強化学習編」に関する論文の解説はこちら
◆第3回：「機械学習/ニューラルネットワークの一般的テクニック＆実務応用編」に関する論文の解説はこちら
◆2022年最新版「機械学習/ディープラーニングの最新論文」30選はこちら
スキルアップAIでは、最新論文を理解するために必要な深層学習の基礎を学ぶ「現場で使えるディープラーニング基礎講座」を開講しています。基礎から学びたい方は、是非ご検討ください。
また、スキルアップAI技術ブログでは
などGANや異常検知などの最新論文の解説を行っております。こちらも合わせてご覧ください。
配信を希望される方はこちら
また、SNSでも様々なコンテンツをお届けしています。興味を持った方は是非チェックしてください♪
公開日：
