【機械学習/ニューラルネットワークの一般的テクニック＆実務応用編】2021年前半に読むべき「機械学習/ディープラーニングの論文」26選

はじめに

最終回は機械学習/ニューラルネットワークの一般的テクニック＆実務応用編として、ニューラルネットワークの構造最適化やアクティブラーニング、モデルの枝刈り、推薦システムなどへの応用を中心に10本ご紹介します！著者実装が公開されているものは、その情報も合わせてまとめました。
論文は自動機械学習（AutoML）を専門としICMLなどのトップカンファレンスへの論文採択経験もある斉藤と、需要予測・異常検知など様々な分野で機械学習/ディープラーニングの産業応用に取り組んできた小縣が中心となってスキルアップAI講師陣にて厳選しました。是非、今後の学びにご活用ください！

◆2022年に読むべき「機械学習/ディープラーニングの最新論文」30選の一覧はこちら

「機械学習/ニューラルネットワークの一般的テクニック」に関する論文

• 「On Sampled Metrics for Item Recommendation」
  • データマイニング関連の国際会議KDDの採択論文
  • 推薦モデルの性能評価の際に、計算量を落とす目的で使用されているネガティブサンプリングを用いると、誤った精度評価につながる恐れがあることを理論および実データによる実験と合わして示した。

• 「Selection via Proxy: Efficient Data Selection for Deep Learnin」
  • 機械学習のトップカンファレンスICLRの採択論文
  • 著者実装：https://github.com/stanford-futuredata/selection-via-proxy
  • 大規模データにおける機械学習の際に、アクティブラーニングにおける新たにラベル付けするデータの選択などに、学習対象のモデルよりも小さなモデル（＝プロキシモデル）を用いることで、時間コストを要するデータ選択手法の計算効率を上昇させたことを示した論文。

• 「Understanding and Robustifying Differentiable Architecture Search」
  • 機械学習のトップカンファレンスICLRの採択論文
  • 著者実装：https://github.com/automl/RobustDARTS
  • ニューラルネットワーク構造の探索問題を離散最適化から連続最適化に緩和する事で微分可能にし勾配法で構造を最適化するDARTSにおいて、様々なタイプの正則化を加える事で得られる構造の汎化性能が向上することを複数の事例で検証した。

• 「Comparing Rewinding and Fine-tuning in Neural Network Pruning」
  • 機械学習のトップカンファレンスICLRの採択論文
  • 著者実装：https://github.com/lottery-ticket/rewinding-iclr20-public
  • ニューラルネットワークの圧縮技術を、分類精度、実行効率性、圧縮にかかる実行時間の3点から比較した論文。枝刈りの結果残った重みを一定の更新回数分だけ巻き戻して再度学習するweight-rewindingの学習率のみに着目した新たな圧縮技術を提案した。

• 「Pruning Neural Networks without Any Data by Iteratively Conserving Synaptic Flow」
  • 著者実装：https://github.com/ganguli-lab/Synaptic-Flow
  • 機械学習のトップカンファレンスNeurIPSの採択論文
  • 既存の枝刈りアルゴリズムにおいて発生していた、特定のレイヤのパラメータがすべて取り除かれてしまう「レイヤ崩壊（layer collapse）」の仕組みを数学的に説明し、その理論をもとに学習前に枝刈りを行うsynflow pruningを提案。他のアルゴリズムと比較して、レイヤ崩壊を確実に回避し、理論的な限界値までネットワークの圧縮ができる事を示した論文。

• 「Deep Semi-Supervised Anomaly Detection」
  • 機械学習のトップカンファレンスICLRの採択論文
  • 著者実装：https://github.com/lukasruff/Deep-SAD-PyTorch
  • スキルアップAI解説ブログ：https://www.skillupai.com/blog/ad-tips-4/#no4
  • 半教師あり学習の異常検知を提案。ラベルなしデータと正常データを超球の中心に、異常データを中心から遠くに写像するようニューラルネットワークを学習し、超球からの距離を異常度とした。

「実務応用」に関する論文

• 「Improving Deep Learning for Airbnb Search」
  • データマイニング関連の国際会議KDDの採択論文
  • Airbnbの検索をABCの観点から改良。 A(アーキテクチャ) モデルの構造; B(バイアス) 検索結果の下位の宿はユーザーの好みに関係なく予約されにくい; C(コールドスタート) 新規ユーザーは履歴データが不足している。
    モデルの改良に関して、「論文を読んで新しい手法を試す」というアプローチはうまくいかず、「ユーザの行動を観察して設計する」というアプローチに切り替えたことなど試行錯誤の過程が報告されている。
    （次の論文ではD(ダイバーシティ）の観点から改良)

• 「Managing Diversity in Airbnb Search」
  • データマイニング関連の国際会議KDDの採択論文
  • Airbnbユーザーの選択肢を増やしてユーザー体験の向上につなげるという目的のもとで、検索結果に多様性を持たせるようにランキングアルゴリズムを改良。検索クエリを処理するLSTMと予約/未予約状況を処理する全結合ニューラルネットワークを組み合わせる2-stageのアーキテクチャや検索結果の多様性を評価する指標を提案した。

• 「The Resale Price Prediction of Secondhand Jewelry Items Using a Multi-modal Deep Model with Iterative Co-Attention」
  • データマイニング関連の国際会議KDDのワークショップ「AI for Fashon」採択論文
  • 中古ジュエリーの再販価格をDNNにより予測する方法を提案した論文。画像と属性(重さなど)から抽出した特徴をCo-Attention Cellに繰り返し入力することで、外観と属性を反復的に確認する専門家の価格設定手順をモデル化した。

• 「Predicting Next-Season Designs on High Fashion Runway」
  • データマイニング関連の国際会議KDDのワークショップ「AI for Fashon」採択論文
  • 30年分のランウェイショーの画像からembeddingを学習するCNNモデルと、次のシーズンのトレンドを表すembeddingを予測するためのパラメータを学習するRNN/LSTMを各デザイナーごとに学習させ、トレンドになるか確認したいファッション画像のembeddingとRNNから予測されたembeddingのコサイン類似度を測ることで、次のシーズンのファッショントレンドを予測する手法を提案した論文。

おわりに

全3回に渡って「2021年前半に読むべき機械学習/ディープラーニングの論文 26選」として、コンピュータビジョン～実務応用まで様々な分野の論文を紹介しました。
AIエンジニア/データサイエンティストとして、NeurIPSやICLR、ICMLなどと合わせてCVPRやKDDなど自分の業務に直結しそうな各種カンファレンスの採択論文を毎年フォローし、常に一次情報に触れ続けることが重要です。
今回の記事を足がかかりにして、是非自分でも様々な論文を調査してみましょう！

◆2021年前半に読むべき「機械学習/ディープラーニングの論文」26選の一覧はこちら
◆2021年前半に読むべき「機械学習/ディープラーニングの論文」26選　コンピュータビジョン編はこちら
◆2021年前半に読むべき「機械学習/ディープラーニングの論文」26選　自然言語処理＆強化学習編はこちら
◆2022年最新版「機械学習/ディープラーニングの最新論文」30選はこちら

スキルアップAIでは、深層学習の基礎から応用まで学ぶ「現場で使えるディープラーニング基礎講座」をはじめとして、様々なGANを学ぶ「GAN（敵対的生成ネットワーク）講座」、オンラインで受講可能な「現場で使える XAI（Explainable AI）講座」を開講していますので是非ご検討ください。