Pytorchとは｜特徴やできること、実装例、PyTorch学習講座のご案内

こんにちは。スキルアップAIの行武です。
私は現在、機械学習の研究をしています。研究では深層学習(ディープラーニング)を主に取り扱っていますが、その際主にPyTorchを使用しています。

近年、機械学習の中でも深層学習は非常にホットな技術で、毎年新しい手法が提案されるため技術の進歩が著しい分野です。そのため、ディープラーニングを学びたい方や、深層学習モデルを構築してみたいと思っている方も多いのではないでしょうか？

しかしながら、0から深層学習モデルを構築するにはハードルが高いのも事実です。そこで、スキルアップAIでは、PyTorchを用いた深層学習モデルの構築を体系的に学ぶことができる講座を開講いたしました。

この講座では、PyTorchを用いた深層学習モデルの構築について、データの取得から学習まで一気通貫に学ぶことができ、初学者でも簡単に深層学習モデルの構築することが可能です。

本記事では下記の流れで、PyTorchについて解説をしながら、PyTorch講座についてご紹介していきます。

1.深層学習ライブラリPyTorchとは？

PyTorchはFacebook社の開発したPython向けの深層学習ライブラリです。PyTorchは他の深層学習ライブラリと比較して、使いやすさ、コードの見やすさ、実装の柔軟性に秀でている点が特徴です。

Pythonの深層学習ライブラリには様々なものがありますが、上記の観点からPyTorchが特に人気となっています。 そのため、Pythonで深層学習に取り組むには、PyTorchによる実装を行うことが最も近道です。

実際の現場では、PyTorchの他にTensorflowと呼ばれるライブラリを用いることも多いですが、Tensorflowは歴史が古く、参考となる資料は多いもののコードの可読性という面で後発のライブラリに劣ります。

対して、PyTorchは可読性の高さやデバッグ(コーディングのミス発見)のしやすさで優位に立ちます。また、PyTorchは研究者の間で人気が高く、最近の論文で発表された手法について実装を見つけやすいという利点もあります。このような背景から、PyTorchは近年大きく人気を伸ばしています。

人気度の比較として、検索回数の比較ができる Google Trends とオープンソースソフトウェアが数多く投稿される GitHub のリポジトリ数で、Tensorflow と PyTorch の比較をおこなったものが次の表となります。

※2018/12/2以降で最も検索回数が多かった週のキーワードの検索回数を100%とし、そからの相対値で計算されたもの

このように、Google Trends の人気度は現在非常に肉薄しています。GitHubの関連リポジトリ数は、後発であるPyTorchがやや少ないですが、こちらも年々その差を詰めてきている状況です。

2.PyTorchの特徴

PyTorchは「Define-by-Run」型の設計思想で、動的な計算グラフを構築する特色があります。ニューラルネットワークのノードをひとつひとつ用意しながら、それらの計算とノードの連結を同時に行います。一方、TensorflowはPyTorchとは真逆で、ネットワークを入力から出力まですべて書いてから計算をする静的計算グラフの構築を行います。

PyTorchのように動的計算グラフを用いる利点として、ノードごとに出力を確認しながらコーディングするため、デバッグがしやすいことが挙げられます。また、ネットワークの入出力を細かく記述できるため、複雑な計算グラフを容易に作成できます。そのため、いくつもネットワークが枝分かれするような複雑な手法を実装しやすいことも利点として挙げられます。このような利点から、条件によって処理を変更する複雑なモデルにおいても直感的に作成できるため、国際会議論文の著者実装が公開された際に PyTorch が使われるケースが多く見受けられます。そのため、 PyTorch の知識を身につけることで、最先端手法をいち早く利用できるようになります。

3.PyTorchでできること

PyTorchはTensor型という固有のデータ型を用いて、データやパラメータを取り扱います。Tensor型はNumpy(Pythonでデータ分析を行うときの標準的なライブラリ)の変数型に近い取り扱いをします。Pythonユーザーの多くは定常的にNumpyを使用するため、大半の人がPyTorchでも直感的にコーディングすることができます。
加えて、GPU上で演算ができるため、大量の行列演算を必要とする深層学習モデルの構築も可能です。

また、PyTorchには、自動微分やLossの最適化、その他深層学習に必要なモジュールが搭載されており、簡単にモデルを構築できることが特徴です。

本講座では、データの読み込み、モデルの構築、学習、評価など一連のフローをハンズオンを通して学びます。PyTorchは、データをミニバッチごとに取り出す処理や、誤差逆伝播(ニューラルネットワークを学習する方法)の処理等、独特な記述法を必要とする場合があります。これらは初学者にとって躓くポイントの1つですが、このポイントを押さえれば非常に使いやすく、応用しやすいように設計されています。
講座では、ハンズオンを通じてこれらのモジュールの仕様を理解し、躓くことなく実装を進められるよう丁寧に解説しています。

スキルアップAIの PyTorch 講座の特長として、単にクラスやメソッドの使用方法にとどまらず、深層学習の原理についても平易に解説を加えている点にあります。例えば、学習に用いられる勾配降下法について、まずはじめに下図のように手法の概要を紹介します。

その次に、手法の概要と対応付けるように PyTorch での実装方法を紹介します。

このように、手法の概要と実装を何度も行き来する形で PyTorch の利用方法を紹介することで、実装のイメージが付きやすいように工夫しています。さらに、Jupyter Notebook によるサンプルコードはほぼ1行ごとにコメントが入っており、後に復習する際にも便利になっています。動画中では、スライドだけでなくサンプルコードに対する丁寧な解説も行われており、PyTorch を使用したモデル定義から評価までの全体像が俯瞰して理解できることも特徴のひとつです。

4.PyTorchで画像、時系列モデルを構築

従来、顔認証・機械翻訳などの画像や自然言語を取り扱う技術は、データの特徴量の多さからモデルの精度に限界がありました。しかし、深層学習手法の発展に伴い、近年では急速に進化しています。このような学習に非常に時間を要する複雑なタスクにおいて、 PyTorch が積極的に選択される理由として、学習速度の速さが挙げられます。FacebookやNVIDIAの研究者が公開した、PyTorchとTensorflowなどの他の深層学習フレームワークの速度などを比較した論文「PyTorch: An Imperative Style, High-Performance Deep Learning Library」より、1秒あたりに処理できるデータ数を比較したのが次の表です。

学習時における1秒あたりに処理する平均データ数の比較

（「PyTorch: An Imperative Style, High-Performance Deep Learning Library」より一部引用）

いずれのケースにおいても、PyTorch は Tensorflow よりも1秒あたりに処理できるデータ数が多く、学習がより高速に実行できることが期待されます。

PyTorch講座では、画像の特徴抽出を行うCNNや、時系列・自然言語データを処理できるRNNなどのネットワークを構築し、実際に画像処理や時系列データ処理を実装します。これらの手法は、現在の深層学習分野では必須の項目です。講座を通じてモデルの構築方法や実際の流れを学ぶことで、様々な応用手法の実装が可能になります。

5.まとめとPytorch学習講座のご案内

このブログでは、昨今におけるPyTorchの盛り上がりや特徴、画像や時系列データへの応用が盛んである理由を解説し、スキルアップAIのPyTorch講座の特長に触れていきました。

Pytorch講座は、深層学習に取り組んでみたいが何から手を付けて良いか分からない方や、深層学習は何となく分かるが、実際のコーディングと結びつけるのが難しそうと感じる方々に特におすすめの講座です。

また、ディープラーニング検定E資格を合格した方で、今後最先端の深層学習モデルを実装してみたいと考えている方にもおすすめです。現時点ではE資格は NumPy による実装のみが対象となっているため、すでにE資格に合格していても物足りないと思っている方も多いのではないでしょうか？そのような方もぜひ PyTorch 講座で更にレベルアップしてみましょう！

この講座はハンズオンでコードを動かしながら、深層学習モデリングの一連の処理を体験いただけるインタラクティブな講座となっております。興味のある方は是非講座ページを覗いてみてください。

ディープラーニングのためのPyTorch入門講座