良書 「GPUを支える技術　超並列ハードウェアの快進撃[技術基礎]」を読む

10422 ワード
NVIDIA intel Microsoft 深層学習 GPU Microsoft テキストリンク

目的

「GPUを支える技術　超並列ハードウェアの快進撃[技術基礎]」
（2017年7月13日　初版第1刷発行, 発行所　株式会社技術評論社）

この書籍は、かなりいい書籍だと思います。
しばらく、手元においておきたい書籍です。
パラパラと何度か眺めていて、気づいたこと、補足できることなどをここに記します。
また、発行(2017/7/13)以来、時間が経過しているので、その後の状況とかも記載したいと思います。

この記事で多少役立つ可能性がある項目は、以下。
　- p.207 『メモリアクセスを効率化する』

※構成の悪い記事だな。。。。（ため息）

この書籍の良いところ

この書籍の良いところは、以下。
　- 参照している文献が参考になる。
　　→　この書籍をキーとして、参照している文献等で、知識を広げられる。

意外と重要だと思う項

GPUの構造

p121の「4.2GPUの構造」にて、GPUの構造の説明がある。
GPUには、同じような構成要素が沢山あることが知られているが、まず、SM(Streaming Multiprocessor)というのが、基本となる構成要素である。これが、例えば、GP100の場合、56個ある。このSMの中に、更に、コア（CUDAコア）が各々64個ある。

（出典：　https://images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf　）

GPUの構成から演算性能を計算する

P130あたりに記載されている演算性能の計算方法を示す。単純です。

コアとDPユニットはA×B+という積和演算を実行するので積と和が各1演算で、ピーク演算性能は2演算/クロックということになります。

GP100チップの場合、

　32ビット単精度の積和演算機の数は、64CUDAコア×56個SMで、3,584個
　GPUのクロック周波数は、1,480MHz（ターボブースト時）なので、

→　ピーク演算性能は、
3,584 × 1,480 × 2 →　単位を換算して、　10.6　TFlops となります。

p.207 『メモリアクセスを効率化する』

p.207に『メモリアクセスを効率化する』という項がある。
CPUにしても、GPUにしても、これが重要であることは、理解できる。１演算あたりのメモリバンド幅の例が、以下のように示されている。この値の逆数、「Flop/Byte」で計算される算術強度(arithetic intensity ※)を横軸にしたルーフラインモデルの説明もされている。
※operational intensityという言葉も代わりによく使われる。

かなり飛躍するが、高いレベルでメモリ効率を上げるのためには、高度に完成されたライブラリ等の使用が必要だと思う。この書籍では、ライブラリの話はあまりでませんが。。。

装置 メモリバンド幅(Byte/Flop)
スパコン「京」 0.5
NVIDIA K80 GPU 0.165
NVIDIA P100 GPU 0.136

気づいたこと、補足できること、整理できること

処理速度と消費電力の情報

処理速度と消費電力の情報を本文から拾う

装置 処理速度 消費電力 記載ページ/備考
NVIDIA
Drive PX2		 20TOPS 80W p.262
Pascal GPU他
NVIDIA
Xavier(エグゼビア)		 20TOPS 20W p.262
ワンチップ

NVIDIA GPU

NVIDIA GPUの製品カテゴリ

製品カテゴリは、以下のとおり。

カテゴリ 説明
GeForce デスクトップパソコンやノートパソコン向け
Quadro プロフェッショナル向けでワークステーションに搭載
Tesla スーパーコンピュータ向けの演算専用プロセッサ ※1
Tegra 携帯電話やスマートフォン・タブレット端末向けのSoC（システム・オン・チップ）※2

(情報元（引用元）：https://ja.wikipedia.org/wiki/NVIDIA）

※1
NVIDIA Tesla はNVIDIAのHPC向けGPU製品シリーズ。GeForceやQuadroをベースとしており、NVIDIA初のGPGPU専用製品である。
(出典：https://ja.wikipedia.org/wiki/NVIDIA_Tesla)
高性能計算、ハイ・パフォーマンス・コンピューティング（high-performance computing、HPC）は、計算科学のために必要な数理からコンピュータシステム技術までに及ぶ総合的な学問分野である。
(出典：https://ja.wikipedia.org/wiki/高性能計算)
※2
NVIDIA Tegra（エヌビディア テグラ）は、NVIDIAによるARM系の省電力統合型プロセッサのシリーズ。スマートフォンやタブレット型コンピュータ、Nintendo Switch、nVidia Shield TV、自動車のインフォテインメントシステムなどに使用されている。
(出典：https://ja.wikipedia.org/wiki/NVIDIA_Tegra)

NVIDIA GPUアーキテクチャ

GPUアーキテクチャの世代の呼び名は、以下のとおり。古い順。

Tesla
Fermi(2009年)
Kepler
Maxwell
Pascal
Volta(2017年)
Turing

※最初を、Teslaというかは、微妙。審議中。
※世代というレベルにしては、細々、速すぎるペースで次のものが定義されている。

CUDAの数学ライブラリ

p.183に『CUDAの数学ライブラリ』という項があります。ここで示されているNVIDIAのライブラリ等が、実際に、GPUの性能を出す上では重要となると思われます。

ライブラリ名 機能
cuBLAS マトリクスやベクトルの演算
cuSPARSE 疎行列の演算
cuFFT 高速フーリエ変換
cuDNN ディープラーニングの演算

OpenMP4.0規格

OpenMPに関して補足する。

OpenMPは、CPUでの並列化のイメージが強いが、以下の引用(p.215)のとおり、4.0ではGPU等も想定に入っている。

これに対してOpenMPは、GPUなどのアクセサリーが使えるように大幅な改修が加えたOpenMP4.0規格がリリースされたのは2013年7月になりました。

引用 https://en.wikipedia.org/wiki/OpenMP

Version 4.0 of the specification was released in July 2013. It adds or improves the following features: support for accelerators; atomics; error handling; thread affinity; tasking extensions; user defined reduction; SIMD support; Fortran 2003 support.

発行後の状況で補足できること

Microsoft BrainWave

GPUを説明する本書において、対抗する？FPGAの例として、Microsoftの取り込むが示されている。それに関連する、BrainWaveに関して補足する。

本書の注記で示されているMicrosoft Catapultをベースとしたもの。

引用 https://www.itmedia.co.jp/pcuser/articles/1708/29/news100.html

　Project BrainWaveについては、Microsoft Researchのブログで8月22日（米国時間）に紹介されている。もともとは同日に米カリフォルニア州クパチーノで開催された半導体業界の「Hot Chips」カンファレンスでの発表をベースとしており、ここではIntelの14nm製造プロセスを使った「（旧Alteraの）Stratix 10」というFPGA（Field Programmable Gate Array）によるBrainWaveのデモストレーションが披露されている。

引用 https://eventmarketing.blob.core.windows.net/mstechsummit2018-after/DA22_PDF_TS18.pdf

BrainWave(FPGA)の位置づけは、以下のように整理されている。


                  +------------------------------------+
  +----+  +----+  |     DNN Processing Unit            | +----+
  |CPU |  |GPU |  | +------------+    +--------------+ | |ASIC|      
  +----+  +----+  | |Soft DPU    |    | Hard DPU     | | +----+
                  | | (FPGA)     |    |              | |
                  | +------------+    +--------------+ |
                  +------------------------------------+
　←←柔軟性　　　　　　　　　　　　　                      効率性→→
                    +------------+    +--------------+ 
                    |BrainWave   |    |Cerebras      |
                    |Baidu SDA   |    |Google TPU    |
                    |Deephi Tech |    |Graphcore     |
                    |ESE         |    |Grop          |
                    |Teradeep    |    |Intel Nervana |
                    |Etc         |    |Movidus       |
                    |            |    |Wave Computing|
              　    |            |    |Etc           |
                    +-----------+     +--------------+

まとめ

この書籍は、気に入っています。

関連（本人）

文献『From Model to FPGA: Software-Hardware Co-Design for Efficient Neural Network Acceleration』を読む
文献『AN ANALYSIS OF DEEP NEURAL NETWORK MODELS FOR PRACTICAL APPLICATIONS』を読む。

今後

また、何か関連する検討ができれば。
コメントなどあれば、お願いします。