AlphaFold: Using AI for scientific discovery | DeepMind


2018 CQ WW DX CW Contest

 SOABL(A)  545 Qs,  60 Zn,  104 Cty,   235,996 Pts(raw) 

 今年はなかなかスケジュールが合わず、ずっとコンテストに参加できずにいた。このまま2018年が終わってしまうのは忍びなく、都合をつけて久しぶりにリグの前に座ってみた。

 あまりに久しぶりすぎてコンディションの良し悪しがよく分からない。が、21MHz以上の落ち込みはますます酷くなっているようだ。一方、14MHzはオープンする時間は短いもののNA, EU方面がよく聞こえ、ちらほらと呼ばれる時間帯もあった。



AI and Compute

image

  しばらく前の「OpenAI Blog」に掲載された記事
ひとつのニューラルネットワークの訓練に費やす演算量が「3.5ヶ月毎に2倍の増加傾向にある」と述べている。「この傾向はしばらく続くだろう」とも。

以下は記事の概要。

  • 2012年以降、ひとつのニューラルネットワークの訓練に費やす演算量は「3.5ヶ月毎に2倍の増加傾向」にある(ムーアの法則は18カ月で2倍)

  • ネットワークの訓練環境を大きく4つの時代に分けて捉えることができる
    • ~2012年:GPU以前の時代
    • 2012~2014年:1~8GPUの時代(1~8TFLOPS/GPU)
    • 2014~2016年:10~100GPUの時代(5~10TFLOPS/GPU)
    • 2016~2017年:大バッチサイズ、アルゴリズムレベルの並列処理とTPU等の新ハードウェアの時代
  • この傾向(3.5ヶ月毎に2倍=18ヶ月で10倍)はしばらく続くと考えられる。理由は複数ある
    • AI専用LSIの台頭が演算量増大と計算効率向上を後押し
    • 基本的にはスケール(物量)でカバー可能
    • スケールに必要な費用も確保可能(世界のITハードウェア総予算は年間1兆ドルと予想され、まだAI領域で費用確保の余裕あり)

  1. グラフの縦軸(Petaflop/s-day)は普段あまり見かけない単位系だが、「ひとつのニューラルネットワークの訓練に必要な延べ演算量(のようなもの)」と理解すればよいと思う。 例えばAlexNetの場合、原論文に「GTX 580 3GB GPU 2台で訓練するために5~6日かかった」と記載されていることから、以下となる。

      GPU台数 x Peta-flops/GTX580 x 訓練日数 x 平均演算効率
      = 2台 x 1.58 x 10-3 Peta-flops/台 x 5.5day x 0.33
      = 0.0058 Peta-flops-day

  2. ムーアの法則:
    インテルの創業者であるゴードン・ムーアが1965年の論文で述べたLSIの集積度に関する予測。LSI上のトランジスタ数は「18ヶ月毎に2倍の割合で増える」というもの。一方、AI側からの要請は「18ヶ月毎に10倍の演算量」なので、この落差の埋め合わせは差し迫った課題。