Takuya Kitagawa
@takuyakitagawa
近年のAIの進化は実は理解されていない。
ChatGPTを筆頭に、信じられないレベルでAIが進化している。
そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。
おそらく発明した研究者本人たちですら。
どういうことか。
AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。
研究の進化とは
1. モデルやアルゴリズムの進化
2. 計算量の増加
3. データ量の増加
などだ。10年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。
反面、計算量やデータ量の増加によって、「驚くべき」進化があるとは誰も思っていなかった。
計算量を倍、倍としていけば、それに応じて精度がちょっとずつ上がっていく、と想定したからだ。そこには驚きはないはず。
今までの論文ではそうだった。むしろ量の増加による精度改善は飽和していた
ところがこの数年で研究者はびっくりする結果を目にする。
なんと、計算量やデータ量を増やしたところ、
完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。
下記の図の横軸が計算量、縦軸が精度だ。
まじか、とみんな思った。
https://i.imgur.com/L2j4G54.png
https://togetter.com/li/2063433