Takuya Kitagawa
@takuyakitagawa
近年のAIの進化は実は理解されていない。

ChatGPTを筆頭に、信じられないレベルでAIが進化している。

そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。

おそらく発明した研究者本人たちですら。

どういうことか。

AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。

研究の進化とは
1. モデルやアルゴリズムの進化
2. 計算量の増加
3. データ量の増加

などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。

反面、計算量やデータ量の増加によって、「驚くべき」進化があるとは誰も思っていなかった。

計算量を倍、倍としていけば、それに応じて精度がちょっとずつ上がっていく、と想定したからだ。そこには驚きはないはず。

今までの論文ではそうだった。むしろ量の増加による精度改善は飽和していた

ところがこの数年で研究者はびっくりする結果を目にする。

なんと、計算量やデータ量を増やしたところ、

完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。

下記の図の横軸が計算量、縦軸が精度だ。

まじか、とみんな思った。

https://i.imgur.com/L2j4G54.png

https://togetter.com/li/2063433