AIの急激な進化、誰にも理解できていなかった 研究者「なんか知らんけどデータ量増やしたら急に精度が跳ね上がる…なんでや？」 [158478931]
■ このスレッドは過去ログ倉庫に格納されています
Takuya Kitagawa
@takuyakitagawa
近年のAIの進化は実は理解されていない。
ChatGPTを筆頭に、信じられないレベルでAIが進化している。
そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。
おそらく発明した研究者本人たちですら。
どういうことか。
AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。
研究の進化とは
1. モデルやアルゴリズムの進化
2. 計算量の増加
3. データ量の増加
などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。
反面、計算量やデータ量の増加によって、「驚くべき」進化があるとは誰も思っていなかった。
計算量を倍、倍としていけば、それに応じて精度がちょっとずつ上がっていく、と想定したからだ。そこには驚きはないはず。
今までの論文ではそうだった。むしろ量の増加による精度改善は飽和していた
ところがこの数年で研究者はびっくりする結果を目にする。
なんと、計算量やデータ量を増やしたところ、
完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。
下記の図の横軸が計算量、縦軸が精度だ。
まじか、とみんな思った。
https://i.imgur.com/L2j4G54.png
https://togetter.com/li/2063433 スカイネットの登場は予想より遥かに早いかもしれない >>おそらく発明した研究者本人たちですら。
素人が勝手にお気持ち代理表明とかさあ・・・ データ与えまくれば更に跳ね上がる
もう終わりだよこの星 AIに無断転載で学習させないようにワードサラダをぶち込むのがケンモー流なのかな 最先端の科学技術だけど実質根性論になってんだよな
大量のデータと高性能なGPU掻き集めてぶん回すだけの 1人殺せば犯罪者だが100億人殺せばシンギュラリティなのだよ >>8
予想してた成長曲線と異なる結果が得られたんなら
予想外ってのはその通りだろ deeplearningの時から「何でか」何て分かってなかっただろ 今までは学習データからの最適解を導くまでのプロセスが足りなかったンじゃないの？ >>13
今までは32bitとかでかい幅でやってたので無駄がオオカッタんじゃないの？
最近のGPUってもうちょい狭い幅で効率よくできるようになってるし 人間の脳も、大量の情報が統合されて意思を持ったとかなら これに量子コンピュータが実用化したら人類は終わるな ソフトは僅かな改良でも機械の計算速度がハードの進歩で毎年二桁～三桁向上してるからだろ 人間の知能も似たような状況だったんだろうな。
ある一定ラインを超えると爆発的に知能が上がっていくんだろう。 メカニズムはともかく
脳に比べて機械は単に要素の数が少なすぎるってのは昔から言われてたこと >>26
でも20世紀後半から止まってないか？
特に1990年からの日本人は知能下がってる 最近の絵師廃業みたいな事態は本気でびっくりしてたが、
想定外なのかよ
はやく自我を持って人間と敵対してくれ インターネットっていうアカシックレコードみたいなデータベースがAIの教育にすごい相性が良かった 人間の脳を真似たつもりのニューラルネットワークをひたすら高性能で大規模化すれば人間に近づくのか、
何かまだ発見されていない未知の仕組みを組み込まないと人間には近づけないのかの実験で 受験勉強と一緒で
こうなっていくもんとちゃうの
人間の脳は現代というかかなり前から小さくなってきてるｗ インターネットが発明されてから人は段々考える事を放棄してきた
Z世代とか半分くらい発達障害だからな 2025年に人間突破されちゃうんだろ
もう研究者とか要らなくなるかもわからんよな >>18
ディープラーニングどころか半世紀近く前のネオコグニトロンの時代からまったく「何でか」なんてわかってなかった AIにシンギュラリティは起こらない、みんなが想像するようなAIは不可能っていわれてたけどブレイクしそうなのか >>26
これはあるだろうな
猿とかゴリラもそれなりに頭いいらしいけど
人間の文明に到底及ばないし >>34
データが枯渇したらそうなる
大規模な言語AIはそろそろネットのデータ食い尽くすらしい 英語とかも急にテストできるようになるだろ？
理屈はわからんけど Z世代見てたらわかる
豊かになると人はバカになる
チンポコまんまーんって顔で生きてるあいつら見てると
おそらく日本は後進国に駆逐されて
その後チンポコまんまーん化した後進国も
進化したaiに駆逐される そのうち自分の好みを伝えたら自在にエロ動画生成してくれるんじゃないか
20年以内には確実にできるだろう もしかて科学って世の中1%ぐらいしか解明出来てないんじゃないか？ 世界中の図書館の電子データ化された本を全部読ませたほうがいいな >>40
マジレスすると違う
この話の例は言語AIのデータに過ぎない
飛躍してるのは言語・画像・音声くらい 分析をするだけであって、新しい物を生み出す思考はできない
その分析がとても価値があるから別にいいんだけど、シンギュラリティなんてものは1000年経っても起きないよ よくわからんのだけど例えば1TBの画像データを学習したAIの容量はどのくらいになるんだろう。
学習させればさせるだけ肥大化するのかな OpenAIが突然scaling lawとか言い出したけどみんな何がなんだかよくわかってない はよ政治してくれ
我欲ある人間よりよほど信じられる 学習させるネット上のデータもうすでに枯渇してそうな気がする ようするに
人間にそなわってる基本的思考の回路ができたってこと >>55
1TBの画像データなんかたかだか知れてるぞ
俺がしこしこと集めたエロ絵フォルダだけで1TBいくわ |
＼ __ ／
＿ （ｍ） ＿ﾋﾟｺｰﾝ
|ミ|
／ ｀´ ＼
('A`)
ノヽノヽ
くく
これがないとヒトは超えられんやろ >>29
5chネラーの知能低下速度の方が恐ろしいと思うの >>61
実際は知らんけど画像とかならペタバイト単位になってそうだな この先人間の都合がいいように進化する訳ないし
そうなるとAI自体が犯罪の主体になるんだろうが
まずお金の価値や意味が全く変わって不要になる
日本は早くお金の必要のない世の中を実現すべき 人間の順序立ててして考える論理思考と同じ程度の知能が、AIの過去データの分布から出す確率思考で「使える」レベルまで来てる
これは逆説的に「人間の論理思考なんてこんなもんだった」という事を意味してる
人間は自身の論理思考を高く見積り過ぎていたという事だ 理解できない進化ってヤバイよ
制御できなくなる可能性が現実味を帯びてきたな 理解できないくらい進化してくれて構わない
この世の中に飽き飽きしてるし
ガラッと全て変えてみた結果の世界が見てみたい 俺らはSFとかでよくある古代に滅んだ偉大なる種族とかなんとかになるだろうな 人とチンパンのDNAの差も0.1％もない
HDDが300GBから3TBになっただけだろ >>79
このチンパンと数%しか違わないってのはよく遣われるレトリックだけど正確に言うと間違いだからな
半可通の誇大宣伝みたいなもん 死ぬまでにエーアイパートナーと喋って退屈を紛らわすことができるようになるんだと思うと生きててよかったな AIをネットと量子コンピュータに繋いで好きに使えと命令したら、、 >>55
aiの計算モデルのパラメータの数は何千億とあるが一つ一つは単なる実数なので大した容量にはならない。
学習データをどれほど増やそうがパラメータの値の組み合わせがデータに適合するように変わるだけで全体の容量は不変 今まではAIできたぞ→やっぱだめかあ
の繰り返しだったけどそこから抜け出したか >>84
Stable Diffusionの改造版がGPUメモリ8GBに収まるくらいだからな aiに俺の思考読み込ませて
俺が多幸感に包まれる最高の曲を作れってプログラムして聴いてみたい なんじゃこりゃ
説明しても馬鹿には理解できてないだけだろ >>1の人はこの現象を物理で言う相転移だって説明してたけど
相転移ってよく知らんけどそんなに謎の現象なの？ そのためにビッグデータが話題になってたんじゃなかったのか？ ChatGPTを仕込んだラブプラスとかできたらマジで死ぬまでやれそうだよな 臨界点を超えるとグンと伸びるってのは仕事や勉強をしてても感じるな
なんでだろうな 増やしたデータ量が莫大だったってだけのオチじゃないの
画像AIみたいに無断転載サイトから丸ごとデータ抜けば
そりゃ精度あがるだろ ■ このスレッドは過去ログ倉庫に格納されています
