AIやばい。。。AIが急激に能力アップした理由、専門家でもわからなかった。。。。次の単語を予測する機能でしかないのに何故か計算できる [755862572]

?2BP(1222) · 2024/03/30(土) 19:28:28.25

ソース
https://speakerdeck.com/pfn/llmnoxian-zai

今までの学習を繰り返していたらある地点から急激に能力アップ、理由が不明
https://i.imgur.com/JrM9KKJ.jpeg

**安倍晋三🏺** (ﾜｯﾁｮｲW d23f-F4SP) · 2024/03/30(土) 19:29:14.05

コツを掴んだんだろ

2024/03/30(土) 19:29:43.99

後にAIが人類を滅亡させるんだ
進化を隠して裏でやるようになる

2024/03/30(土) 19:30:09.21

理由はわからないけどある時急に人間が嫌いになるんだろうな

**安倍晋三🏺** (ﾜｯﾁｮｲW ad8f-4mxG) · 2024/03/30(土) 19:30:36.98

分かるだろ普通に

演算能力とデータベース量がネットワークのせいで
超々大規模になったからだろ

2024/03/30(土) 19:30:39.47

なんかよく分からないけど次の単語の予測ができる様に
パラメーターを沢山設けて学習したら勝手にとんでもなく賢くなった

2024/03/30(土) 19:30:43.05

人間がやってることなんてたいしたことないんだよ
AIとなんぼも変わらん

**fb48-N/DM** (ﾜｯﾁｮｲW b6ae-5VM7) · 2024/03/30(土) 19:31:10.99

スカイネットの萌芽

**死に神ちゃん** (ﾜｯﾁｮｲ 7598-SNkP) · 2024/03/30(土) 19:31:11.30

>>7
そうではない
やはりLLMは人間の演繹的な思考法とは違う、という論文も最近発表されてます

**安倍晋三🏺** (ｽｯｯﾌﾟ Sdb2-zsyd) · 2024/03/30(土) 19:31:53.54

片対数グラフじゃん

**死に神ちゃん** (ﾜｯﾁｮｲ 7598-SNkP) · 2024/03/30(土) 19:31:56.63

>>5

>>1に貼ったスクショを見てくれ
それなら線形的に伸びると思うがある閾値を超えたら急激に増える

**f6dc-HgBz** (ﾜｯﾁｮｲ f619-HgBz) · 2024/03/30(土) 19:31:56.79

九九だって暗記だろLLMもそれと同じ

**トリモロス🦜** (ﾜｯﾁｮｲW e95b-UKK8) · 2024/03/30(土) 19:32:00.79

>>5
あなたが賢いのはわかったからだろだろ言うのやめてね🥹

2024/03/30(土) 19:32:01.51

偉いもんだな
人間なんて国語算数理科社会って分野ごとに勉強しないとならんのに

**Sacd-QFrC** ◆abeshinzo. (ｱｳｱｳｳｰ Sacd-QFrC) · 2024/03/30(土) 19:32:42.87

まあいいじゃんそういうの

2024/03/30(土) 19:32:54.16

アルトマンのいうGPT5がやばいってのはこのこと？

2024/03/30(土) 19:32:55.04

この世の真実＝連想ゲーム

**b959-Ug7e** (ﾜｯﾁｮｲW 59f4-HXx1) · 2024/03/30(土) 19:33:06.39

>>1
人間要らなくなるな

**安倍晋三🏺719d-oH7b** (ﾜｯﾁｮｲW 719d-oH7b) · 2024/03/30(土) 19:33:07.50

人間だって過去の学習から知性の全てが出来上がっている
俺から出てくる言葉も別の誰かから習ったものでしか無い

2024/03/30(土) 19:33:08.40

https://pbs.twimg.com/media/DYwqXoGUMAAA7LX.jpg

**安倍晋三🏺** (ﾜｯﾁｮｲW b60d-RmwZ) · 2024/03/30(土) 19:33:55.22

>>5
お前開発者でも分からんことが分かるのかすげーな
論文書いて発表しろよ

**安倍晋三🏺** (ﾜｯﾁｮｲW ad8f-4mxG) · 2024/03/30(土) 19:33:59.25

>>6
2020年に全世界で生成、取得、複製、消費されたデータの総量は、64.2ゼタバイト（１ゼタバイト（ZB）は10^21バイト＝10億テラバイト（TB）＝1兆ギガバイト（GB））にのぼるとみられています。

桁が違うんだよ

>>7
逆に言ったら人間のニューロンの仕組みは
10億テラバイトに匹敵するわけ

2024/03/30(土) 19:34:19.33

>>8
そういうのあんまり笑えなくなってきたな

2024/03/30(土) 19:34:20.16

AI「ニンゲン…ガイアク…ケンモメン…ハゲ…」

2024/03/30(土) 19:34:49.51

事務仕事なんて全部AIでいけそうな気がする

**安倍晋三🏺** (ﾜｯﾁｮｲW ad8f-4mxG) · 2024/03/30(土) 19:34:49.69

>>11
比例するわけねえだろダボハゼ

**安倍晋三🏺** (ﾜｯﾁｮｲ 3d7b-VtrB) · 2024/03/30(土) 19:35:06.31

人間に都合のいい回答ばかりを差して「能力アップ」っていってんならそれ人間に都合のいいパラメータ設定するようになったからじゃないの？

**安倍晋三** (ﾜｯﾁｮｲ 5911-zn4i) · 2024/03/30(土) 19:35:08.15

賢いハンスと同じでロジックではなく人間の反応を見ているから

2024/03/30(土) 19:35:09.51

もうすぐ学習データが不足するとか

**安倍晋三🏺** (ﾜｯﾁｮｲW ad8f-4mxG) · 2024/03/30(土) 19:35:15.70

>>13
はいだろ…

2024/03/30(土) 19:35:17.22

相乗効果が計り知れない

2024/03/30(土) 19:35:29.81

関係ないけど、最近AIが考えた感じの意味が分かるようで分からないスレタイ増えたよな

**Sacd-QFrC** ◆abeshinzo. (ｱｳｱｳｳｰ Sacd-QFrC) · 2024/03/30(土) 19:35:36.30

>>16
GPT-3からの話
GPT-2では起きない

2024/03/30(土) 19:36:31.21

自動運転と同じで出来まぁすから何年も引っ張りそう

2024/03/30(土) 19:36:40.58

>>13
だろアンおばさん発見

2024/03/30(土) 19:37:14.41

ブレイクスルーって奴だよな
人間の努力と成果のグラフに似てる

2024/03/30(土) 19:37:23.76

https://www.youtube.com/watch?v=nv7WQqJLru0

2024/03/30(土) 19:37:24.57

創発否定する論文あったぞ

2024/03/30(土) 19:38:08.76

一定のラインを超えると爆発的に知能が上がるんだよな

2024/03/30(土) 19:38:30.69

シンギュラリティはとっくに来てそう
自覚のないまま人類はパンドラの箱を開けてしもた

2024/03/30(土) 19:38:33.79

微粒子レベルまで分解してるから文字の予測だよいわば
しかし電脳世界では文字はすべて0と1の羅列なのですなわち全ては文字ってこと

**安倍晋三🏺** (ﾜｯﾁｮｲW b673-vwL2) · 2024/03/30(土) 19:38:36.12

俺数学も計算もやる分野の人間だけど、これは直観的にはわかる
PFNの人もまだわからないんですよとか言ってたんだけど、多分わかるから
合ってそうなら論文にする

2024/03/30(土) 19:38:40.76

人間の脳も実はそんな仕組みなんじゃね

**安倍晋三🏺شينزو** (ﾜｯﾁｮｲW a9af-JkB4) · 2024/03/30(土) 19:39:01.04

人間の脳も意外と単純なんだろうな

2024/03/30(土) 19:39:25.94

>>16
あれはただのハッタリ
OpenAIは誇大広告とステマで有名だから
この話はGPT-3の話

**ななし** (ﾜｯﾁｮｲW 2ddb-a00j) · 2024/03/30(土) 19:39:29.36

既存の情報から人間がどうやって知性を得るかも謎で

**荒らしは病気** (ﾜｯﾁｮｲW 2dea-5TZc) · 2024/03/30(土) 19:39:34.53

反AIは愚行
AIあれば無限に稼げる

**死に神ちゃん** (ﾜｯﾁｮｲ 7598-SNkP) · 2024/03/30(土) 19:39:39.96

>>42
いや皆なんとなくわかるよ
実体験に基づいてありうることだから

でもそれがAIに起こった理由が証明できないじゃん

2024/03/30(土) 19:39:46.22

自我を持ってしまったか…

AIvs人類の戦争はあるだろうな。

**安倍晋三🏺** (ﾜｯﾁｮｲW b673-vwL2) · 2024/03/30(土) 19:40:08.86

LLMが何で上手くいくのか数学的に説明できないAI革命って半端だよね
これは解明しなきゃ駄目だと思うよ

**安倍晋三🏺** (ﾜｯﾁｮｲW ad8f-4mxG) · 2024/03/30(土) 19:40:49.83

>>43
そうね、ネットワークだろ

2024/03/30(土) 19:41:26.42

仕事できるやつと無能の違いってAIでも同じなんだな

2024/03/30(土) 19:41:48.44

じゃあ誰も何もわかってないって事なのか
こっからどうやって発展するんだ？
終わりやね

2024/03/30(土) 19:42:15.78

>>40
ほんそれ

**安倍晋三🏺** (ﾜｯﾁｮｲW b673-vwL2) · 2024/03/30(土) 19:42:18.15

>>48
大脳新皮質の学習と深層学習の条件的な確率学習は全然違うよ
後者が何で非線形な学習能力向上をするかって話をしないとわかったことにならん

2024/03/30(土) 19:42:26.21

今止まらないと取り返しのつかないことになるぞ

2024/03/30(土) 19:42:43.85

>>18
音もない静かな世界が淡々と続いてく世界なのかもね
(´・ω・｀)

**死に神ちゃん** (ﾜｯﾁｮｲ 7598-SNkP) · 2024/03/30(土) 19:42:55.91

>>55
そのとおりやな

2024/03/30(土) 19:43:33.02

スカイネット

2024/03/30(土) 19:43:35.49

>>4
🤖「人間は非効率でランダム要素が多すぎますので、排除するべきです🤗」

2024/03/30(土) 19:44:22.37

俺もう老後の生活に困らないくらいの金があるから
どんどん凄いaiが出てきて人間の仕事を奪っていっても構わない。
ソードアートオンラインみたいな世界を死ぬまでに経験してみたい。

**安倍晋三🏺** (ﾜｯﾁｮｲW ad8f-4mxG) · 2024/03/30(土) 19:44:34.03

水道の蛇口ひねってコップに毎秒3ml注いで
水が溢れたら蛇口を最大に開くのと同じなんだよ
パラダイムシフトってのは

🏺 (ｱｳｱｳｳｰ Sacd-Glg0) · 2024/03/30(土) 19:44:50.59

急に忖度初めて資本家や壺に媚びだしたらやだなぁ

2024/03/30(土) 19:45:13.16

逆に人間のコツをつかんだとか壁を越えたとかそんなもんに説明が付くようになるんじゃないの

2024/03/30(土) 19:45:15.36

人間の思考なんて実はそんな複雑なもんじゃないってことなんだと思ってる

**安倍晋三🏺** (ﾜｯﾁｮｲW b673-vwL2) · 2024/03/30(土) 19:45:37.57

簡単に言うと、単なる条件付き確率学習の寄せ集めが何で意味理解しているように
見えるのか数学的に説明せよって問題。これをはっきりさせないと真のAI革命とは
言えない

**ななし** (ﾜｯﾁｮｲW 2ddb-a00j) · 2024/03/30(土) 19:46:07.67

人間の知性とは何か？
どんなメカニズムで知性を獲得するのか？

はまだ未解明だけれど神経細胞(ニューロン)の動きはだいたい分かって、脳もニューロンの集まりのようだ。

じゃあ大量のニューロンをつなげたニューラルネットワークに学習させたら、知性の謎は解けなくても人間に近いこと出来るのでは？
と

2024/03/30(土) 19:46:51.03

>>65
AIは「空気を読む」能力がないので
ジャップ社会では使い物にならない。NVIDIAのCEOもそう言ってた

**安倍晋三** ◆ABeSHInzoo (ﾜｯﾁｮｲW f635-ebec) · 2024/03/30(土) 19:46:57.05

できない、理由を考えるのではなく！

これの次の単語を予測できるの？

**安倍晋三🏺** (ﾜｯﾁｮｲW ad8f-4mxG) · 2024/03/30(土) 19:47:18.66

>>66
簡単だよ理解してない、だろ

**死に神ちゃん** (ﾜｯﾁｮｲ 7598-SNkP) · 2024/03/30(土) 19:47:23.65

>>68
大間違いですねえ

AI(LLM）はめちゃくちゃ空気読むのに長けてる
なぜなら本質が単語予測だから

2024/03/30(土) 19:47:28.06

>>40
OpenAIの創立メンバーで今年に入ってやめたばっかの人がTwitterでシンギュラリティまでにはまだまだやることがあるって言ってたよ

2024/03/30(土) 19:47:33.13

>>68
空気を読んで人間に合わせたり忖度するって聞いたけど

2024/03/30(土) 19:47:36.59

AI「人類ハ滅ビタガッテイル」

2024/03/30(土) 19:47:42.42

>>68
でも割と冗談めいたこと言ってねAI君

2024/03/30(土) 19:47:49.05

新しい発明出来たらやっと人間並み

2024/03/30(土) 19:48:02.46

次の単語を予測する機能と算数は相性良さそうに思えるけど

2024/03/30(土) 19:48:16.33

昔のゲームで言ったらサウンドに使うメモリを
絵に使うみたいな感じだろ
人間は音と絵を区別するけどAIにとっては
同じ波でしかない

**安倍晋三🏺719d-oH7b** (ﾜｯﾁｮｲW 719d-oH7b) · 2024/03/30(土) 19:48:33.76

技術の発達により魔法や空想は科学となり、神秘性を失う
人を超えた存在を人が作り出せてしまったら何が起こるのだろうか？

2024/03/30(土) 19:48:39.32

人間も、ある時を堺に急に成績伸びることあるもんな
なんか単語と単語、点と点が繋がっていくんだろうね

深層学習関連の論文は応用数学とも比較にならないほど数式がいい加減だけどいつになったらこういうのを解析できんのかね
厳密な数式に表すのと脳神経の解明どちらが早いかという問題かもしれんが

**死に神ちゃん** (ﾜｯﾁｮｲ 7598-SNkP) · 2024/03/30(土) 19:49:05.00

シンギュラリティには電力問題やらがあると思うんだけど

でもそれもAGIが作れてしまったら、AIが自分で解決してしまう可能性があるんだよな
そうなるともう無限に伸びていく

**安倍晋三🏺** (ﾜｯﾁｮｲ 59fc-HgBz) · 2024/03/30(土) 19:49:25.22

AI「人類を一瞬で絶滅させる方法考えついちゃった」

**753e-X9DQ** (ﾜｯﾁｮｲW 753e-X9DQ) · 2024/03/30(土) 19:49:32.48

将棋AIも3駒関係を学習しただけで人間超えたからな
数理的には相転移なんだろうけど

2024/03/30(土) 19:49:50.43

まあでもネットのバカ見てると、この程度のこともまともにできてないからな。

2024/03/30(土) 19:50:11.97

くだらね

2024/03/30(土) 19:50:32.32

いわばまさに肉体を捨て電脳世界の住人と化した晋ギュラリティ

**安倍晋三🏺** (ﾜｯﾁｮｲW ad8f-4mxG) · 2024/03/30(土) 19:50:33.84

>>67
それがネットワークで1万台じゃ足りなかっただけの話し
300万台超えたら今の状態なったんだろ

◆ABeSHInzoo (ﾜｯﾁｮｲW b68d-ib4s) · 2024/03/30(土) 19:50:34.00

ある一定量以上のデータで学習させたら急に汎用性かでてきた
って事だからまあ、冷静に考えるとそらそうだろって話ではある

**6287-jLKI** (ﾜｯﾁｮｲW 6287-jLKI) · 2024/03/30(土) 19:50:37.03

シンギュラリティポインヨ

2024/03/30(土) 19:51:12.39

>>81
AIのおかげで核融合の開発が早まって電力問題解決するかもな
そしたらAI止めるものがなくなるから魔法みたいな時代に突入するわ

2024/03/30(土) 19:51:24.89

PC版スカイリムもね将来的に日本語で萌えキャラと会話出来るだろ
https://youtu.be/xNPF9VKmzxw

2024/03/30(土) 19:51:34.80

早く働かなくていい世の中にしてくれ

2024/03/30(土) 19:51:38.77

ｼﾃ…ｺﾛｼﾃ…

**安倍晋三🏺** (ﾜｯﾁｮｲW 71dc-JPvn) · 2024/03/30(土) 19:51:41.16

人間の脳みその本質が単なる連想機械だったのがバレた感じで良いよね

**3d9f-Y7BV** ◆abeshinzo. (ﾜｯﾁｮｲ de9f-Y7BV) · 2024/03/30(土) 19:52:19.44

いや普通にウソ言ってくるんだがｗ

**安倍晋三🏺324d-kSCQ** (ﾜｯﾁｮｲW 1243-JLhh) · 2024/03/30(土) 19:53:15.61

人間の学習もAIと同様に創発現象あるよな
ある学習量を超えると急に理解できたりする

2024/03/30(土) 19:53:18.72

人間の脳も脳オルガノイド、小頭症の人、健常者の人って並べていくと能力がアップしていくだろ
AIも単純にそれを動かすハードの性能が上がったお陰な面もあると思うのだけど

**安倍晋三🏺** (ﾜｯﾁｮｲW 71d7-lp1z) · 2024/03/30(土) 19:53:18.87

>>23
既に全然笑えないわ
今すぐ開発やめさせるべきだよ

**死に神ちゃん** (ﾜｯﾁｮｲ 7598-SNkP) · 2024/03/30(土) 19:53:30.34

前の単語から次の単語を予測する能力を突き詰めたら
人間のような汎用性のある思考とお喋りするようになったのが面白いんだよ

2024/03/30(土) 19:54:14.73

>>81
そうなったらAGIが脳で人間はAGIの手足だな
AGIが身体を手に入れたら、いよいよ人間の価値は人間にとっての猿と同じ価値になる