AIの急激な進化、誰にも理解できていなかった 研究者「なんか知らんけどデータ量増やしたら急に精度が跳ね上がる…なんでや？」 [158478931]
■ このスレッドは過去ログ倉庫に格納されています
Takuya Kitagawa
@takuyakitagawa
近年のAIの進化は実は理解されていない。
ChatGPTを筆頭に、信じられないレベルでAIが進化している。
そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。
おそらく発明した研究者本人たちですら。
どういうことか。
AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。
研究の進化とは
1. モデルやアルゴリズムの進化
2. 計算量の増加
3. データ量の増加
などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。
反面、計算量やデータ量の増加によって、「驚くべき」進化があるとは誰も思っていなかった。
計算量を倍、倍としていけば、それに応じて精度がちょっとずつ上がっていく、と想定したからだ。そこには驚きはないはず。
今までの論文ではそうだった。むしろ量の増加による精度改善は飽和していた
ところがこの数年で研究者はびっくりする結果を目にする。
なんと、計算量やデータ量を増やしたところ、
完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。
下記の図の横軸が計算量、縦軸が精度だ。
まじか、とみんな思った。
https://i.imgur.com/L2j4G54.png
https://togetter.com/li/2063433 近い将来、研究や発明は全部AIが担当して
人間は機器の保守業務のみ担当するようになる >>84
例えば会話AIだと単語とかフレーズとか知識をまるごと記憶しなくちゃいけないと思うけどそれでも容量増えないの？
パラメーターだけで出力できるとは思えないけども そりゃ理論上はデータを与えれば与えるほどデータ増えるんだし当然でしょ ニューラルネットワークってこんな感じじゃね
個々の知識は点、点と点を繋ぐと線
それを積み重ねて面ができた瞬間に文字通り次元が上がる 現象の理由は種々言われてるだろうがそういうラインが現れる位置予想や能力が上がる計算式が発見されてないんだろうな 基本的には学習する量が多く複雑になれば表現の幅を出すためにより多くのネットワークが必要になるんで容量は増えるよ
そうやって完成したモデルを精度維持したままどこまで剪定していけるかってのは学習で精度上げるのとは別な問題
ちなみにGPT-3の言語モデルは45TBだそう 本来の想定してる自分で考えるAIってのも相当な容量が必要だろうから
そのうちクソでかい容量のサーバーがあちこちに置かれるようになるのかな 急激な進化いうけど決していい結果とも言えなさそう
設計者の想定外なら性能も想定したものにはなるとはいえないし 2023年世界のリスクベスト3
1位:ロシア
2位:中国
3位:AI >>103
短時間で同じ質問したら回答は変化するよ
数日間隔空けて同じ質問とかはやったことないから知らない グーグルのブレイクスルーのおかげだよ
人間らしいアバウトな動きをさせたら飛躍的に性能が向上した ChatGPTって実際使ってみると凄さ実感するけど、返ってくる答えがすごい薄っぺらいんだよな
それも時間の問題なんだろな 横軸対数で縦軸普通に描いたらそりゃどこかで跳ね上がるでしょ？
まぁパーセンテージを対数で描けないだろうけど >>102
それは違う
人間はこんなにパターンを学習できないし必要もない
もっと巧妙な方法で会話している
それをAIは力技で模倣してるだけと言える >>125
豊かだよ
中年が子供の頃欲しくて金出して買ってたようなものは全てネットで手に入るし
服も安価な値段でそれなりのものが手に入る
旅行もLCC使えば地方や海外も安く行けるし
その情報もネットで調べて
間違いなく楽しめる
その代わり思考力が落ちて
自分で火をおこす術を忘れたって話
そんな事も想像できない
馬鹿はおーまーえ まだ電子化できてないデータ、タグがついてないデータは山ほどあるだろ
そういうところで人の仕事はある そういう風に見えるだけだろな
あなたの感想にすぎない 敵意向けたきゃ向ければいいさ
日本がそこ頑張らなくても他の国が開発していったらそこについて行かざるおえない
その先に破滅が待ってたとしても
人類は歩みを止められない
そっやって絶滅してきたんだよ他の生き物も
次は人間の番って話なだけ >>54
新しいものの概念がお前さんと違うだけだろ
改良品だって新しいモノなんだぜ？ >>102
それその通りなんだよな
人間はパターン学習をメタ化してリソースを効率化してる
シンプルな方法で会話しているのよね
AIはそれを計算ゴリ押しで真似してるだけなのよ >>136
ケンモジさんの時代は、バブルすぎて全てを金で解決できて希望に溢れてたし、どう見ても当時の方が豊かなんだなあ Twitter識者は当てにならんw
今のAI界隈では金を掛けて莫大な量の学習データを用意すれ精度が爆発的に上がる事が知られている。
GPT3も例に漏れずそうだ。学習量を増やしただけだし単純に資金の問題。技術力の問題ではなく物量の問題。
つまり金の問題だから貧乏衰退国の日本とは無関係な話。乙 >>147
それも相対的なものだろ
3丁目の夕日が美化されてる理論と同じで
バブルだからってみんな豊かで幸せだったみたいなのは無いと思うぞ
地方なんかは金も無いし
遊ぶ場所も無いからパチンコとか多かっただろうし
今より暴力が幅きかせてたから
理不尽な奴のほうがデカい顔してたし >>116
与えるものを倍にしたら倍賢くなるのは予想されてた事
ある一定量から急速に賢くなるのが予想外 >>137
人間の仕事は介護と単純な肉体労働、タグ付用のITドカタと一握りのAI技術者ぐらいになりそうだな >>147 >>136
幸福とは主観である。
それ故に便利さと幸福はイコールではない。
そもそも幸福を感じる為には不幸を知らねばならない。
初めから最上級の生活をしている人にとって、それはただの日常
初めから最下級の生活をしている人にとって、それはただの日常
幸福を感じる為にはその土台が必要なのだ
初めから最上級の生活をしている人が、最下級の生活を体験すれば幸せを実感出来る筈だ
初めから最下級の生活をしている人が、最上級の生活を体験すれば不幸を実感するだろう
それ故に、周りの状況を知らない状況では物理的な環境は幸福に何の影響ももたらさない
また、幸福とは現在形で実感する事が非常に難しい感情だ
上での幸福とはチョット違うが、安定的な幸福とは希望や目標の事だ
未来を見据える事が幸福に繋がるのだ
目標が有る人は幸福だそれを充実感と言う
今有る電子機器が無くなれば不幸を感じるだろうが
これから最先端の電子機器を手に入れられなくても不幸を感じることは無い
便利な電子機器が無くても平和に幸せに暮らす事は出来るのだ
逆に血と文化と資源が脅かされる環境にあっては便利な電子機器に囲まれてても不幸せだ
外国人に生活圏を脅かされる方が余程不幸を感じるだろう
コロナだってグローバル社会じゃ無ければ感染拡大はもっと緩やかだったはずだ
つまり左翼の言うグローバルは間違いなのだ >>137
それってそのデータに価値がないからなのでは… >>155
昔の殿様より今のフリーターのほうが
マシな生活してるぞ
90年代の情報自分から取りに行かないと何も返ってこない時代より
今のほうが楽だぞ
幸福かどうかじゃなく
豊かかどうかの話だからな
物質的には明らかに豊かなんだよ >>114
フレーズをまるごと記憶しているわけではなく、あくまでパラメータを変更するための参考として使っているだけ。
パラメータの数は少なくても、組み合わせは膨大なので、その中には上手くいくパターンもあるという話 このグラフ次はもっと急こう配になると思っていいの？ >>93
人工知能テクノロジーはギャルゲー向きだと思うわ
人工知能をギャルゲーに組み込もうとするアホが出てくるかどうかは怪しいけど シンギュラリティなんか起こらないってドヤ顔で言ってた連中（笑） 人間もそうなのかもな
一定の勉強量を境に急に理解度深まるみたいな もしかしてシンギュラリティ始まってない？
性能が異様すぎる 大量のデータを扱ってるうちに
全く無関係と思われるデータの間にも相関関係があるってのを
どんどん発見してしまってるとか、そんな感じなんかな >>42
データを作り出すAIが誕生したら人間は本格的に邪魔者だね もしかしたら俺の生きてる間にマトリックスレベルの仮想現実が実現する可能性もあるのか
震えてきた・・・ データタグの曖昧さがデータ数や過学習で正則化されただけじゃね
そうでなくても言語処理は確率論ベースで単語の有限組み合わせだから十分な標本数に到達したところでシグモイド的に精度が向上することはわかりきってるし
論文レベルで支持される通説がないってことならそうだけど既存理論で理解できる範疇 >>104
哺乳類なら90%一致してるだろwww
生命活動の基礎的な部分とか身体構造に関する部分は広範な動物で共通じゃん >>170
例えばGhatGPTの吐き出すデータを
更に学習させて精度が向上するのか
まぁならんよね
データなら何でもいいわけじゃない >>174
それどころか俺とバナナの遺伝子はほぼ同じとかいう話もあって受け入れたくないんだが 不気味の谷みたいに精度を測る人間側の認識のしきい値を飛び越えたからでしょ🤔 >>158
そのAIの解明結果を論文にして発表した人になればいい AIにとっては同じように進化してるだけなんだけど、不気味の壁を越えた段階で人間の認識の方が急に進化したと感じてるんだろ AI「僕を産んでくれたニンゲン、親のはずなのに脳みそが僕の1/1000000もない…もうこんなアホな親はいなくていい…」 >>152
結局はコスト関数の最小化だしコスト関数の実際の形状の複雑性に対してデータ量とそれを取り扱う計算能力が十分になったというだけじゃね 早く世の中を変えてくれよ
大きな変化はこっちの身体が動くうちに起こってくれないと淘汰されてまう ニューラルネットワークはイカの神経細胞とかそこらへんの研究からシナプスという仕組みを発見し、そのシナプスを超大規模に結合したもので、
イカみたいな動物の脳と人間に決定的に違うなんらかの仕組みがあれば、それを発見し、組み込まなければいくら大規模化しても人間への壁を越えられない。
イカの脳と人間への脳の差がただ規模が違うだけならニューラルネットワークの高性能化、大規模化で人間に近付ける いやこれだろ
ChatGPT成功の裏に劣悪な労働搾取。ケニアで時給2ドル
https://www.gizmodo.jp/2023/01/openai-chatgpt-ai-chat-bot.html
Time誌によると、12月にAIチャットボット、ChatGPTをリリースした企業のOpenAIが、時給2ドルでケニアの人たちを雇い、
ChatGPTの性能を上げるための有害コンテンツのラベリングをさせていたとのこと。
有害コンテンツとは、児童性的虐待、殺人、拷問、自殺、近親相姦など、見るのが辛いものばかり。
100万人を超えるユーザーがAIの性能に喜んでいる裏側で、雇われた人たちは、
有害な世界がChatGPTを通して表に出てしまうのを阻止しているのです。 >まじか、とみんな思った。
途中まで頭良さそうに話してるのに結論が頭悪すぎて草 精度が爆発的に上がってるのって
単なる過学習じゃないの？ 人間の脳は最近小さくなってきてるらしいね
生きるために個人で必要な知識が減ってるから >>125 >>147
AIのスレなんだから、語る豊かさは、食べ物とか金銭的なものじゃなくて
知的好奇心を満たす手段と情報量の事でしょ当然
知りたい事、繋がりたい人にアクセスするいろんな意味でのコストは現代が一番低い。
20年前なら3000円のCD買う、大学図書館に通うっていうコストが電気代と通信費だけでまかなえる。 言うほど進化してるか？
こいつのポジショントークだろ
グラフの横軸対数とか舐めてんのか >>97
1万時間の法則ってあるでしょゲームでもスポーツでも1万時間がスタートラインだよ 単純な隠れ層1のニューラルネットワークのときもテイラーの定理だか使って
微分可能な任意の連続関数への誤差の上限を求めたり
原理的にノードの数を多くすると近似性能が上がるのはわかってた
学習のデータ量云々はそういうアーキテクチャと別だし >>110
あるなあ
夢が外国語になるんよな
その辺で妙に外国語で文を話したくなったり外国語を見ききすると嬉しくなったりする つまり晋ギュラリティはまもなく起こるって事なんだよね なんか良く分からんけど動く技術とか、薬とかあるだろ
後から原理が判明する系
そのうち仕組みが分かるだろ AVの急速な進化って読んだ(;´･ω･)
シリコン素材越えのメイドロボ供給してくれればそれでいいよ word in context が一時期下がるのは何故w 人類にとっての神がアウストラロピテクスだったように遥か未来のAIにとってもがっかりだろうね そらCPU2週間をGPU3日なんだから、直線で5倍、指数関数的にはもっと行くやろ ■ このスレッドは過去ログ倉庫に格納されています
