教授「AIが加速度的に進歩する？もう終わりやで。ソースは月旅行🌚」 [523957489]
■ このスレッドは過去ログ倉庫に格納されています
https://ja.m.wikipedia.org/wiki/%E6%9C%88%E6%97%85%E8%A1%8C
アルビンド・ナラヤナン
@random_walker
1960 年代後半、飛行機の最高速度は劇的に向上しました。人々はこの傾向が続くだろうと考えていました。パンナム航空は月へのフライトを事前予約していました。しかし、その傾向が崖から転落しつつあることが判明した。 AI のスケーリングについても同じことだと思います。AI はいずれ枯渇します。問題はそれがいつなのかということだ。おそらくすでにそうなっていると思います。
1971年までに約10万人が月への飛行に申し込んだ。 エロに強く関係してる時点でそんなのとは違う
無限の可能性がある 今でもAIごとの性能差はソフトウェアでは無く各社のサーバーのマシンパワーによって差別化されているらしい
学習可能なデータセットが枯渇するという懸念もあるけど、強化学習メインになればデータセットはいらないし、あとはハードウェアの技術進歩次第なんじゃないか
ムーアの法則みたいなものがどれだけ続くか、あるいは量子コンピュータがいつ実用化されるか でもダイヤルアップ接続から今のネット網と速度の進化って糞速かったと思うけどな 口だけ動かして現実には実行できないやつがネット上にウヨウヨ増殖するのが現状のAI
ハードと結合し始めないと意味ないぞ 飛行機→時速900km
ロケット→時速40000km
人工知能が飛行機で人間の脳がロケットって事？
そんなに人間の脳は高性能か？ 数関数はすべてシグモイドの偽装であるという話を聞いたことがあるかもしれません。指数関数はすべてせいぜいシグモイドの偽装であると私は言います。場合によっては、技術の進歩が突然横ばいになることがあります。有名な例は CPU のクロック速度です。(もちろんクロック速度はほとんど意味がありませんが、測定基準はお好みで選んでください。) 肉体労働をロボットに置き換え、が困難だろう
奴隷に比べてコストが高過ぎるし、仮にコストを度外視したとしても、金属枯渇の問題が迫ってきている
銅、亜鉛、ニッケル等のベースメタルと呼ばれていたもう50年でロクに使えなくなる 継続的なスケーリングには、主に 2 つの障壁があります。1 つはデータです。企業がすでに高品質のデータを使い果たしている可能性があり、それが OpenAI、Anthropic、Google の主力モデルがいずれも驚くほど似たパフォーマンス ( > 1 年間改善されていない) を示している理由です。
合成データについてはどうでしょうか? 誤解があるようです。開発者がトレーニング データ量を増やすために合成データを使用しているとは思えません。この論文には、トレーニング用の合成データの使用法の優れたリストが掲載されており、特定のギャップを修正し、数学、コード、リソースの少ない言語などのドメイン固有の改善を行うことが中心となっています。 無意識に合成トレーニング データを生成することで、より高品質な人間のデータを増やすのと同じ効果が得られる可能性は低いでしょう。
2 番目で、私が思うにスケーリングに対するより大きな障壁は、ある時点を超えると、スケールによって困惑度 (次の単語の予測) の点でモデルが改善される可能性はあっても、下流の改善 (新しい機能の出現) にはつながらない可能性があることです。
これは、LLM 機能に関する中心的な議論の 1 つ、つまり、LLM は外挿が可能なのか、それともトレーニング データに表されたタスクのみを学習するのか、という点に関係しています。これは、グラスが半分満たされている / 半分空である状況であり、真実はその中間にあるのですが、私は後者の見解に傾いています。
したがって、LLM がトレーニングで見られる以上のことを実行できない場合、表現されるすべてのタスクがすでに表現されているため、ある時点で、より多くのデータがあっても役に立たなくなります。従来の ML モデルはすべて最終的に停滞しますが、LLM もおそらく同じです。 >>4
ハードの進歩は行き詰まっているのでしばらく厳しいと思うわ 私の直感では、スケーリングはすでに基本的に限界に達しているだけでなく、最先端のモデルを構築しているチームによってすでに認識されていると思います。もしこれが本当なら、そうでなければ困惑する多くの事柄(I内部情報がない) が説明できます。
– GPT-5 はありません (覚えておいてください: GPT-4 は約 2 年前にトレーニングを開始しました)
– CEOはAGIへの期待を大幅に抑えている
– LLM の上位レイヤー (エージェント、RAG など) に焦点を移す
– AGIに注力していた多くの人材が退職し、AI企業はミッション重視ではなく通常の製品企業のように行動し始めている
あとはソースで だいたいみんなそう感じてんじゃないの
物事は波だよ三寒四温だよ
第六次AIブームに期待だ 月までの距離にムーアの法則当てはめたら今頃はアルファ・ケンタウリいけるんだな
まぁ光の速さ超えちゃってる気がするけどｗｗｗ 匿名化解除技術の分野で有名な教授らしい
ケンモメンの敵やん 今ある技術で可能なことは人間を圧倒的に上回るところまでは既定路線だろうけどね 将棋ソフトなんかは3コマ関係使った今となっては原始的な評価関数だけでも
演算力の暴力で敗北したのが人間なわけだし
同じようなことはLLMの領域でも当然起こると想定したほうが良いよね まあ指数的な成長なんてありえないからな
画像生成もSDが出てきて対して進歩してないし 禁止事項増えすぎて何も出来なくなる方が早くなりそう nvidia決算次第でAIが一過性ブームかわかるだろう llama3発表時にパラメーター量5倍ぐらいのモデルはまだ計算中と言ってたぐらい計算量の負荷増大は問題になっているけれど、
パラメーター量増やせば高性能になるという実感があって大規模化競争になっている状況で、あと数段階は大規模化しそう 今のAIって人類の蓄積された知識の効率的再利用に過ぎなくて、合理的でも発展的でもないように思う
SFで考えられていたような人類を凌ぐ高みに到達する知性体という印象は無い >>31
AIに身体が無いうちは便利なITの範囲で、
ロボットと組合せるようになって来て、そのロボットの体験を学習するようになってどうなるのか楽しみ 民衆が月旅行に行けなかったのは将来的なコスト低減の道筋が全く見えてなかったのに煽り倒してただけの話であって、
半導体の進化によって性能がアップするAIとは全く違う話だわな。 アナロジーの乱用だけで未来を予測する米大学教授
世界の知性も落ちたもんだ AGIができるにはまだまだ課題が山積みって感じか
確かにハード面で動かして学習するのは難しそうだね 逆に技術の進歩を遅く見積もった例もあるだろうに
ほんと無能の発想よな 今の路線のままだと詰まるとは思う
だからあと10年くらいしたらどこかの国が人体改造に手を付けて人間と機械のいいとこ取りを狙い出すんじゃないかなと妄想 んだから、たとえば昨年の誇大広告でブームになったChatGPTなんてのも、「知能」（笑）ではなく、検索エンジン＋エクセルの進化版にすぎないんだから、
多くの一般ユーザーは有用性の限界に気づいてきてるじゃん
４の新バージョンも、ついに処理の速さとかコスパとかを売りにするしかなくなった（笑）
頭打ちってことだよ
昨年のブームにのっかっていろいろぶっこみすぎたネットビジネスのアホどもが、ChatGPTの船からいまさら降りるわけにもいかず、
ツイッターやら５ちゃんで盛んにブーム再興をあおってるけど、増え吹けど踊らずで世の中は波も風も起きずにシーンとしたまま（笑） とりあえず一番頭のいい人間までは再現できそうだよね
そこで頭打ちになる可能性は確かにあるのかな
でも俺らが不要になるのは同じことだけど ■ このスレッドは過去ログ倉庫に格納されています
