AIのメモリー、128GBでもメモリ不足、最低144GB、推奨192GBに [422186189]

[1 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ a7a0-GBY7) 2024/12/09(月) 12:18:22.06 ID:yGBxq7h50]

https://5ch.net
://gigazine.net/news/20241209-nvidia-gpu-apple-silicon-inference/

[159 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW dfef-6UmT) 2024/12/09(月) 13:38:45.45 ID:wxJudcBS0]

AIは仕事机の上が散らかってる無能
メモリフットプリントがクソデカなのは甘え

[160 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 47de-8VGL) 2024/12/09(月) 13:42:08.40 ID:ZZMkJEr10]

>>159
そうじゃないと速度でないからしゃーない

[161 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 67b5-o07m) 2024/12/09(月) 13:42:14.09 ID:TtqA55uV0]

この推論能力って、学習にかける時間が同じって制約だよな？メモリ不足だってモデルのモジュールを分割させて学習させるってやり方があったはず
かかる時間がどれだけ長くなるかは知らん

[162 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 5f61-Kveu) 2024/12/09(月) 13:44:29.74 ID:nzfz27dt0]

学習やらんならそんなに必要ないだろ。
てかもはや一般人が手元で学習できるようなものじゃない。

[163 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 278f-Wz/f) 2024/12/09(月) 13:50:44.46 ID:m8+dPwIr0]

192Gなんて普通のマザーじゃ駄目だろ
なんでそんなメモリ食うんだよ

[164 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW e7b5-JKzo) 2024/12/09(月) 13:53:53.15 ID:VPNjzkBu0]

ChatGPTみたいなのをローカルで動かすには、データをメインメモリに展開するから最低192GB、本当は256GB以上欲しいって検証やってる人が紹介してたわ。SSD上にデータベース展開していると処理自体は問題ないけど、リアルタイムでの応答が無理って感じになるらしいぞ

[165 番組の途中ですがアフィサイトへの転載は禁止です (ｽﾌﾟﾌﾟ Sdff-1AKd) 2024/12/09(月) 13:55:24.19 ID:3CPYX/I/d]

>>162
推論だけでも載せるモデルによってはメモリバカ食い

[166 番組の途中ですがアフィサイトへの転載は禁止です (ｵｲｺﾗﾐﾈｵ MMab-xJXv) 2024/12/09(月) 13:57:33.76 ID:2Ag46yLMM]

脳の容量は10GB程度だけど、俺らは過去に遡れるから年齢x過去PBのRAMを持ってる
未来予測まで含めると無限大のRAMになると試算されてる
これを根拠にして人間と全く同じAIは不可能だと言われてる

[167 番組の途中ですがアフィサイトへの転載は禁止です (ﾌﾞｰｲﾓ MM8f-Qtk9) 2024/12/09(月) 13:58:00.40 ID:yrHnLdZqM]

スパコン使えないのか

[168 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW e757-+wdt) 2024/12/09(月) 13:58:22.47 ID:Wu/n5FN70]

エロやるならローカルしかないんよな

[169 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW df89-eF12) 2024/12/09(月) 14:10:41.47 ID:Qo0tWzDr0]

>>139
CPUでメインメモリを使って動かす仕組みはある
元々Macで動かすために作られててそっちも同じ仕組みで動いてる
ただ現状のメモリだと帯域がしょぼ過ぎて処理が遅い
Macはメモリ帯域が強いからMacで良くねって感じになってる

[170 番組の途中ですがアフィサイトへの転載は禁止です (ﾌﾞｰｲﾓ MMff-0HV5) 2024/12/09(月) 14:19:47.06 ID:bRphhPh6M]

>>92
想像を絶するゴミだな・・・
へたすると20年くらい前のPCか
15000円で売ってるミニPCの半分以下の性能しかないだろこれ

[171 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 7fe8-KTYq) 2024/12/09(月) 14:21:01.31 ID:m4yr0Dbo0]

4070TiS買ったばかりなのに

[172 安倍晋三🏺 (ﾜｯﾁｮｲW 5fbf-Kg2U) 2024/12/09(月) 14:21:49.52 ID:SxpUFHie0]

AIソフトの要求メモリーって最初バカでかいけど大体改善されて常識的な容量になるよね

[173 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 2793-DVMB) 2024/12/09(月) 14:31:45.52 ID:NfCkSpXg0]

こんなにメモリ使っても口からでまかせしか言わんのなんなの

[174 番組の途中ですがアフィサイトへの転載は禁止です (ﾌﾞｰｲﾓ MMff-v0t0) 2024/12/09(月) 14:31:55.77 ID:NECQtd+OM]

>>92
どんなPCか正月暇だからに見に行くね

[175 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 4786-+nkV) 2024/12/09(月) 14:33:27.79 ID:krsxdCmh0]

スマホなんて8ギガなのに

[176 扇風機 ◆j/jRXi7eTs (ﾜｯﾁｮｲW 7f3c-rQWY) 2024/12/09(月) 14:36:45.84 ID:iAYg7PY90]

>>170
ゴミちゃうわちょっと稼いでくれてるんじゃ😤
https://i.imgur.com/krcwvvv.jpeg

[177 扇風機 ◆j/jRXi7eTs (ﾜｯﾁｮｲW 7f3c-rQWY) 2024/12/09(月) 14:37:48.16 ID:iAYg7PY90]

>>174
こないで下さい。遠いし疲れるよ🥺

[178 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 276f-bHfZ) 2024/12/09(月) 14:39:50.16 ID:7um4MbNK0]

128ビットCPUやOSとか必要になるの？🖥🥺

[179 安倍晋三🏺 (ｱｳｱｳｳｰ Sa6b-tn6g) 2024/12/09(月) 14:42:28.80 ID:6NfMYZa3a]

愛のメモリーやたら喰うな

[180 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW df50-4Hmg) 2024/12/09(月) 14:43:20.73 ID:MepoDQXv0]

GDDR6X辺りのVRAMに比べたら遅いだろうけどNVMeをVRAM代わりにできたりしないもんかね
ストレージ用途だったら速度持て余してるし

[181 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 674e-fAqp) 2024/12/09(月) 14:54:52.55 ID:FFihtUET0]

AI専用の新しいなんか作ったほうがいいんじゃないの？
AI用のプログラムにばっかり目を向けてるけどさ
AI用のなんかハード考えろよ

[182 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 5f75-N88W) 2024/12/09(月) 14:58:56.30 ID:DY35adgl0]

こりゃ英和

[183 🏺アフィステマ許すな！ (ﾜｯﾁｮｲW a755-laxe) 2024/12/09(月) 15:06:19.06 ID:ht7LVU/X0]

>>14
ナマモノのエネルギー効率すごいからな

あれナノマシンの塊だし
DNAの記憶容量も凄まじい

だから本当に凄いのは計算機自体なのよ
AIはかなり無駄の塊
それでも人に及ぶかどうか

計算機は人にできない正確な記憶を持ち計算も行う
こいつが本当の人工知能だろう
人を遥かに超えてるから我々の科学が進んだ
実は計算機自体がシンギュラリティなのだ😾

[184 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 47fb-+nkV) 2024/12/09(月) 15:36:00.02 ID:esFr09Fx0]

>>180
二桁遅い以上、話にならない
それが通用するならHBMの奪い合いに発展しない

[185 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 872e-NObB) 2024/12/09(月) 16:38:36.72 ID:A9WkPRuK0]

VRAMってなんでこんなバカ高いんだ
革ジャンが足元見てんのかハイニクスやマイクロンの時点でもう多額のコストかかってんのか

[186 番組の途中ですがアフィサイトへの転載は禁止です (ｽｯﾌﾟ Sd7f-pbT3) 2024/12/09(月) 16:45:04.49 ID:o2zlCK0Ud]

フォンノイマン型の限界だろ
アルゴリズムというかデータストラクチャをハッシュからjsonに変えて専用SSDからデータ引っ張ってくる形式にしないと使いもんにならなくね？
スゲー遅いだろうけども(´・ω・｀)

[187 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW ff44-l3NN) 2024/12/09(月) 16:54:54.40 ID:OSsKO4Jf0]

DVDが世に出たとき
「人間が一生涯で思考する言葉を文字にしても全部このディスクに収まる」的な記事を見かけたんだが

[188 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 67df-7Ydj) 2024/12/09(月) 16:55:46.09 ID:x0hKjkVm0]

LLMの場合はモデルをロードするのに必要なわけでしょ
VRAMほどの帯域は必要なかったりするんじゃないの？

[189 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW df4c-qo6R) 2024/12/09(月) 17:00:00.27 ID:1+iiMO3w0]

では聞いて下さい。松崎しげるで

[190 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW df4c-qo6R) 2024/12/09(月) 17:00:47.76 ID:1+iiMO3w0]

美しい生成よ～

[191 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 475b-N88W) 2024/12/09(月) 17:00:52.24 ID:ydGB7kC10]

AIはもうこれ使えよ

IBM「Summit」
メモリ:2.8ペタバイト（PB）

[192 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 5f07-cSyp) 2024/12/09(月) 17:04:00.46 ID:Xltm/Kzw0]

>>191
おいくら億円だよこれ

[193 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW a756-rdwU) 2024/12/09(月) 19:04:57.58 ID:l9UnWM8b0]

>>126
4070だが12Gなんだよ

[194 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ bf40-N88W) 2024/12/09(月) 19:29:12.55 ID:jp5ZzYY30]

元は5G規格をゴリ押し押し切ったHuaweiとQualcommの米中企業が共謀して
当時まだ問題だらけのミリ波通信が街中どこでも出来ると喧伝した結果が
あの酷いホラ話始まりで当時それが当たり前にまかり通って
マスコミも嘘と分かってる筈の専門家もその嘘をそのまま垂れ流し結果
多くの人間が鵜呑みして信じてしまったｗ
因みに嫌儲板では完全に洗脳されて在りもしない妄想話をレスし続けるバカがいる反面
ちゃんと技術的検知からミリ波の脆弱性や不経済性を指摘して
否定出来る賢明な嫌儲も幾らか存在してたのはある意味健全だった
因みに今はＥＶが同じ過ちで化けの皮が剥がれ
ＡＩへと続いててもずっとマスコミ宣伝広告に踊らせ続ける哀れな嫌儲が後を絶たないｗ

[195 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ df8f-xJXv) 2024/12/09(月) 19:31:35.58 ID:ppuUUbT70]

メモリお安いんでしょう？

[196 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW c736-eh+4) 2024/12/09(月) 21:32:54.08 ID:aoHpAbCx0]

>>176
そんなクソスペでマイニングしてもそんな儲かるの？嘘だろ

[197 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ e7af-g3vO) 2024/12/09(月) 22:03:24.42 ID:DDrfCiKb0]

>>92
死ね

>>176
>>177
早く死ね
生活保護暮らしのゴミ

[198 🏺 警備員[Lv.5][新芽]:0.00009586 (ｵｯﾍﾟｹ Sr1b-CP2L) 2024/12/10(火) 02:20:15.65 ID:Tccud6Wbr]

>>176
電気代差し引いて残るの？

[199 安倍晋三🏺 (ﾜｯﾁｮｲW dfaf-VQbS) 2024/12/10(火) 02:57:06.50 ID:IxxtuLUV0]

>>87
あますぎ
幼児は24-365脳の機能をフルに使って反復学習してる
そもそも脳自体が「学習専用の最適化済みナノマシン」で効率が桁違い
しかもそれを3年くらいかけてやる
AIの学習量じゃそんなんに全く追いつかない

[200 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW bfc9-1AKd) 2024/12/10(火) 07:16:55.29 ID:UD9OpeV90]

メモリ8GBでドヤ顔してるAppleさんさあ

[201 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 87e4-1AKd) 2024/12/10(火) 07:55:12.39 ID:KltsLBFB0]

>>176
電気代が気になるわ

[202 扇風機 ◆j/jRXi7eTs (ﾜｯﾁｮｲW 7f3c-rQWY) 2024/12/10(火) 08:29:19.88 ID:AnkpLxhd0]

>>196
マイニングてなんや🤔
>>198,201
https://i.imgur.com/mG7Yi32.jpeg
月こんなもん⚡

[203 🏺 警備員[Lv.7][新芽]:0.00057998 (ｵｯﾍﾟｹ Sr1b-CP2L) 2024/12/10(火) 10:55:33.00 ID:EDEgiXexr]

>>202
コテが示すようにエアコン持ってないの？

[204 扇風機 ◆j/jRXi7eTs (ﾜｯﾁｮｲW 7f3c-rQWY) 2024/12/10(火) 11:12:26.39 ID:AnkpLxhd0]

>>203
あるけど電気代すごいじゃん💸
https://i.imgur.com/FUAJdLQ.jpeg

[205 🏺 警備員[Lv.8][新芽]:0.00063625 (ｵｯﾍﾟｹ Sr1b-CP2L) 2024/12/10(火) 12:09:14.20 ID:EDEgiXexr]

>>204
>>176はマイニングじゃなきゃ何やって稼いでるの？

[206 扇風機 ◆j/jRXi7eTs (ﾜｯﾁｮｲW 7f3c-rQWY) 2024/12/10(火) 12:48:01.53 ID:AnkpLxhd0]

>>205
YouTubeだよ🎦

[207 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ ffa2-KKgq) 2024/12/10(火) 13:19:35.13 ID:rNpy9tBQ0]

VRAM商法思いついたときは発明だと思いましたね


１０未満ほぼゴミと化したもんなー８が今ぎりぎりまあ使い道はあるかなってレベルなだけで

[208 番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ bf4d-f5HH) 2024/12/10(火) 15:03:41.78 ID:xjyGWm400]

>>185
メモリ速度が速くないと画面の書き換えに追いつかないからVRAMのコストは高くなる
そこまでリフレッシュレート必要ないやろというレベルを求めてるうんこゲーマーがグラボを高くしてるともいえる

[209 安倍晋三🏺 (ﾜｯﾁｮｲW 27dc-tn6g) 2024/12/10(火) 18:19:52.70 ID:0raQPoIt0]

>>208
3060 12GB好評だったのにしれっと4060は8GBだし
革ジャンがケチってるだけでしょ