謎のプログラム『言語モデル』、これめっちゃメモリ消費が多いらしいな [193050788]

[0001 番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾄﾘｽ MMd2-oZlH) 2023/06/06(火) 18:54:51.89 ID:QuGmKIncM0606]

https://internet.watch.impress.co.jp/docs/column/shimizu/1503707.html
自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ！
最終的に、CPUのみでも動くようにできたが、処理速度は「激遅」で、実用性としてはかなり厳しい。質問から回答まで長いと1分ほど待たなければならない。
　今は、発表されたばかりのRTX4060ti 16GBを待つか、中古でRTX3090 24GBを買うか、真剣に悩んでいる。いずれにせよ、こんなに切実にビデオカード、いや、VRAMが欲しいと思ったのは初めてだ。

[0002 番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾄﾘｽ MMe6-Gyw8) 2023/06/06(火) 18:55:48.30 ID:BTTkZuzlM0606]

クラウド借りれば問題ない

[0003 番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾄﾘｽW 518f-R5nY) 2023/06/06(火) 18:56:15.06 ID:zstF+dNJ00606]

興味ないね

[0004 番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾄﾘｽW 690d-Zfkn) 2023/06/06(火) 18:56:30.59 ID:sGiQedmz00606]

データをメモリ上に展開するだけで別にやろうと思えばHDDとかSSDでも代用できんじゃないの？

[0005 番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾄﾘｽW 858f-6udl) 2023/06/06(火) 18:58:17.77 ID:sOjw1wQ900606]

ガチでグラボ必要な時代やな。

[0006 番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾄﾘｽ 7dd2-N/Lw) 2023/06/06(火) 19:03:28.34 ID:iHW7lhWo00606]

ゲームノートPCじゃ厳しい？

[0007 番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾄﾘｽ 61a6-N/Lw) 2023/06/06(火) 19:16:18.85 ID:wn2spTHp00606]

>ただし、実行時に、float16（半精度の浮動小数点）のパラメーターを設定すれば、使用メモリを約半分にできるため、実質的には12GBクラスのGPUでも利用可能となる。RTX 3060（12GB版）、RTX3080あたりでも動作可能だ。

デフォでfp32とか無駄過ぎんだろ

[0008 番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾄﾘｽ a1af-1DxI) 2023/06/06(火) 19:18:11.42 ID:0Yv6Ql7+00606]

メモリ上に数十GBのモデルファイルやらpython関連のライブリ読み込まないと動かないからな
仮想メモリも増やさないとまともにAI関係のプログラムをローカル実行するのは困難

[0009 番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾄﾘｽ 61a6-N/Lw) 2023/06/06(火) 19:19:43.03 ID:wn2spTHp00606]

メインメモリは今安いからどうにでもなるんだよな
俺でも64GB積んでる