X
なぜ日本はGPUのない「富岳」でLLMを研究するのか？外国に後れを取らないための現実的な理由とは [565880904]
■ このスレッドは過去ログ倉庫に格納されています
0001番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 5b6c-VwVd)
垢版 |
2023/09/11(月) 16:17:44.65ID:gjY7AWsK0●?2BP(2000)

そんな中、日本では理化学研究所と富士通、東京工業大学、東北大学が、スーパーコンピュータ「富岳」を使ったLLMの研究を今まさに進めている。学習手法の研究からデータの法的な扱いまで幅広く検討し、日本のLLM開発の基盤を作るのが目的だ。

　深層学習といえば、今ではGPUを使うのが一般的になっている。しかし富岳はそのGPUを搭載していない。日本にはGPU搭載スパコンも存在するのに、なぜ富岳を使ってLLMを研究するのか。

　今回は富士通研究所・コンピューティング研究所の中島耕太所長と白幡晃一さんに、富岳を使ったLLM研究について、その意義を聞いた。富岳は確かにハイスペックなスーパーコンピュータだ。しかし、LLM研究における活用には、それだけでないもっと“現実的な理由”があった。

LLMの学習には大量の計算が必要になる。では、具体的には何回以上計算すればいいのか。これには一つの答えがあるという。

　その数字が「10の23乗FLOPs」だ。富岳をはじめとするスーパーコンピュータの性能を示すとき「このスパコンの計算速度は○○FLOPsです」のようにいうことがあるが、今回の「FLOPs」は計算速度ではなく計算量を示す単位のこと。平易に書くなら「10の23乗回」となる。10の23乗は日本語でいうと「1000垓」。1兆の1億倍のことだ。

　中島さんによると、過去の研究の中でLLMには不思議な性質が見つかっているという。LLMの学習を進めていると、しばらくはあまり派手な性能向上が見られないのだが、ある時点でなぜか急に能力が跳ね上がり、それまでできていなかったような処理をできるようになる──それが10の23乗FLOPsだ。

　つまり、LLMを開発するならスーパーコンピュータに1000垓回分の計算をさせることが一つの目標になる。

一方で、1000垓規模の計算をするにあたっては、富岳以外の選択肢もある。一般的に深層学習に向いているとされるGPUを搭載したスーパーコンピュータとしては、産業技術総合研究所が構築・運用する「ABCIシステム」が日本最大とされてきた。搭載されているGPUの計算処理性能も富岳のCPUを超えている。

　富士通研究所の白幡さんによると、ABCIシステムを完全に貸し切って10日ほど計算させれば、1000垓規模の計算をすることも「技術的には可能」（白幡さん）という。

　しかし、現実的にはそうもいかない。ABCIシステムはさまざまな組織が共用しているものであり、長時間貸切ることが難しい。性能は高いが占有できないという“現実”がハードルになっている。

　対して富岳は、各CPUの処理性能を見るとABCIシステムのGPUの17.75分の1程度。しかし、現実的に使えるリソースの規模を考慮すると1000垓規模の計算を実現できるのは日本で富岳だけになるという。

https://news.yahoo.co.jp/articles/1bdbea8e1c974b020735b44d446548a1a38d188e
0043Moraler.M3wv (ﾌﾞｰｲﾓ MM93-W+zJ)
垢版 |
2023/09/11(月) 16:18:05.81ID:ND4/3Y5IM
＿_＿_＿_＿
0044Moraler.M3wv (ﾜｯﾁｮｲW b362-ZCI9)
垢版 |
2023/09/11(月) 16:18:05.89ID:f3BNiAAN0
＿_＿_＿_＿
0045Moraler.M3wv (ｱﾒ MM97-UBJC)
垢版 |
2023/09/11(月) 16:18:06.39ID:WUw2FM/qM
＿_＿_＿_＿
0046Moraler.M3wv (ﾌﾞﾓｰ MMe6-/Sil)
垢版 |
2023/09/11(月) 16:18:06.47ID:URiWausmM
＿_＿_＿_＿
0047Moraler.M3wv (ﾜｯﾁｮｲW b3dd-qdSh)
垢版 |
2023/09/11(月) 16:18:06.49ID:+JRYZxTT0
＿_＿_＿_＿
0048Moraler.M3wv (ｱｳｱｳｳｰ Sa47-IuR+)
垢版 |
2023/09/11(月) 16:18:06.72ID:cRWprAYga
＿_＿_＿_＿
0049Moraler.M3wv (ﾜｯﾁｮｲW b362-lqSE)
垢版 |
2023/09/11(月) 16:18:07.11ID:f3BNiAAN0
＿_＿_＿_＿
0050Moraler.M3wv (ﾜｯﾁｮｲW b3dd-Uvu+)
垢版 |
2023/09/11(月) 16:18:07.37ID:+JRYZxTT0
＿_＿_＿_＿
0051Moraler.M3wv (ｱｳｱｳｳｰ Sa47-MCzW)
垢版 |
2023/09/11(月) 16:18:08.16ID:cRWprAYga
＿_＿_＿_＿
0052Moraler.M3wv (ｱｳｱｳｳｰ Sa47-7Jpy)
垢版 |
2023/09/11(月) 16:18:09.55ID:cRWprAYga
＿_＿_＿_＿
0053Moraler.M3wv (ﾌﾞｰｲﾓ MMb6-nBAU)
垢版 |
2023/09/11(月) 16:18:10.30ID:eW8nHtZlM
＿_＿_＿_＿
0054Moraler.M3wv (ﾌﾞｰｲﾓ MM26-ShII)
垢版 |
2023/09/11(月) 16:18:10.36ID:Qcr2rI64M
＿_＿_＿_＿
0055Moraler.M3wv (ｽﾌﾟｯｯ Sd5a-Tuf5)
垢版 |
2023/09/11(月) 16:18:10.86ID:0+VWzlV9d
＿_＿_＿_＿
0056Moraler.M3wv (ﾌﾞﾓｰ MMe6-mtIN)
垢版 |
2023/09/11(月) 16:18:10.97ID:CauWh2mWM
＿_＿_＿_＿
0057Moraler.M3wv (ｱﾒ MM97-gQzj)
垢版 |
2023/09/11(月) 16:18:11.05ID:FEainzVEM
＿_＿_＿_＿
0058Moraler.M3wv (ﾌﾞｰｲﾓ MM26-Gwbn)
垢版 |
2023/09/11(月) 16:18:11.12ID:Qcr2rI64M
＿_＿_＿_＿
0059Moraler.M3wv (ﾌﾞｰｲﾓ MMb6-dIMl)
垢版 |
2023/09/11(月) 16:18:11.16ID:eW8nHtZlM
＿_＿_＿_＿
0060Moraler.M3wv (ﾜｯﾁｮｲW b362-qumG)
垢版 |
2023/09/11(月) 16:18:11.55ID:7R2cp+v50
＿_＿_＿_＿
0061Moraler.M3wv (ﾜｯﾁｮｲW b34a-2Bwg)
垢版 |
2023/09/11(月) 16:18:11.75ID:e7HdYI/m0
＿_＿_＿_＿
0062Moraler.M3wv (ｽﾌﾟｯｯ Sd5a-GMIv)
垢版 |
2023/09/11(月) 16:18:11.75ID:0+VWzlV9d
＿_＿_＿_＿
0063Moraler.M3wv (ﾌﾞﾓｰ MMe6-uMNS)
垢版 |
2023/09/11(月) 16:18:11.83ID:CauWh2mWM
＿_＿_＿_＿
0064Moraler.M3wv (ﾌﾞｰｲﾓ MM26-odkE)
垢版 |
2023/09/11(月) 16:18:11.97ID:Qcr2rI64M
＿_＿_＿_＿
0065Moraler.M3wv (ﾌﾞｰｲﾓ MMb6-brKf)
垢版 |
2023/09/11(月) 16:18:12.03ID:eW8nHtZlM
＿_＿_＿_＿
0066Moraler.M3wv (ｱﾒ MM97-2F68)
垢版 |
2023/09/11(月) 16:18:12.09ID:FEainzVEM
＿_＿_＿_＿
0067Moraler.M3wv (ｽﾌﾟｯｯ Sd5a-KNty)
垢版 |
2023/09/11(月) 16:18:12.74ID:0+VWzlV9d
＿_＿_＿_＿
0068Moraler.M3wv (ﾌﾞﾓｰ MMe6-g7DH)
垢版 |
2023/09/11(月) 16:18:12.75ID:CauWh2mWM
＿_＿_＿_＿
0069Moraler.M3wv (ﾜｯﾁｮｲW b34a-4p9i)
垢版 |
2023/09/11(月) 16:18:12.82ID:e7HdYI/m0
＿_＿_＿_＿
0070Moraler.M3wv (ｱﾒ MM97-9zOz)
垢版 |
2023/09/11(月) 16:18:13.15ID:FEainzVEM
＿_＿_＿_＿
0071番組の途中ですがアフィサイトへの転載は禁止です (ｵｯﾍﾟｹ Sr3b-7MnV)
垢版 |
2023/09/11(月) 16:19:22.14ID:g4F7hVSCr
知らんけどどっちもベクトル計算はとくいなのでは
0072番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 0ebd-bFJV)
垢版 |
2023/09/11(月) 16:19:35.75ID:57HcEQtJ0
端的に言うと「金がないから」
0073番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 8af0-c0EB)
垢版 |
2023/09/11(月) 16:19:43.23ID:ihteLmN80
2位じゃ駄目なんですか？
0074番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 9a75-SwSD)
垢版 |
2023/09/11(月) 16:21:08.49ID:cwmvfz9U0
1000垓もポチポチ計算して意味ある？その力何に使うん？
0075番組の途中ですがアフィサイトへの転載は禁止です (ｽｯﾌﾟﾌﾟ Sdba-9azZ)
垢版 |
2023/09/11(月) 16:21:54.10ID:kr3lnonid
富岳の実績を教えて
0076番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW f687-/3B1)
垢版 |
2023/09/11(月) 16:22:41.44ID:2r0ZZIo30
富岳貸してくれマイクラサーバ立てたい
0077番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 0baf-yHaV)
垢版 |
2023/09/11(月) 16:23:01.89ID:iYlEZvcM0
答えになってないような
0078番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 1709-lkRj)
垢版 |
2023/09/11(月) 16:23:39.43ID:COvlHJLM0
TSUBAME3.0で良いだろ

TSUBAME3.0 ハードウェア・ソフトウェア仕様
ttps://www.gsic.titech.ac.jp/sites/default/files/spec30j.pdf
0082番組の途中ですがアフィサイトへの転載は禁止です (ｽｯｯﾌﾟ Sdba-Aka3)
垢版 |
2023/09/11(月) 16:25:31.61ID:f+dpbZt+d
中抜き
0086番組の途中ですがアフィサイトへの転載は禁止です (ｵｲｺﾗﾐﾈｵ MM63-TP4L)
垢版 |
2023/09/11(月) 16:30:30.50ID:X0twZngBM
ビルゲイツ物語もそうだろ
一カ月に使えるキャパ使っちゃって
目でピーナッツ噛むことになった
0088番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 8723-NP+X)
垢版 |
2023/09/11(月) 16:31:21.37ID:a0BJXTvC0
CA2LA
@ca2la1218
日本でGPT-4を作ろうとするとスパコン富岳を使って9年かかるらしい
それを90日で学習させたOpenAIはNVIDIAのGPU A100を25000基…
0091番組の途中ですがアフィサイトへの転載は禁止です (ｵｲｺﾗﾐﾈｵ MM63-TP4L)
垢版 |
2023/09/11(月) 16:32:46.45ID:X0twZngBM
>>88
すげえな金でブン殴るやつ
0092番組の途中ですがアフィサイトへの転載は禁止です (ﾜﾝﾄﾝｷﾝ MM8a-azz8)
垢版 |
2023/09/11(月) 16:32:49.06ID:8U795akpM
どう考えてもgpu使ったほうが効率的だよね
ガラパゴス富嶽で作っても誰もついてこないだろ
0093番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 03bd-3fdx)
垢版 |
2023/09/11(月) 16:33:30.96ID:KV882Ax30
もうNVDIAが追い抜こうってのにおめでたいな
0094番組の途中ですがアフィサイトへの転載は禁止です (ｵｲｺﾗﾐﾈｵ MM63-TP4L)
垢版 |
2023/09/11(月) 16:34:27.44ID:X0twZngBM
金かけたら早いなんて理想論語るのケンモメンらしいなあ()
0096番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW e3af-suhd)
垢版 |
2023/09/11(月) 16:34:30.42ID:j/m7m5bl0
できるなら良いでしょ
計算は結果なんですよ
0097番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 9aa2-BUK5)
垢版 |
2023/09/11(月) 16:34:54.82ID:v/xJPPHU0
アベコインのせいでGPU高すぎてもう買えねってはっきり言えよ
0100番組の途中ですがアフィサイトへの転載は禁止です (ｵｲｺﾗﾐﾈｵ MM63-TP4L)
垢版 |
2023/09/11(月) 16:35:07.92ID:X0twZngBM
>>93
また世界最強vs日本の富嶽ですか()
0101番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW a7d2-5yDt)
垢版 |
2023/09/11(月) 16:35:42.39ID:6B/yrcqv0
Chainerとかやってたけど、日本以外はどこも使わず
結局PyTorchを使うことになって、やったことが全部無駄になったという悲しい歴史もある
0102番組の途中ですがアフィサイトへの転載は禁止です (ｵｲｺﾗﾐﾈｵ MM63-TP4L)
垢版 |
2023/09/11(月) 16:35:45.44ID:X0twZngBM
>>98
あーあ叩きたいだけ論
0104番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW a7d2-blWh)
垢版 |
2023/09/11(月) 16:37:45.91ID:3nYdmLt40
これ要は富岳が使われてなくてリソース余ってますってだけじゃん
全然ポジティブな理由じゃないし、記事にするような内容か？
0105番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾃﾝﾃﾝﾃﾝ MMb6-qWcr)
垢版 |
2023/09/11(月) 16:38:12.50ID:L8TrXVuWM
計算回数でいきなりAIの性能上がるのおもろいな
何かの壁を突破した感じなんだろな
0106番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 13e1-RB/f)
垢版 |
2023/09/11(月) 16:38:54.04ID:pNUUTOUc0
富岳はAIだけじゃなくて科学技術計算にも使うんだから倍精度偏重になるのは仕方ない
AI専門で設計されたGPUファームと比べるのは酷だろう
0107番組の途中ですがアフィサイトへの転載は禁止です (ﾃﾃﾝﾃﾝﾃﾝ MMb6-qWcr)
垢版 |
2023/09/11(月) 16:39:54.22ID:L8TrXVuWM
一般人は富岳でコロナウイルス飛散シミュレーションのゴミCGニュースしか目にしてない
もっと宣伝した方がいいんじゃないの
0108番組の途中ですがアフィサイトへの転載は禁止です (ｱｳｱｳｳｰ Sa47-BmzL)
垢版 |
2023/09/11(月) 16:40:19.26ID:4WS/zoNYa
呪術廻戦の黒閃みたいやな
10の23乗って
0109番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 3ea2-MmH2)
垢版 |
2023/09/11(月) 16:41:05.43ID:y1SnbSSE0
？？？「出来ない理由を考えるのではなく」
？？？「無理というのはですね」
0111番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 1a8c-/YcV)
垢版 |
2023/09/11(月) 16:43:18.29ID:euPvhr630
富嶽には飛沫計算があるから
0112番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW fa76-tBSY)
垢版 |
2023/09/11(月) 16:44:27.31ID:8OT8lUyo0
性能的に後追いなモデルなうえライブラリが成熟してるGPUを使わないで富嶽用のソフトをシコシコ書きながらやるとなるとやったところで何が得られるのみたいな
まあ次期スパコンのアーキテクチャの参考にはなるのか
0114番組の途中ですがアフィサイトへの転載は禁止です (ｵｲｺﾗﾐﾈｵ MM63-TP4L)
垢版 |
2023/09/11(月) 16:47:43.81ID:X0twZngBM
もっとPCに金かければAPEXで勝てたのに！ガキの言い訳じゃん
あるもんでやらなきゃ
0116番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 3ea2-Rd1d)
垢版 |
2023/09/11(月) 16:50:02.24ID:FNt1uooS0
>>103
富岳のCPUは15万個あるから富岳の1万分の1のCPU常時使えればいいだけでは
まあ4000分の1を1日1時間でも1週7時間でもなんでもいいかもしれん
0117番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 3ea2-Rd1d)
垢版 |
2023/09/11(月) 16:51:04.90ID:FNt1uooS0
>>116
4000分の1じゃなくて400分の1
0118番組の途中ですがアフィサイトへの転載は禁止です (ｽﾌｯ Sdba-hu4+)
垢版 |
2023/09/11(月) 16:51:24.19ID:Ew/WHaApd
AI用にもう一台作ればいい
0119番組の途中ですがアフィサイトへの転載は禁止です (ｸｽﾏﾃ MM06-s6zW)
垢版 |
2023/09/11(月) 16:51:39.69ID:BblY9SijM
ABCIシステムは予約がいっぱい入ってて現実的に長期で使えない
でも富嶽は長期に渡って貸切出来ます😤
　
って事？
なんで富嶽は予定が空いてるの？
0121番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 3ea2-Rd1d)
垢版 |
2023/09/11(月) 16:54:03.79ID:FNt1uooS0
>>117
違うか
ABCIシステムの何分の1が富岳のCPU1個にあたるかを考慮しないとダメだな
0123番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW b3dc-7MnV)
垢版 |
2023/09/11(月) 17:00:32.10ID:t5UzGCAh0
そもそもcudaないとどうにもならんよね
0124番組の途中ですがアフィサイトへの転載は禁止です (ﾗｸﾍﾟｯ MMf3-NP+X)
垢版 |
2023/09/11(月) 17:01:54.42ID:sJ6eXYMrM
ニューラルネットワーク研究の黎明期

アメリカの大学
「これ学習に演算量相当必要なんやなぁ・・・　当たったらデカそう？　じゃあメインフレーム優先的に使ってええよ」

日本の大学
「これ学習に演算量相当必要なんやなぁ・・・　絶対当たる研究とちゃうやろ？　じゃあ自前のDOS/Vで頑張りや」
0126番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW a7d2-5yDt)
垢版 |
2023/09/11(月) 17:02:59.44ID:6B/yrcqv0
>>88
まあ富岳の建造費(1300億円)でA100が２５０００個(700億円)以上は買えるんだけどね
お金と工数のかけかた間違ってるな
0129番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 9ac5-Fd4W)
垢版 |
2023/09/11(月) 17:05:33.49ID:tuqUD87/0
(今更やめられないという結論になった)
0131番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 4744-h0AF)
垢版 |
2023/09/11(月) 17:12:04.64ID:6IIVZ+UB0
富岳を使うということが目的なので海外から買えというのは受け入れられない
0132番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 1795-AQMx)
垢版 |
2023/09/11(月) 17:13:32.52ID:0Rroqr4F0
使う人間がうんこだとゴミだというのがマスクで立証されたな
0133番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 76d2-gXIT)
垢版 |
2023/09/11(月) 17:15:16.33ID:Yr793ZDO0
ガイアの夜明けで特集してたけど意味不明な応答返してたな
日本発の生成AI作るならしょうがないんだろうけど富嶽で勝ち目があるのかがよくわからんわ
0134番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 474d-ZaV/)
垢版 |
2023/09/11(月) 17:18:53.42ID:S5ilDauG0
>>126
蓮舫の言う通り2位でも良かった
富嶽とか言うゴミを持ち上げたせいで他にリソース（資金と研究者）を使えずアメリカに負けた

自民と官僚を盲信して「政府の決めたことに文句言うな！」って煩いアホどもは、優先順位の概念を一生理解出来てないんだろうな
0136番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ e3af-9/S5)
垢版 |
2023/09/11(月) 17:23:15.35ID:3YNGBhDJ0
H100買えばいいのに
それかテスラの道場みたいなAI学習専用のスパコン作るか
0138番組の途中ですがアフィサイトへの転載は禁止です (ｽﾌﾟﾌﾟ Sdba-hu4+)
垢版 |
2023/09/11(月) 17:29:00.17ID:C5xruzHMd
理研が新しくAI用スパコン開発してる
0139番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 7add-rV4O)
垢版 |
2023/09/11(月) 17:29:53.62ID:jB9rrVBv0
10の23乗FLOPsて絶対間違ってるだろ
他所が1秒間に出来る事を10日掛けてやる気なの？
0140番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 7add-rV4O)
垢版 |
2023/09/11(月) 17:32:29.29ID:jB9rrVBv0
ハードの前にまず学術的になんかしたい事あるのか？
日本はLLM分野じゃ論文引用も皆無の完全な空気だそうじゃない
0143番組の途中ですがアフィサイトへの転載は禁止です (ｵｲｺﾗﾐﾈｵ MM63-TP4L)
垢版 |
2023/09/11(月) 17:37:32.37ID:X0twZngBM
>>126
ではA100が２５０００個を屏風から出してください
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況