なぜ日本はGPUのない「富岳」でLLMを研究するのか？外国に後れを取らないための現実的な理由とは [565880904]
■ このスレッドは過去ログ倉庫に格納されています
そんな中、日本では理化学研究所と富士通、東京工業大学、東北大学が、スーパーコンピュータ「富岳」を使ったLLMの研究を今まさに進めている。学習手法の研究からデータの法的な扱いまで幅広く検討し、日本のLLM開発の基盤を作るのが目的だ。
深層学習といえば、今ではGPUを使うのが一般的になっている。しかし富岳はそのGPUを搭載していない。日本にはGPU搭載スパコンも存在するのに、なぜ富岳を使ってLLMを研究するのか。
今回は富士通研究所・コンピューティング研究所の中島耕太所長と白幡晃一さんに、富岳を使ったLLM研究について、その意義を聞いた。富岳は確かにハイスペックなスーパーコンピュータだ。しかし、LLM研究における活用には、それだけでないもっと“現実的な理由”があった。
LLMの学習には大量の計算が必要になる。では、具体的には何回以上計算すればいいのか。これには一つの答えがあるという。
その数字が「10の23乗FLOPs」だ。富岳をはじめとするスーパーコンピュータの性能を示すとき「このスパコンの計算速度は○○FLOPsです」のようにいうことがあるが、今回の「FLOPs」は計算速度ではなく計算量を示す単位のこと。平易に書くなら「10の23乗回」となる。10の23乗は日本語でいうと「1000垓」。1兆の1億倍のことだ。
中島さんによると、過去の研究の中でLLMには不思議な性質が見つかっているという。LLMの学習を進めていると、しばらくはあまり派手な性能向上が見られないのだが、ある時点でなぜか急に能力が跳ね上がり、それまでできていなかったような処理をできるようになる──それが10の23乗FLOPsだ。
つまり、LLMを開発するならスーパーコンピュータに1000垓回分の計算をさせることが一つの目標になる。
一方で、1000垓規模の計算をするにあたっては、富岳以外の選択肢もある。一般的に深層学習に向いているとされるGPUを搭載したスーパーコンピュータとしては、産業技術総合研究所が構築・運用する「ABCIシステム」が日本最大とされてきた。搭載されているGPUの計算処理性能も富岳のCPUを超えている。
富士通研究所の白幡さんによると、ABCIシステムを完全に貸し切って10日ほど計算させれば、1000垓規模の計算をすることも「技術的には可能」（白幡さん）という。
しかし、現実的にはそうもいかない。ABCIシステムはさまざまな組織が共用しているものであり、長時間貸切ることが難しい。性能は高いが占有できないという“現実”がハードルになっている。
対して富岳は、各CPUの処理性能を見るとABCIシステムのGPUの17.75分の1程度。しかし、現実的に使えるリソースの規模を考慮すると1000垓規模の計算を実現できるのは日本で富岳だけになるという。
https://news.yahoo.co.jp/articles/1bdbea8e1c974b020735b44d446548a1a38d188e >>123
Pytorchをベースに自作するんじゃない
テスラのAI専用スパコンはそうしてたはず 金無いならRTX4090で動く小規模言語モデルで頑張れよ これもソフトウェア軽視の結果だよな
世界一の汎用スパコン作るよりも特定のソフトウェアを動かすことに特化したコンピュータを用意できるかどうかのほうが重要
nvidiaはまさに並列演算では時間がかかる所を専用のアクセラレーターで高速化してる
こんなのじゃ既存のライブラリは使えないし 富嶽って故障して使われてないと思ってたからまだ動いてるって結構凄いやんって思った 割と特化型だしNVIDIAが殿様商売するようになったら割と採算は取れるかもしれないな AIAI言ってた小池百合子に金出させろよ
小池は自分がAIAI言ってた事まだ覚えてるかな？ Int型ビット操作の並列処理専用だろ
関連トピック集めまくってアキネーターでも作ればいいんじゃない
誰もジャップ猿にイノベーションなんて期待してないし(´・ω・｀) ソニーの開発した国産プロセッサーを搭載したスパコンで、長期に渡って世界一を維持していた例がある
ほんの10年ちょっと前の話だ
あれが開発中止に追い込まれたのは社内での政治闘争の結果だという ジェット戦闘機の時代にレシプロ機の精度上げてるのが今の日本と言えば分かりやすいな ニッポン政府が海外にじゃぶじゃぶばらまいてる金でGPU買えば楽勝なのにな
そのうちラピダスで国産GPU作ろうとか言い出してnVidiaの100倍の金で1/10の性能のもの作りそう >>124
最初の黎明期ではそもそも計算量足りんし世界的にSVM最高ってなってた時にしこしこ頑張ってたヒントンさんが偉いだけでそんな予算ついてないのでは🥺 その最高峰のGPT-4すら小学生レベルの算数問題すら解けないしなぁ 富岳が不人気で予定スカスカだから使ってますってこと？ 性能の話かと思ったらレンタルするより買った方がお得みたいな話だった 選択と集中が必要な時に必ず選択を謝るという経産省😌 用途限定されたHAGPUだけ持ってても使い勝手悪いしな 日本中にあるPS5つなげて元気玉みたいにしてなんかできないか >>81
いや他が占有されているから長時間使われても問題が無いのは利点だぞ
ケンモジサンって設備や予算に全く関われない木っ端の下っ端派遣だからカタログスペックしか見れないし >>155
政府相手でも一見さんには売らないだろ
商売なんだから
ケンモジサンってそんな事も分からんの？ 品薄なだけで一見さんとか関係ないでしょ🥺
わーくに該非判定のホワイト国から転落したんか >>171
品不足だから信用ある従来からの取引先優先だぞ
余計に一見さんには売らない 偉い人「富岳は世界一だった凄いスパコンなんだろ？ 今話題のGPT-4作れよ」
科学者「富岳は用途が違うんです。科学計算は〜」
偉い人「できない理由を言ってないで実行しなきゃ研究予算やらないぞ」
科学者「では9年待ってください」
偉い人「はぁ？」
科学者「富岳でGPT-4を作るには計算に9年かかるので」 富岳を使うって事が先に決まってるんやろ
理由やデータは後付で >>126
GPUカードだけで運用できるわけではないし
導入時期も違うから、2倍程度は誤差のうちだろうな サウジアラビアに富岳を輸出しろよ むこうが買うって言ってんだろ 汎用アーキテクチャか専用アーキテクチャかの違いは
普通は汎用はコスパ悪いって話になるのだけど
専用設計で設計時に考慮されなくて、応用でボトルネックになる部分で新しい手法に先に辿り着く可能性がある、ってな辺りで
汎用に勝ち目があるなら面白い話かもな
まあどんな最新鋭のハードを導入しても数年後には型落ちしてしまうのだから、その利用法を考える必要はあるんだろうな >>139
スクリプトかよ
相変わらず意味不明な書き込みしてんなこのスクリプト >>124
現実にはニューラルネット研究の初期には
XEROX Palo Altoの研究教育向けファウンダリサービスでアナログICの形で研究開発が行われていて
日本では1990年代初めに日立が大規模ニューラルネット研究専用スパコンみたいのを作っていた
ただし時代的に1990年代はニューラルネット研究の低迷期で
2000年代にその続きをしたいと思って半導体設計の仕事を探した時は、ITバブル崩壊の余波で国内半導体業界は大リストラがあって
そこから新しいプロジェクトとしてスパコンやGPU、ニューラルネットに進んだ成功例は無かったみたいね
時代的にはPS3のCellチップが話題になっていた時代
マルチコアGPUがブレイクスルーとして話題になった2〜3年前かな
自分には急速すぎる展開で、当時はまだSGIのスパコン売り込み営業エンジニアの話とか舞い込んできて勘弁してくれよと思った >>182
福島邦彦はネオコグニトロン研究の初期、コンピューターを用意できないのでアナログでシコシコ研究してたとか聞いたな
今じゃ考えられない gpuは本質じゃないしベクトル演算で並列処理できればいいし
富岳を拡張するこてもできるでしょ 2^2^2^2^2^2の先頭から100桁の値の計算もできないような低能なAIを作ってどうするよ？ >>189
LLMの奴なら答えをテキストで覚えてるんじゃない 天気予報ハズレまくりなのはプログラムにバグあるんじゃねーのか 密な行列のDGEMMがそんなに計算科学でもメジャーじゃないとか
大規模疎行列演算より深層学習がより細かい仕事を大量にするとか
メモリ量や帯域、ノード間通信に要求するスペックとか
大規模計算機は面倒くさそうでこんなもんよく設計するもんだ そもそもTSMC N3で製造できなきゃ、この時点で最先端GPUよりワッパがクソ悪いことが確定しちゃう ■ このスレッドは過去ログ倉庫に格納されています
