【悲報】Nvidiaバブル、終了か。加算演算だけで高速・高性能を実現するAIモデル「BitNet」をMicrosoftが発表し、ハードウェア革命到来 [666250534]
■ このスレッドは過去ログ倉庫に格納されています
WirelessWire News
『1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も』
https://wirelesswire.jp/2024/02/86094/
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。
昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。
そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。
彼らが発表したグラフを引用しよう。
https://i.imgur.com/VMD8HyS.png
まず、最近主流になっている70B(700億)パラメータモデルでの比較である。Llamaの70BとBitNetの70Bモデルを比較すると、BitNetは8.9倍のスループットを誇るという。
「速いだけで回答が微妙なのでは」と心配するのが普通だろう。
そこでLlamaモデルとの比較が載っている。
https://i.imgur.com/zmgoo1X.png
この表によると、BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
PPLは「困惑」の度合いを意味する数値で、低いほど「困惑してない」ことになる。Llamaよりも性能劣化してないどころか性能は上がっている。
また、各種ベンチマークにおいても平均点は同規模のBitNetがLlamaを上回っている。しかもBitNetは規模が大きくなるほどLlamaに対して優位に立つようになっている。
この圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」からだ。
https://i.imgur.com/1tcsItA.png
通常、LLMをふくむディープラーニングされたニューラルネットは巨大な行列の積和演算(掛け算と足し算)を必要とする。
推論時も学習時もそうだ。
しかし、1ビット、つまり、行列の中身が0か1しかないのであれば、全ての計算を加算演算のみにできる。
加算と乗算では計算速度も負荷も段違いに異なるため、これだけのスピードの差が出ている。また、当然ながらメモリ効率も高い。
このため、この論文では「積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェアの出現」までもが予言されている。
今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。
非常に驚異的なことが書いてあるのだが、残念ながらBitNetによるLLMの実装とモデルはまだ公開されていない。
だから彼らの主張が本当かどうかはまだ誰にもわからないのだが、BitNetTransformerの実装だけは公開されているため、腕に覚えがあるエンジニアなら自分でトレーニングコードを書いて確かめることができる。
いずれにせよ、 この論文が本当だとしたら、とんでもないことが起きることになる。
この業界に居て長いが、本当にいつもいつも、こんなニュースに触れて興奮できるこの時代を生きる我々は幸運としか言えない。
もちろん筆者もBitNetを試してみるつもりだ。
【論文】
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
1 ビット LLM の時代: すべての大規模言語モデルは 1.58 ビット
https://huggingface.co/papers/2402.17764 量子コンピューターと同じ
すごいすごい言われてたけど
この10年間で株が上がったのはnvidia これ抜きにしてもヌビダビスの株価の上がり方は流石に垂直すぎてバブルやろ 謎の企業の決算前に発表すればよかったのにやさちいね 中身を1と0と-1で表現してる
なので4値の2bitではないけど3値必要なので正確には1.58bit
こうすることでかけ算があったはずの行列の計算を強制的に足し算引き算無の3種類に落とし込める
加えて演算を進めていくにつれて浮動小数だとノイズが混じっていくが、こっちは精度が落ちようがない >>24
1bit？と思ってリンク先見た
そうだね 行列演算の手続きを加法一本にして単純化したわけか
誰でも思い付きそうだが何が技術的に難しいんだろう？ >>24
あーやっぱそうか
それで1.58なんや😺 なんか結局GPUにMapして並列化する方が早いで終わりそうな気がするが そこまでNividaのプレが下がってる訳でも無いしMicrosoftのプレが上がってる訳でも無いな
様子をうかがっている段階か 要はAIの学習法でもっと良いのがありましたってことだよな 最近は左翼も1bit脳だから精度はその程度で十分だと言うことが判明したんだな グラボのせいでPC価格下がらないからとっととなんとかしてくれ >>2
学習する時点で最初から1.58bitなの？ >>5
今のAIが真似してるのは、人間の脳みそとかいうガバガバハードウェアだからな 中国人のトップは神レベルだからね🥺
人口多い科学国家の頂点は世界最強🥺 >>51
ものすごく大雑把に言うと
GPUで強引に計算するくらいならSSDにもっとクソデカい容量取って代わりに計算そのものを簡単にしようぜ
くらいの理解でいいよ
ぶっちゃけどうせ直ぐ並列化されてGPU使えるようになって終わると思う AI界隈はこの調子でしばらく話題が尽きる事は無いのだろうな
見ていると下手なクソ海外ドラマより面白い >>49
これは学習じゃなくて学習済みモデルに対してやね
たぶん 下げたら買う
それよりビットコインの方がやべえやろ
量子コンピュータリスクもある >>56
それはないんじゃないの
1.58bに量子化するんしょ多分
でもそれでちゃんと動くとは思わなかった
嘘のようなホントの話
イソジン うーん なんかホログラムディスクで容量何万倍みたいな話に思える
いつ市販されるのこれ？本当にモノになるのか？ 画像AIの計算方法も改善出来るなら凄いけどどうなん
遅すぎて辛いんよ まぁ実用化は数十年後とかやろ
それまではNvidiaが無双するっしょ もうね 誇大広告にはうんざりなんですわ
OpenAIの何がすごいかって言うといきなり実物を出して使わせちゃうスタイル
空飛ぶクルマや大阪磯村ワクチンみたいなのはちょっとね NVIDIAだってAI向けのGPU出してるぐらいだしな
AIに需要あるのかわからん時代ならもともとゲーム用のGPUを流用するのが当然だけど
今後はPCにはグラボじゃなくAI専用ボードを搭載するのが自然な流れかもしれん 3枚目みるとmodelってのが1,0,-1の3種類だけどこれが特徴量ってやつなん
年収とかだとあからさまにそぐわない気がするけど言語モデルとかってのだとこれでOKなの 昔から量子化したモデルでも性能はそんなに落ちないって言われてるんだわ
ハードウェアが変わろうと学習時にはやっぱり-1,0,1だとうまくいかないから推論専用な気がする
それにどうせそれがベストになったとしてもCUDAの乗算が要らないってだけで足し算引き算の機能はいるんでしょ 最近NVIDIA株買った民の阿鼻叫喚が気持ちいw
強がってるの受けるわw 行列演算から乗算が不要になるってだけだからNVIDIAの時代は終わらんし、Tensorコアみたいに専用コアがGPUに搭載されるようになるだろうな >>72
Can be utilized not just for text but for images and maybe even video or audio processing
だってさ
凄えぞ大丈夫かこれ そのうちソフト化するわな
いつまでも100万もするボート使ってらんない お前らＭＳ株全力でいけ
まだ４００ドルくらいだからお得だしこれからも上がる
AIへの投資もしてて隙がない 量子化捨ててるなら
1bit違うパラメータで全然違う答え出そう >>84
GPUが転用されてるのは積和演算器がバケモノみたいな量乗ってるからで
加算器のみでいけるのなら回路がとんでもなく小さくなるしネットワークも回路上に載る可能性がある
そうなるとFPGAの出番で二大メーカーは少し前にAMDとIntelに買収されているというね >>88
ほー
でも量子化はどうせ質が落ちるから怪しいなぁ
超伝導のアレみたいな雰囲気もあるし
はよテスト版出してや VRAMをモリモリ消費する現状も改善するのか？
8GBしかないから辛いぞ >>84
CUDAのコアってさ
積和演算機なんだよ
積和がいらないならCUDAなんていらねえんだ
ちゃぶ台返しみたいなもん
無論グラフィックには積和がいるけどね 元々データセンター向けにAIに特化したNPUを作ってたんだからますますNvidiaが強くなるに決まってるだろ 中国が一気に復活やん
わざわざ制裁されてるグラボを買う必要なくなり既存のCPU大量のせでAIに行かせるww >>85
下がると思うなら空売りすればいいじゃんwww NVIDIAは以前高値で掴んで滅茶苦茶下がったから怖かった
今回やっとブラスになった >>61
聞く感じだとGPUの利用効率も格段に上がるってことになるのかな
今サーバーサイドでやってる演算がエッジで出来るようになるのと
サーバーサイドではGPUと専用ハードウェアでより巨大で強力なAIが実現出来るようになるとか？ >>106
まぁせやな
これ使うと理論値で9倍速くなるらしいけど
GPUは並列処理に特化してる演算性能があるわけで
最先端プロセスのGPUでこのソフト使う流れになるだけだわな >>87
GPUに載ってる時点で無駄なんだわ
互換性のために従来のTensorコアもずっと載せ続けないといけない=その分高くなる
AMDはCPUにFPGAでNPUを搭載する方針だから後から回路の書き換えが可能 >>114
もう少し正確にはCPU+GPU+NPUだと思う >>101
知ってるよ…nvdaの株持ってるからちょっと大丈夫か持って夢見させてよ…
AMDとIntelにもヘッジしてるけど、NVIDIAの帝国崩壊はわりと遠く無いかもね
不思議なのは昔からこのバイナリ値のモデルの有用性は言われていたけど産業転換の例が少ないのも気になってます。多分様子見なんでしょう アムドに対抗してアルテラ買収して金なくなってンビディア買う金ねンだわってなったのがインテル つまりintelとAMDがやっぱりトップになるのか >>112
GPUはa*b+cっていうかけ算をした後に足すという操作に特化してて
かけ算をする回路がかなりの面積を取ってる
今回のだとaは1(と-1)か0なのでかけ算する必要が無くなるから
シリコン面積あたりの利用効率だととんでもなく悪くなる 全米株かオルカン買っておけばこういうとき狼狽えなくていいんだろ？ >>114
なんでGPUかってとグラフィックスは積和の行列ばっかりだからだ
だからCUDAコアは積和の演算器でそれをクラスタ化したのがGPUだ
1.58bは行列を加算だけに平たくできるから
従来で言うGPUはいらないしむしろ邪魔だよ >>85
話題に上がった時点で買うのは手遅れだもんね これ用の専用のハードを作ったら更に速くなるって言っている人がいるな面白い 彡⌒ミ
（ヽ´ん`） ぼくうさぴた
＿| ⊃／(＿＿_
／ └-(＿＿＿_／
じゃあ寝るね NNの2値化/3値化なんてBinaryNetとか何年も前から研究されとんねん
それでも結局エッジの推論でしか使えないつってんだからNvidiaの優位は揺るがん >>59
ガバガバ脳みそ真似る位なら将来的には
信頼性あるハードウェアも不要になりそうな勢いだな
ビットを正確に記録するSSDとかもAIによって
それっぽいものをテキトーに記録するだけの装置に置き変わっていきそう >>98
半導体の微細化以外の先端技術は全部中国がトップになってしまったよ
いつの間にか AMDがｸﾞｽﾞｸﾞｽﾞ言ってきてるのも効いてるのか >>117
AIでGPUは使わなくなるだろ
NPUをたくさん載せたサーバになる 中国の勝ち組が決定したか
マイクロソフトの中国部門は半分国営企業なので当然中国政府がすべて研究成果いただくことになるからな >>119
仮に本質的に改善されるとしても既存のソフトウェア側のエコシステムが全部NVIDIAのハードウェア依存だからだよ
C言語で直接メモリ叩いた方が圧倒的に学習は速いと分かってるのに未だにPythonで頑張っちゃってるのと同じ理由
入れ替えるにはソフトウェアの書き換えがいるけどそれやってる時間でGPU買う方が早いをなんとかしないと工学的に勝てないんだわ ネトウヨを700億並列に繋いでも知能は向上しないのにな CUDAプログラミングの独占は崩れそうだから
AMDもワンチャンある感じはするな
今AMD株買える奴だけが億り人になれる
・・・・かもしれん 重要なのはコスパとか性能なわけで
単純にこっちのほうが性能が上なら
GPU使うAIは誰も使う理由がなくなる どんどん技術進化してるけど
一切ついていけてないわ 一つ一つのNNのノードの精度をもたせるよりも
ノードの数自体を増やすほうが有利ってことかいなぁ >>142
独占してるから儲かるんであって、技術的に追いついても儲からねンだわ AIの行列演算てfloatでも64bitや32bitではなく16bit(16FP)だと思ってたわ
8bit整数でやってる所もあるが、4bitで良くね？って話はあったにしろ1bitはさすがにどうなの… そもそもGPUはAI用ではないたまたまAIに応用できただけ
純粋にAI用に再構築された理論に基づいて
もっと単純化したハードウェアが覇権を取るという予言だ アチアチの半導体になりそう
南極の氷に埋めないと使い物にならない NVIDIAを超えるというよりもCUDA依存を減らしたいんじゃないの メモリセントリックとかデータセントリックになるのかな？
ノイマン型コンピュータから卒業もあるだろこれ まあ現行のGPUでは1bitの行列をアクセラレートできない（1bit行列を想定した演算器を持っていない）としても
じゃあ今後作って載せればいいじゃんて話で、NVもビハインドは一切ないんだよな…
NVｵﾜﾀにしたい奴らには不都合な話かもしれんが MSFTプレマよわよわなんやが
ホルダーぼく幸せになれるんかこれ🥺 >>150
むしろめちゃ冷え冷えになるんちゃうの
無茶苦茶シンプルで面積利用効率の高いハードウェアが出来そう
やれデータセンターの電力消費だの冷却水消費だの二酸化炭素排出量だのでギャーギャー言われてたのがだいぶ解決しそうに思う ぶっちゃけ単純に1ビットを
32ビットの領域に割り振ってそのまま浮動小数点の積で計算して
最後に結果を1ビットずつ取り出して元に戻す
とかのハードウェアレベルでの高速化普通に出来そうだし…
これ本当にNVIDIAの牙城崩せるって話なん？ こういうスレが立つっていうことはあと一年はnvidia相場続くんだな >>98
半導体なんて全部中国人だろ
アメリカ企業だろうが中身は中国人 NVIDIAの優位性が1度リセットされ
再び横一線でAIプロセッサの競争が始まると こうやってハイテクが進歩していく 遅れをとったほうも巻き返そうとするだろ？
ハイテク株全体にとってはいい傾向
ハイテクが上がらないと株なんかもう上がらないぞｗ
新興国の政治体制や教育が変化すれば別だが、先進国で一人勝ちしてきたアマゾンは途上国でやっていけると歩もう？パレスチナで商売できますか？ｗ
平和な社会すらないのにビジネスどころじゃないですｗ 大丈夫だと思って中国に投資したら後悔する羽目になるしｗ >>153
そうなるとGPUではもはやないが
グラフィックスには使えないからな Nvidia気配下がってるけどmsも少し下がってるじゃん Edge AIではONXXとか使ってモデルサイズ下げて使用してる
NvidiaのGPUでトレーニングしてビット数をさらに下げてエッジに乗せるという方法
大規模にやらないとLLMにはならないから大規模にやるんだろうけど専用の推論ハードウェアが今後流行る
ところでこの低ビットのハードだと学習時の誤差伝播とかちゃんとできるんだろうか？（推論専用？） >>161
素晴らしい洞察
MSがこないだやっと市場投入にこぎ着けたAI専用半導体もほぼ1年かかってるはずだしね いやアンカー飛ばされてもなに言ってんのか理解できないし、おれの話を理解しているようにも見えない
控えめに言って、俺にアンカー飛ばすなキ○ガイ、という感想にしかならない
8bit整数(0～256、もしくは符号付き-127～127)でも過剰じゃね？行列1ノード4bit(0～15)でも良くね？いや2bit(0～3)でも行けね？って話はあったが、1bitとはなあ…
まさに1bit脳 Pythonがこのコードで書かれるようになったら起こしてくれ >>152
HPが研究してたイマイチぱっとしない謎コンピュータが脚光浴びたりしてな
HP、世界初のメモリドリブン型コンピュータの実証実験に成功
～メインメモリとストレージが融合する新アーキテクチャ
https://pc.watch.impress.co.jp/docs/news/1032912.html 例えばINT4の積和演算器があればそれが流用はできるんだけれども
加算器だけで組んだチップは速度が平気でその100倍とか行く
AIの学習には相変わらずGPUが必要だが
今みたいに客に使わせるためにガバガバGPU買ってる時代は終わるかもしれない >>165
いや整数の演算器ちょっと弄るだけでアクセラレートできるので、1bitマトリクス間の最高効率の演算器以外は無意味とかでなければ、今あるこの演算器の塊でとりあえず1bit行列のアクセラレートできるようにしろ本当に僅かな改修、追加でできるし、製品投入もCUDAでの対応も難易度的には難しくもなんともない
それで効率は最適ではないがとりあえず使える1bit行列演算器いかがっすかーCUDAにも対応してますよーで売ってる間に、1bit行列に最適化した演算器を実装して行けばいいだけ
とんでもねえ下駄履いた状態からスタートですよNV >>169
わからないならソース読んで勉強しようよ……😰 >>173
読んでるから1bitマトリクスかーって話してるんだろ
アンカー飛ばす前にそいつの話を読めキチガイ めっちゃ集積回路の簡素化低電力出来そう
グラボなんていらんかったw >>179
>>181
キチガイは斜め読みすらできない
まさに1bit脳 単体の演算ロジックを単純化できることでむしろ逆になにも考えず実装すると演算密度が上がってしまい、集積化が困難になる未来すら見える >>178
もっとずっと安い方法があるからなあ
グラフィックスのために背負い込んでるGPUの膨大な演算回路が無駄になるのは
得策とは思えない これならモバイルでもLLM動かせるかもな
この差はでかいよ
確実にパラダイムは変わるね >>183
アカン、もうポジショントークで正常な判断力を失っとる……
もうよろしい、鼻呼吸して風呂入って寝たほうがいいぞ😵💫 >>185
これからは糞高騰するAPUやNPUが必要になります nvda株とかH100買ったやつらがバカをみますように🙏 消費電力も激減しそうやん。
これもしかして仮想通貨マイニングの計算にも使えるんかな？ >>24
平衡三進法やんけ！
ちょうど自分も数カ月前にニューラルネットに使えんかなと思ってたから
似たようなアイディアが話題になってちょっと嬉しい ところでソースなに言ってるかわかんねえんだけどなんで計算機が困惑するんだよ怖 何がいいってハイスペックGPUでバク熱になった消費電力がかなり抑えられてエコになることだな 新たな理論に最適化した設計競争の中で
まったく無名の会社が台頭してくる可能性 現状で行列演算向けのバスと演算器の塊を実用化できているのはグラフィック処理用のプロセッサで、
グラフィック処理専用でなくても汎用の行列演算クラスタとしても結局性能を出せる製品はこれくらいしかないので
FP16やめて整数にします、整数でも多値やめて1bitマトリクスに特化しますでも、結局行列演算クラスタとして満足な規模と性能のものを作って売れる所はNVIDIAくらいしか無い
計算機だけあってもライブラリ整備がまるでダメで、数世代で互換性すら保証できなくなります…なんてのは、競合製品ですらないし >>186
そういや画像検索するときはまず32×32のグレースケールにするとかよく見るね
知らんけど インテルのときもンビディア倒す方法みたいな記事あったけど
結局ダメだったじゃん
もういい加減にしてくれ憶測記事は >>200
Cライク系の強さやな
結局CUDAにコンパイルするのがさいつよだから
NIVIDIAが至高でした この開発競争に参加する新興企業に投資すれば
株価は100倍どころか1万倍になる NVDAの創始者は中国国籍で 半導体は中国が最強😤 こんなんでてもどうせ実用化されないされるまで何十年とかで
GPU一強だろ >>206
なんか聞いたことあるなあそれ
アルトコインていう モヤモヤ雲の模様から
最終的に絵になる今のAI画像を
モヤモヤからある程度までをGPUで
仕上げをCPUでって流れになったらええね アップルも自動運転中止してAIに経営資源全振りするらしいし
この先どんどん新しい技術が出てくるんだろうな
もうちょっと長生きしてみよう >>197
まぁ今は当たり前に使われてるけど計算機が推論してるとか言われたら最初は確かにビビると思う でそれを搭載した製品はいつ市場に出るの？nvidiaと一番の違いはそこだろ >>200
メーカーのハードルは下がるし
低電力化やGPUの奪い合いみたいのは
解消されるんじゃね？ 論文自体がNVIDIAに対抗心丸出しだからな
NVIDIAがこのまま優位を取れない理由があるんだろう 加算に特化したAI向けチップをNVDAが出す未来まで見えた >>98
MS中国支社あることの方が驚き
ただの支社からnvidia不要になる革新的なもんができるわけない >>214
これやってるのがMSってのがポイントだよ
MSは以前からWindowsに乗っけられるモデルを志向してたが
重いのがハードルになってたからね
Copilotのローカル版なんかは非難轟々だし
Windowsにこういうのを乗っけてくるようになると話は変わってくる そういえばインテルが宣伝してたハイコスパグラボはどうなったんだ >>215
整数化、1bit化で、現在FP16で演算して実現しているものと同等のものを実装するコストは確かに下がるかもしれないが
LLMなんてまだ実用化が始まった初端にすぎない世界で、規模なんてこれからまだ幾らでも膨れ上がっていくものなので
仮に同じ性能を1/1000の半導体で実装できます！当社は低コスト低発熱特化です！とか言ってても
じゃあコストと電力は今のままでいいから1000倍の規模にしてよ、になるのがオチ
モバイル系への応用も、じゃあお前スマホでエロ画像生成とかするのか？馬鹿じゃねえの？って話で 結局、FANG+とSOX買ってれば、どうころんでも勝ち組 >>220
日本語IMEもMS中国じゃなかったっけ
MS日本で作っててどんどん品質上がってたのが
切り替わってガクッと酷くなってた
最近はマシになってると思うけど GPUの応用が最適解のわけない
いずれAI専用の理論が置き換えるはずなんだ はやくAIパワーで働かなくてもいい世界作ってくれよ 浮動小数点数を使わずに離散値で計算する試みはVAEからずっと研究されてたな
それの進化系？
0と1と-1で計算かー、面白い Nvidiaがこれ用のハードウェアを作って世界征服だろ >>227
東京駅の本社とか浜松町のMSは
ビルだけデカくてなにしてんだろうな
法人向けサポートだけしてそう この圧でガチホするの大変だな
実際この方式のAIでキャッキャしてるスレとか見るだけで禿げそう 2008年に株買ってるやつはすでに億万長者ですけど
ここからどうなろうが無敵ですけど AMDがこれの研究者達をべらぼうな待遇で招いたら面白くなりそうだよな まあゲーム用のGPUに1bit行列やらせる意味がないから、ゲーム用のGPUには1bit演算機は載らない、AI用とは半導体レベルで分化してゆく契機にはなるかもね…
それでもゲーム用、グラフィック用から始まった、化け物みたいな行列演算機クラスタにデータ食わせて可能な限り止めないバックエンドバスやスケジューラの基本は同じなので、この辺の構造は共用できるだろう >>233
新規ハードだとGoogleやマイクロソフト、AMDも横一線でスタートだからな。
エヌビディアの利点はなくなる。相変わらずcudaが必須なら分からんけど。 遂に高額爆熱グラボ買ってAI回す時代が終わるのか
そもそもGPUありきで演算してたのがコスパ悪かっただけじゃねこれ エヌヴィディアとMicrosoft両方買って10年気絶しとけ
起きた頃には多分利益出てるだろ ちなみにMicrosoftのAI用チップを製造するのはIntelな
そもそもIntelは加算演算だけでいいならNVIDIA如きに負けないし
どうする？ すげえけど中国で開発されたMicrosoftのものはアメ公どうするの？ 話は聞かせてもらった！
MSFTを全力でホールドだ！ Microsoft、Intel、AMD、Nvidia、このあたりのハイテク株買って10年放置してれば勝手に利益は付いてくるだろ
最前線で戦ってるメジャーの株なら損することはない
OpenAIみたいなぽっと出の新興企業には爆益の可能性もあるけど、逆に消滅する可能性もあるからな 対抗馬AMDと思ってたけどIntelが浮上する話しでオッケー？ よくわかんないけど両方使っても効率上がらないの？🥺 何言ってるのかさっぱりわからんのだがみんなこれ理解できるの？ >>256
仮にこれが事実なら、CPUでもGPUでもない第3のハードが誕生する
だからNvidiaの優位性は失われる可能性が高い >>240
そういえばフラッシュメモリではすでに1素子で3bitの表現をやって記憶させているので、意外と東芝やキオクシアが本気を出せば逆転があるかもw いうて、まだ論文の段階だしな
論文の段階だけなら夢の超テクノロジーって結構ある
やっぱ実用化のハードルは途方もなく高い GoodByeGPU言われてるけどすぐに専用半導体作れるとも思えんからASICやFPGA作ってるところが狙い目だと思うぞ 学習済みモデルの量子化はうまくいかない
1.58bで学習しないといけないって言ってんね
公開されてるtrain.pyでできるのか
なんか凄いな >>249
まだ開発されてないよ
研究したのは中国MSとアリババの研究機関だけど、これから各社が実装しに行く >>200
ライブラリならOpenAIのTritonがある
まだWindows対応してないけど
こっちの方がデバイスの縛りがないから開発者も集まりやすい
急には変わらないけど5年も経てば景色は変わってると思う 正確には1Bitじゃなくて-1,0,1の三値だから1.58なんだよなあ
1Bitって書いてるやつはエアプ ディープラーニングは元々足し算とかけ算ばかりだからね ええな
Nvidiaがグラボ軽視しだしてたからもっとやっていいぞ >>249
中国に発狂してるのってアメリカでも文系ばっかだしなぁ やっぱり対抗は出てくるよな
一社独占なんてあるわけない nVidiaのCUDAが必須なのは、
開発段階だけじゃない?
これが出てきても開発にはあまり影響ないような そんなに凄いAI作って何すんの？人間様の仕事を奪います！ MS中国はめもりーくりーなーの現代版作ったりアグレッシブだな 会社で使ってるA16調べたら60万もすんのな
原価いくらなんだろう そりゃ革ジャンも小会議室での打ち合わせ扱いになるわ Hostが何であろうとHBMは依然必要だからな
NVIDIAではなくMUを買え オールフラッシュアレイ売ってる会社の株でええんか？ 助かったNVIDIAマイナスなるとこだった
>>1ありがと 計算を見る限り確率じゃなくて正解不正解で判断する感じかな 何かと思ったらただの量子化やん
こんなもんでnvidia帝国がどうこうなるってなんも解ってないな >>276
通常１ビット(桁)の定義が2進数だから、それが3進数になったと考えたほうがいいかも
情報処理の理屈的には2進数よりも自然対数(2.718...)に近い3進数の方が効率がいいので、今のタイミングで理屈を含め3進数演算に移行するのも悪くはない.気はする 1,0,-1の格納には結局2bit必要で。
2bitで良くね？って言ってた話これか… 次は誰が2bit行列演算に特化した超並列演算機作れるかだろ
作れたとこが次のnvidiaだな 体感2〜3割株の話してるじゃねえか、モメン見損なったぞ💢 >>300
アスペが軍師やるには投資しか無いからな AIモデルって大きくなるほどn*nでメモリも処理能力も食うようになるけどこれは2nでしか増えないってことか？
しかもnの乗算処理で小数点桁数で切り捨てる分の誤差もなくなって大型化したときのブレが減ると そもそもGPU はAIに特化されたものじゃないしな
多分今のAIの最大のネックは電気代なので
いいと思う 一つ確実なのは、日本が入り込む余地は相変わらずないという事 8.9倍高速化なのね。どうやってハードウェア作るかポンコツな頭だから検討もつかん。 GPUじゃなくてCPUで処理できるようにならんのか 謎の企業にずっと大金払いたくないだろうし研究頑張っとるだろうな そもそも中国はハイエンドGPUを禁輸されてるからな
そら必死よ 今の株つまんねーから暴落しろ
今の相場は安いとき仕込んで高く売るができない >>291
量子化では性能劣化が起こる
この方式はむしろ性能が上がる
ただの量子化ではない NISA民「ﾁｷﾞｭｱｱｱｱｱｱｱｱｱｱｯ!!!!!!!!!!」
これいつ来る？ この様子だと1～2年もAI関連の情報を追っていなかったら全く一からハードウェアから何から全部知識を入れ直しになる事になりそうだな
目まぐるしく変わりすぎだろこの業界 この論文でパニック売りでも来るかなと期待したがサッパリだね
決算も過ぎたし月末でもっと調整すると期待してたんだが >>317
> 非常に驚異的なことが書いてあるのだが、残念ながらBitNetによるLLMの実装とモデルはまだ公開されていない。
> だから彼らの主張が本当かどうかはまだ誰にもわからないのだが
この辺の情報公開の進捗状況で変わりそうだなと >>24
2値1bit←わかる
4値2bit←わかる
3値1.58bit←what？？？ >>315
2を底とした対数log2(3)だね
3は2の約1.58乗 >>315
Sample 1
2^n=16
Log2^n=Log16
n*Log2=Log16
n=Log16/Log2
n=4 (bit)
→16進数(の一桁)は4bit
Sample 2
2^n=3
Log2^n=Log3
n*Log2=Log3
n=Log3/Log2
n=1.58... (bit)
→3進数(の一桁)は1.58bit 1.58bitになったところで現状で一番適したハードがGPUなのは変わらねーから株が下がりようがない
3値計算専用のハードが出て来てようやく勝負が始まるけど
そんなハードすぐ出てくるわけがないし
なんならnvidiaが出すのが一番早いかもしれないまである これって1.58bitっていう3値で管理できる高速応答のメモリがあればDRAM主体のGPUいらなくなるってことだよな？
多値化DRAMの製品化でもいいけれども MSが作ってnVidiaが真っ先に実装するよ
DX11のレイトレーシングのAPIをMSが発表してそれに対応したコアの
RTXグラボを作ったのはnVidiaだし提供された技術をグラボに転用するのは凄くてAMDより先を行ってるし デジタル回路で1.58bitなんてものを表現しようがないので、結局2bit必要
これがわからん奴はフリップフロップから学び直せ
まあ16bitで浮動小数なんかやるよりは劇的な効率化、符号化だとは思うよ
データ容量1/8、演算資源に至っては2桁いけるだろうし NVIDIAの現在の評価は、各社が独自APIで囲い込もうと卑しい目論見捏ね回していたご時世に、
うちのAPIはOpenGLとDirectXです、とやってそこで性能トップを取り続けてきた実績あってのものだからな
最初にNV1やって失敗して、そこでAPIやライブラリレベルでの囲い込みを捨てRIVA128でDXとOGLに特化したからこそ今につながる マイクロソフトとエヌビディア両方株持っとくのが正解やね え、無職の俺が血反吐はいて5年ローンで買った4090がゴミになるの？？ 代わりにビットコインバブル始まりそう
1000万いくぞ マイニングブーム終わったと思ったらAIブームでグラボのぼったくり継続でうんざりしてたんだよな
グラボ安くなるならなんでもいいわはやくしてくれ あの熊本台湾半導体バブルももう始まる前から終わってない？
一部のデペ不動産建築連中が高値で土地を買い漁ってるだけでは？ 4090って
グラボの方？
サウジアラビアの株の方？
どっち？ >>338
BitNetが形になるまでまだ時間がかかるみたいだよとりあえず安心しつつ情報を毎日追った方がいいかも
これが本当だったらパラダイムシフトが起きてAI業界も激変する事になるっぽいな
AIブームって明らかに今までの他のどのブームとも違うよね
一過性で終わらず油断してボーッとしていた頃にいつの間にか進歩している 低性能なのはネトウヨは１bit脳とか連呼てた奴の脳みそだったのか 昔一ビットアンプってのが革新的と言われたが今ではデジタルアンプとして定着してる ゲームパスクラウドで1080pで出来るけど4k60fpsで出来るようにしてほしいわな >>345
そのすごいのも結局えぬでぃびあが作りそうな気がするんだけど >>321
めっちゃスッキリした
サンキュー賢モメン 結果Nvidiaが凄くなる分には歓迎だろう
画像/動画の生成が10倍速くなるのならそれで良い >>347
うあー懐かしいな1bit
欲しかったわ
>>1 の記事の筆者(清水亮)が実際に手を動かして実験した結果を報告してる
『驚異の1ビットLLMを試す。果たして本当に学習できるのか?』
https://note.com/shi3zblog/n/n58b0a2252727
それでも信じられない俺は、ひとまずwikitextを学習させるサンプルを走らせてみた。
lossは4.9から始まり、最終的に2.78まで下がった。もっと回せばもっと下がりそうだ。問題は果たしてこれでちゃんと学習できているかということだ。
なんかそれっぽいこと言ってる!!!!!! しかも小さいから当たり前なのだが推論は超速いのである。
モデルサイズは200MB。GBじゃないよ。
僕は小さい言語モデルも大きい言語モデルもそこそこ触って来た方だと思うが、このサイズでこの解答は驚異的だ。もっと出鱈目なことを言うのが常なのである。
内容は支離滅裂だとしても(実際に支離滅裂だ)、文法的に合ってるというのは普通このサイズの言語モデルではありえない。
この実装が公開されたのは4ヶ月前だが、なぜこれまで話題に登ってこなかったのか。
それは、BitNetが、その性質上、小さいモデルではtransformerに精度で勝てなかったからだ。
ところが今回の論文では、3B以上のパラメータサイズになるとBitNetは精度でも推論速度でもtransformerに勝つことがわかり、70Bモデルになるとその推論速度差は現行のハードウェアでさえ8.9倍になるという。
従って、BitNetはもともとすごい可能性を秘めていたのだが色々な人の直感に反していたためこれまで真に有望な技術とは考えられておらず追試があまりされていなかった。
しかし、今やBItNetは本当に機能することがわかった。しかもかなり手軽に学習できる。
今回は「とりあえず本当かよ」ということを試しただけなのでデータセットも規模も小さいが、わずか5時間でなんとなく意味ありげな答えを導くところまで持っていくことができた。
もっと大きな規模のネットで、もっと大きな規模のデータセットを学習させればもっと意味のある結果になるかもしれない。しかし僕は今はただただ驚いている。
とにかく何かが起きようとしていることは間違いない。 >>355
今日だけでBitnetにアリババのEMO
シンギュラリティは近い >>355
shi3zとかいう炎上芸人久し振りに見たわ >>355
700Bモデルを訓練したらどうなるんだろう
もうChatGPT4超えるんだろうか >>336
作ることはできるが、0/1動作のスイッチや伝送経路と同速では動作できないだろ。半分すら出るか怪しい
結局、1bitを2本束ねて4bitで実装する方が遙かに高速
行列のノード、符号つき2bitで良くね？って言ってた話と何が違うのか 要はハード３bitしてたのを
ソフトで3bitにしてやるってこと？ >>355
清水かよ
こいつの話は話1/50くらいで聞いた方がいいぞ これの専用チップをいち早く開発すんのもどうせnvidiaなんだろ？ いきなり陳腐化しそうだよね
そういう時株価は織り込んでるから
一気に大暴落するんだろうね グーグル開発のTPUっていう概念があるから
CPU、GPU、APUに続く革命か？5chやってる場合じゃねぇ！って調べてみたら
AI専用CPUみたいなのって何種類もあるんだな…まぁ概念というか商標みたいなもんか
なんなら極論はGPUのことです、みたいな説明すらある 下手なGPUなくてもローカルAI使えるようになるとか夢ありすぎやな
価格もとんでもなく安くなるやろうし >>338
GPUならゲームで使う分にはゴミにはならないよ
けどAI用なら演算チップが乗ったカードが必要になる未来がすぐ来る
無くてもいいけど速い方がいいなら買うしかない >>59
今のAIって
人間の脳ミソを真似してるわけじゃないよ 2bitも関わってるから見つかる解法次第では
ノイマンマシンでも再現できるかもね
技術革命じゃなくて人類滅亡見えてきたんじゃないか
ハード実現困難でも解法見つかった時点でやばいでしょ >>366
AI処理をGPUで電力ブン回す無駄がなくなるから安くなる
グラボの値上がりが止まらなかったゲーマーにはいい知らせだ >>365
清水が胡散臭いのはなんとなく分かるが
LLM関係で信頼できる日本人って居るん？教えてくれ >>362
技術開発が進んでないからであって、技術的に限界が来たから二進法に統一されたわけではない。
それに>1の革新とは別のレベルで、論理回路には平衡三進法でしか成し得ない高速化方法がいくつもある。
いままでは3進法のメリットがそれほど明確でなかったから率先して技術開発なされてきなかっただけで、
AIで明確な優位点が出た以上、デジタル回路での実装が研究されてハードウェア的に実装されていくと思うよ。 >>240
横一線ならプロセッサ開発の得意なNVIDIA、AMD、intelじゃん
GoogleもTPU開発してるけどH100買い漁ってる >>364
とりあえず概念検証と性能比較だからこれで正しい
次はフラッシュメモリに直接乗っけたやつを作って検証
今のフラッシュメモリは1回路で最大3bit分のデータを記憶させる事が
出来る構造なので、この技術を使えば1.58bitの演算はそんなに難しくないはず まぁ確かに、好き嫌いどちらでもないの3択してるからワイは 1.58ビット脳だったわ >>385
それを言うならまだ2ビット脳やな
好きの反対は嫌いやなくて無関心や
だから無関心の反対は関心有りや
そして好きは善意の関心であり、嫌いは悪意の関心や
性格悪いでほんま ARMの方がフットワーク軽そうだしgrace CPUに回路組み込む形になるかな 三値って、電圧の正、ゼロ、負で表すんだろうけど、
負の電圧を扱う半導体って簡単に作れるの？
しかもそれを今のGPU並みの周波数で
動かすなんて。
むかし、クロックの無い非同期コンピュータってのが
あって、クロック不要だからいくらでも速く動かせる
とかドヤってたけど、消えたし 三値表現なら0、0.5、1でよかろ、演算で問題が出るか？ >>389
負の論理だから電圧を合わせればいいだけ
例えば+3.3ボルトのcmosロジックなら-1を0ボルト、0を+1.65V、+1を+3.3Vに定義すればいいだけ
だからそこらはそんなに難しくはない >>390
すまんｗ
性格悪いでは嫌いアピしてくる奴のことや
流れで私情を付けてしもた 嫌儲たまにめちゃめちゃ知的レベル上がるよな
こんなインテリケンモメン集団久々に見る気がする 中国があっという間に専用ハード作ってNvidia駆逐しちゃうな
Nvidiaはcudaの囲い込みで強かっただけだしな >>391
数値上の1と-1は0にしたいけどそれは回路上で電圧の1と-1の和が電圧0になるように表現したい
理屈はともかくこれが出来て尚且つ動作が早い実装の回路の表現とかあるのか MS株買っとくか。
まぁ核戦争でも起きない限り紙クズにはならんし 高速軽量・精度そこそこの方向性も
高精度・リソース使いまくりの方向性も
昔から両面で研究され続けてるよ
どっちかで良いって事には永久にならん >>294
2進数だと1000数えるのに1024が必要になって無駄が出るからそれが軽減されて効率いいみたいな話？ ゲーム用のビデオカードとしてはもう飽和していてこれからはAI用として稼ごうとしているから
そこを潰せたら大きいな って、ソース確認したらアレかよ…
眉に大量のツバつけて顔中ベトベトになるわ 人工知能はムーアの法則の10倍で進化してるがGPUの性能限界で止まるとゆあれたのはどうなるの？🥺 重みを3値や2値にした例は10年くらい前から試みられてて
これもその一例みたいなもんだよ
いま70bとかでっかいのを試してるみたいだから
その結果次第じゃね ゲームはAPUでフルHDヌルヌルになるしグラボの価値が暴落するな この手のハードウェア話はよく出てくるけど、それでもnvidiaのgpuのが割安ってんだから恐ろしいわ。 >>384
ソフトで強制的に3bit化して
掛け算をなくして加算だけにしても
ソフトのが早いということなんね
フラッシュはハード化してどれくらい
速さが見れるかか
さすがにボトルネック大きすぎる気が >>373
ニューラルネットネークでやってないの？ shi3zとかいう驚き屋の嘘大げさ紛らわしいいつもの >>423
2進数の引き算は足し算で出来るんだけど、
ここらって知っている事を前提に話を組み立てているからなあ... 加算処理だけで動かせても結局専用のアクセラレータをnvidiaが作ってそれがバカ売れして終わるだけでは？？？ 4070super買うか迷ってるんだけど止めたほうがいい？ >>428
CUDAじゃなくても性能出るなら安い競合他社のを使う
それでも過去の資産やゲーム需要があるからNvidiaは売れるけど
今みたいな推論用のデータセンター需要部分は減っていくんじゃね 自分の認識が間違ってなければ、ポイントとしては
・この新しいやり方は既存の装置環境でも速い上に容量も節約出来る事を確認
・GPUが得意とするベクトル計算ではなく、スカラー計算的な形に落とし込めるので、CPUとGPUの間ぐらいの専用のプロセッサーを作ればもっと速くなる(だろう)
こんなとこかな？ 手計算でもAIと同じ事ができるようになるわけか
すげえ技術が来たもんだな >>430
あほくさ。
安ければ簡単に乗り換えられると思ってるのか。
誰がその上のコード書くねんって話。 >>430
いやそれ用のプロセッサ製品をnvが新たに作ってしまっておしまいでしょってこと 他社が革命起こしてしまえばいくら投資してようが無駄になる
これが実用的なのか知らんが 結局ボトルネックになってるメモリ速度で左右されるところが変わらないから
AIデバイス専用のバスとドライバモデルが出来るまで現状のGPUで接続する形態は変わらない
VRAMがいちばん早いからな 中国のマイクロソフトはすごいな
でも日本も負けてないぞ
まずは人脈だ！ 今更そんなアルゴリズムが新規で出てくるのがびっくり >>320
bitの定義がlog2(P)だからだな
log2(3)=1.584....なので
1.58bitになる >>425
20年前にそれ言われててnvidia終わったと思ったら今の状況なんだよ。 AI専用チップなら帯域はシビアじゃないから
グラボ型じゃなくてeGPUみたくUSB接続かTB接続の謎の箱で行けるぞ
ノートPCでローカルLLMとか胸厚 演算にGPUチップ使わなくても良くなるかもしれない、はいいとしてメモリは大丈夫なんか？
現状のグラボ利用での計算でもVRAM不足でメインメモリにハミ出すとクソ遅になるけど
DDRとGDDRで速度10倍くらい違うよね確か 高速メモリの需要は確実に増えるが
GPUと違って高速メモリ専業の会社がないから株屋的にはつまらない >>432
別にスカラー演算でも結果出るってだけで、
このやり方が本当に有効なら結局ベクトル演算、行列演算のユニットが組まれるってだけだよ。
実際nvidiaは32bitから 16bit, 8bit演算にすることに関して同じようなことやってるわけで。 そりゃAIに絡んで独占って状況がなくなったらヤバいわな 結局NVDA上がるのか下がるのかどっちだよ。あと一年は上がるってことでええか？ >>24
なんで情報量減らして精度上がってるん？と思ってたけど
浮動小数の誤差が混入しなくなるってメリットがあったのか
これがどれほど影響あるのかわからんけどそれっぽい理由はあるんだなぁ >>24
この場合
00が0
01が1
10が-1
11は空くけど何に割当てるの？何もなし？ >>449
数値計算をGPU使ってガツガツやろうって発想したのは日本人だけど？ >>450
提案しても文系幹部が理解できないからな >>455
なんも無しなんじゃね？扱う物が減れば早くなるんだから 所詮は謎の企業か
何人もインテル帝国には勝てないのよ >>445
当然だけどメモリ使用量はめちゃくちゃ減るぞ
使用量が減るということは今までと同じ帯域幅でもより高速に処理できるということでもある >>455
普通は11が-1って決まってる
1 + -1 =01+11(-1)=100→2bitだから00
00-01=11
なので10がN/A >>461
メモリ使用量の問題じゃなくてメモリアクセスの速度の問題
このロジックをCPUで走らせるのと、GPUで頑張って走らせるのと
結局のところ多少計算効率落としてもメモリ速度が1桁違うGPUがパフォーマンス出るみたいになったりせんのかと
メモリ使用量少なくなったっていってもどうせその分データ規模でかくして限界まで使っていくことになるだろ >>428
nvidiaが強いのは元からあるゲーム向けグラボの生産ラインを有効活用できるからであって
他が既に作ってる物を新規に設備投資して作っても儲からないのでは グラボ以外にまともな電力供給しながら高速バス接続できるデバイスなんて量産できないから
結局NVIDIA一強 NVIDIAも現状実用するのにGPUの形態が都合が良いからGPUでやってるだけで
もう何年も前からASIC・専用プロセッサ・その他もろもろ必要な関連会社に買収・投資しまくって準備してるからな
結局開発環境や人材の先行利益あって金も大量にあるエヌビが有利 NVIDIAはGH200のHopper部分を置き換えるだけで色々対応できるんじゃねーのそのためにDGXプラットフォーム作ったんだろうし
というか他の会社がGH200みたいなの作ろうと思ってもAIプロセッサ（GPU）以外の部分の量産ノウハウ不足でまともな値段で販売できないよ >>355
> このサイズでこの解答は驚異的だ。もっと出鱈目なことを言うのが常なのである。
> BitNetが、その性質上、小さいモデルではtransformerに精度で勝てなかったからだ。
小さいモデルではTransformerに勝てないのに、小さいサイズでの性能が驚異的という矛盾
またくだらない妄言だね この論文の結果が示唆しているのは
従来のLLMは正則化を改善することで大幅に性能向上する可能性があるということ
GPU不要論は中国の事情なのか話題作りか知らないけど、真面目に取り合う必要なし 結局、Transformer系って密すぎるんだよな
だから1bit化して丁度よいくらいというか、むしろロバストになって精度が上がったりするんだろう そもそもグラボなくてもクラウド配信でゲームできるようになったんだろ
グラボいらなくなるよ これなんで日本人しか騒いで無いん？
X見てもGoogleトレンドみても外人騒いで無いんやが >>463
MSも別にこれをCPUで動かすとは言ってないでしょ
既存GPU上でも無駄が多いけどとりあえずは動くし、最終的には加算だけが異常に高速なNPUのようなもので動かすことを想定してる
そこに高速メモリ積めばいい >>475
驚き屋が騒いでるだけだぞ
量子化なんて前から取り組まれてる分野なのに 結局NVDAは伸びるってことだな。よかったよかった >>479
高速メモリ積めばいいって言葉で言うだけなら簡単だよな
実際はそれを一から製品化すると販売価格5000万とかになる
ノウハウあってGPUの規格流用して超大規模に量産してるNVIDIAだから1000万以下で作れてるだけ 今日のNVDAの株価+2%超、MSFTは+0.2%弱
これが現実である 一部のユーザーが熱烈に持ち上げてるamdさんは・・・・・・・・ww >>471
加算はCPUの方が得意だからね
グラフィック処理が必要なGPUはダイの大部分を加算回路に割り当てるようなわけにはいかない
またAIをCPUで高速処理できればサーバからデータセンターGPUを排除する事で全体のパフォーマンスはよくなる CPUベンダー各社は、CPUにAI処理部を付けようとしているので、
これを実装するならそっちで処理をするのかな？
ただ、メモリアクセス速度はGPUの方が上だから
GPU側にそれを付けるのは理に合ってるし
ローエンドだとCPU、ハイエンドだとGPUそういう事になりそう APUやらNPUに関しての技術資産はAMDの方がありそうだけどな、どうなることやら >>486
メモリアクセスやその帯域に関してはCPUはこれから先XEON maxみたいにメインメモリを内部外部両方に持って
CPUタイルの隣の内部メインメモリをL4キャッシュみたいに使うようになると思う
こうすれば非常に速くできる これで
実は大したことありませんでしたとなると、MSの権威は地の底に落ちる。 日本人だけが騒いでるな
驚き屋さんが有料解説記事を売りたくて頑張ってるのかな >>488
そういや新しいXEONはHBMメモリが中に入っているんだったっけか
だとするとメモリアクセスは爆速だろうな
インテルは強力な数値計算ライブラリがあるから
CUDAからの移行も楽そうだしな なおIntelの2023年市場のAIサーバ出荷シェア…0%
現実は話にならないですね
妄想するだけなら自由ですが…
AMDは1.2％ そもそも周回遅れの話で妄想たくましくしてるの日本人だけだよ するわけねーだろ
そんな無駄な事
あ、でもVisionProとか結構無駄なことしてたわapple >>485
そんな話はない。CPUが得意なのは分岐命令とその予測だよ。 1bit整数(実インプリでは2bit?)演算って今のハードウェアだと8bit整数演算に詰め込むことになり、
AI向けを考慮して8bit整数演算も出来る今時のGPUなら、結局現時点ではGPUが速いってことになるのでは? 何を今更 重要なのは将来の話でしょ
BitNetで充分なら今のgpuの大部分の機能が要らないからgpgpu製品から
AIアクセラレータ製品群が完全に分岐するよねって
同じダイに加算器たくさん詰め込めるから爆速になるし
参入障壁低くなるから競合増えて安くなる
riva128の時みたいに新参メーカーが颯爽とトップ取るかもだし
当然nVidiaもしばらくは優位性続くだろうけど安いも製品出すだろうし
でもごっそり中国韓国に持っていかれそう
なにはともあれBitNetの効能メリデメ裏付け次第 話はそれからだ そもそも現行のFPGAでも良いものできるんじゃ？
と思ったらそう言えばインテル間が悪いｗ まあ地味に重要なのは電力効率だろうな、それぐらいAIの計算では電力を食ってるし
広く使おうと思ったら必須だしな 素人がありもしないことを将来はだの妄想してるあいだにプレマーケット今日もNVDA上げ上げです
MSFT下がってる。AMDは昨日もめっちゃ上がったし頑張ってるよ！ ■ このスレッドは過去ログ倉庫に格納されています
