ネトウヨの脳みそ、中国で開発。革命的AI「1ビット脳」を発表 [834922174]
■ このスレッドは過去ログ倉庫に格納されています
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。
昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。
そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。
https://wirelesswire.jp/2024/02/86094/
まず、最近主流になっている70B(700億)パラメータモデルでの比較である。Llamaの70BとBitNetの70Bモデルを比較すると、BitNetは8.9倍のスループットを誇るという。
「速いだけで回答が微妙なのでは」と心配するのが普通だろう。
そこでLlamaモデルとの比較が載っている。
この表によると、BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
PPLは「困惑」の度合いを意味する数値で、低いほど「困惑してない」ことになる。Llamaよりも性能劣化してないどころか性能は上がっている。
また、各種ベンチマークにおいても平均点は同規模のBitNetがLlamaを上回っている。しかもBitNetは規模が大きくなるほどLlamaに対して優位に立つようになっている。
この圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」からだ。
通常、LLMをふくむディープラーニングされたニューラルネットは巨大な行列の積和演算(掛け算と足し算)を必要とする。
推論時も学習時もそうだ。
しかし、1ビット、つまり、行列の中身が0か1しかないのであれば、全ての計算を加算演算のみにできる。
加算と乗算では計算速度も負荷も段違いに異なるため、これだけのスピードの差が出ている。また、当然ながらメモリ効率も高い。
このため、この論文では「積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェアの出現」までもが予言されている。
今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。
非常に驚異的なことが書いてあるのだが、残念ながらBitNetによるLLMの実装とモデルはまだ公開されていない。
だから彼らの主張が本当かどうかはまだ誰にもわからないのだが、BitNetTransformerの実装だけは公開されているため、腕に覚えがあるエンジニアなら自分でトレーニングコードを書いて確かめることができる。
いずれにせよ、 この論文が本当だとしたら、とんでもないことが起きることになる。
この業界に居て長いが、本当にいつもいつも、こんなニュースに触れて興奮できるこの時代を生きる我々は幸運としか言えない。
もちろん筆者もBitNetを試してみるつもりだ。 量子ビットだから通常のデジタル量1ビットのジャップより遥かに高性能なのでは？ 小難しい事言われてもわかんねぇんだよ
もっとわかりやすく教えてくれ 1ビットアンプって一瞬流行ったな
あれは今でもあんの？ ニューラルネットワークの行列の計算を
足し算だけで出来るアリゴリズムが開発された
スループットの向上とGPUなしでAIが実現されるかも
AIのブレイクスルーになるかもね 「これだけのスピードの差が出ている。また、当然ながらメモリ効率も高い」
ネトウヨ脳はハイスペック
パヨク脳は旧世代ってわけか 
電子機器の話は細かい事は分からないなりに何となく仕組み分かった気になれるんだけど
量子はマジで全く分からん
説明を聞いてても俺には何かの宗教の説法を聞いてるような気分になってしまう
何だよ重ね合わせの状態って 中国倒産は量子力学ガチ勢だから
量子通信衛星も2016年に打ち上げて、国家中枢では既に実用化されてる筈 やっぱりバカウヨの脳ミソって中国製だったのか。ナルホド納得だね。 ﾈﾄｳﾖ 0 1
BitNet -1 0 1
ラベルが違う LLaMAが流出したときに64Bモデルを4bit量子化させて動かしてみたけどやっぱり量子化してない素の16Bのほうが正確に受け答えできてたね
その後もrinnaのGGMLモデルとか触ったりしたけど何だかんだで、16bit floatや32bit floatのほうが精度が高いのはどうしようもなさそうだけど、1bit量子化で4bit量子化程度の精度を確保できたとしたらすごいことだとは思う LLMは大量のパラメータをトレーニングすることで出来てるけど、そのパラメータを全部1ビットにしたって事ね
パラメータ数は多いから全体で1ビットということではない 案の定
ネトウヨ「左のネトウヨガー」
絶対出ると思ってたw >>20
これは量子力学や量子コンピューターの話は関係ないと思う
ニューラルネットの計算に今までは8bitや4bitの実数値を使って(量子化して)いたけど、さらに減らして{-1, 0, +1}の3値にしたら精度落ちるどころかむしろ良くなったという >積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェア
○vidia暴落く～るー！？ チョンモメン脳はceleronって感じかな？
ネトウヨ脳(革命的AI)の俺が叩いて直してあげるよ ネトウヨを700億並列に繋ぐとチャットAI位の知能になると言う事
ネトウヨの有効活用方が見付かったな ネトウヨのこと馬鹿にしてたけどすごい高度な演算処理をした上で馬鹿なんか >>37
教育失敗したクソアホAIと同じというのは理解しやすい >>37
ネトウヨ 国籍透視
高度な演算処理で相手の国籍（朝鮮人かどうか）を透視できる
左のネトウヨ 思想透視
高度な演算処理で相手の思想（元ネトウヨかどうか）を透視できる）
どちらが優れてるかなど
もはや語らずとも明確である スレタイのインパクト強すぎてマジレスするかネタレスするか迷うけど沈黙するわ 愛国ビジネスマン達がとっくにやってるだろ
ネトウヨを並列に繋いでオンラインで突撃させて戦闘力を競ってる AIを少ない教材で過学習すると何聞いても同じ返事しかしなくなるんだよな
しかも教材と関係ない部分もノイズまみれになる 田舎の風景画を描けと注文してるのに空に安倍晋三の顔を描かれる状態 >>44
国立国会図書館の本を全てデジタル化して学習させたいわ そりゃ乗算除算なんて無いモデルの方が良いに決まってる ちょっと待てよ1ビットってバグらねえでしょ？
バグってるということはそれ以外の何かじゃねえのかな？ >>40
思想のレッテルなど元々自分の認識よりも他人からの見られ方で付けられるものだろうに ■ このスレッドは過去ログ倉庫に格納されています
