X
謎のAI半導体企業「Groq」爆速でAIチャットが使えるデモを公開 [163661708]
■ このスレッドは過去ログ倉庫に格納されています
0003安倍晋三🏺 ◆AbeShinzoG2A (ﾜｯﾁｮｲW 7fa5-5E61)
垢版 |
2024/02/22(木) 01:44:33.29ID:m2PW41pd0?2BP(1111)

大規模言語モデル(LLM)を爆速で動作させる「言語処理ユニット(LPU)」を開発する「Groq」が爆速アルファデモを公開

大規模言語モデル(LLM)などを実行するために設計されたカスタムハードウェアである言語処理ユニット(LPU)を開発するGroqが、既存のLLMを爆速で動作させることができるアルファ版デモンストレーションを公開しました。

Groqはアメリカのマウンテンビューに本拠地を置くAI関連企業で、これまでにAI、機械学習、ハイパフォーマンスコンピューティングアプリケーション向けの高性能プロセッサやソフトウェアソリューションなどを開発してきました。なお、名前がイーロン・マスク氏のAI企業であるxAIが開発するAIチャットボットであるGrokと非常に似ていますが、これとは全くの別物です。
通常、AIツールは並列グラフィックス処理用に最適化されたGPUを用いて計算処理を行います。これはGPUが計算処理を迅速に実行可能で、一般的には非常に効率的にこれをこなすためです。例えばLLMのひとつであるGPT-3では、GPUを用いてプロンプトを分析し、その前後にどのような単語が続くかについて一連の予測を行い機能します。
これに対して、Groqが開発しているLPUは既存のLLMを爆速で動作させるために設計されたチップとなっており、一連のデータ(DNA、音楽、コード、自然言語など)を処理するべく特別設計されているため、GPUよりもはるかに優れたパフォーマンスを発揮可能です。

Groqは独自のLLMを開発しているわけではありませんが、既存のLLMを用いてGPUベースの処理よりも最大10倍高速にLLMを実行できるアルファ版のデモンストレーションを公開しています。
Groq
https://groq.com/
0005安倍晋三🏺 ◆AbeShinzoG2A (ﾜｯﾁｮｲW 7fa5-5E61)
垢版 |
2024/02/22(木) 01:46:55.36ID:m2PW41pd0?2BP(1111)

参考（一般人ブログ）

GroqのLLM Inferenceが超絶速い件に対する感想

https://vengineer.haten

ablog.com/entry/2024/02/20/173000
0006安倍晋三🏺 ◆AbeShinzoG2A (ﾜｯﾁｮｲW 7fa5-s/bA)
垢版 |
2024/02/22(木) 01:49:02.03ID:m2PW41pd0
DRAMがないって無茶では
0007(ヽ´ん`) (ﾜｯﾁｮｲW 0f3a-R55W)
垢版 |
2024/02/22(木) 01:49:38.46ID:mycm+S4+0
ユグドラ・レゾナンス
0008安倍晋三🏺 ◆abeshinzo. (ﾜｯﾁｮｲW e3bc-a9jl)
垢版 |
2024/02/22(木) 01:51:18.70ID:kS5SYOAl0
NVDA握りしめ奴ｗ
0009番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ ff74-X6hX)
垢版 |
2024/02/22(木) 01:51:59.84ID:uANamV3W0
CMで今田美桜が出演してるし日本でも有名な会社だろ
0010安倍晋三🏺 ◆AbeShinzoG2A (ﾜｯﾁｮｲW 7fa5-s/bA)
垢版 |
2024/02/22(木) 01:53:05.52ID:m2PW41pd0
>>8
このチップでは学習はできない
学習したモデルを動かすだけ
なのでNVIDIAの牙城は崩せない
ただ似たようなチップを作っているスタートアップが他にもワラワラある中でいち早くデモを出せたのはプラス要素か
0013安倍晋三🏺 ◆abeshinzo. (ﾜｯﾁｮｲW cf9a-/dYH)
垢版 |
2024/02/22(木) 01:57:17.71ID:fAVTxwXY0
320億円調達ってやべー
0014安倍晋三🏺 ◆abeshinzo. (ﾜｯﾁｮｲW 7fa5-s/bA)
垢版 |
2024/02/22(木) 01:59:13.47ID:m2PW41pd0
NVIDIAのように家庭のPCで使えるようなチップではないけどチャットボットビジネスが一般化したらデータセンター用にある程度需要はあるかもしれないな
0015番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW cf89-gfBf)
垢版 |
2024/02/22(木) 01:59:14.18ID:6ucKnkfd0
またアメリカか
なぜジャップからは何も生まれないのか
0016安倍晋三🏺 ◆abeshinzo. (ﾜｯﾁｮｲW e3bc-a9jl)
垢版 |
2024/02/22(木) 02:00:00.04ID:kS5SYOAl0
>>10
https://www.semianalysis.com/p/groq-inference-tokenomics-speed-but
> Groq’s chip has a fully deterministic VLIW architecture, with no buffers, and it reaches ~725mm2 die size on Global Foundries 14nm process node. It has no external memory, and it keeps weights, KVCache, and activations, etc all on-chip during processing. Because each chip only has 230MB of SRAM, no useful models can actually fit on a single chip. Instead, they must utilize many chips to fit the model and network them together.


昨今のVRAMバカ食いモデルに適応するには厳しそうとしてもできはするみたいだけど
0017安倍晋三🏺 ◆abeshinzo. (ﾜｯﾁｮｲW 7fa5-s/bA)
垢版 |
2024/02/22(木) 02:05:28.36ID:m2PW41pd0
>>16
学習には推論の3～4倍はメモリが必要だからちょっと厳しいと思う
SRAMだけで学習できるチップを作っているスタートアップもあるようだが、この会社は現状そういう方針ではないっぽいね
0019🏺 (ﾜｯﾁｮｲ 7357-/Ue7)
垢版 |
2024/02/22(木) 02:21:02.69ID:S+d2z2lQ0
>>16
Groqがより多くの資金を得て、2025年~H2に発売予定の次世代4nmチップの生産を増強できれば、経済状況は大きく変わり始める可能性があります。
Nvidiaは、1か月以内に次世代のB100を発表すると考えているため、座っているカモとはほど遠いことに注意してください。

ソース元の文を一部日本語翻訳した文だけどまたいつもの聞いたようなNVIDIAのネタが出ているよため息が出るね
置き去りにして新製品を出す見込みが強いってよ
0022番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 7f5d-v/xK)
垢版 |
2024/02/22(木) 09:04:22.96ID:D6OXt5ut0
倫理規制ないやつ出したら勝ちなのにクソつまらん世の中やな😡
0023番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ a35d-FjIa)
垢版 |
2024/02/22(木) 14:13:33.09ID:xrYseSIO0
現状はGPUの汎用的な使い方をしてるだけで
AI専用で設計すれば速いチップを作れると俺は前から言ってた
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況