謎のAI半導体企業「Groq」爆速でAIチャットが使えるデモを公開 [163661708]
■ このスレッドは過去ログ倉庫に格納されています
大規模言語モデル(LLM)を爆速で動作させる「言語処理ユニット(LPU)」を開発する「Groq」が爆速アルファデモを公開
大規模言語モデル(LLM)などを実行するために設計されたカスタムハードウェアである言語処理ユニット(LPU)を開発するGroqが、既存のLLMを爆速で動作させることができるアルファ版デモンストレーションを公開しました。
Groqはアメリカのマウンテンビューに本拠地を置くAI関連企業で、これまでにAI、機械学習、ハイパフォーマンスコンピューティングアプリケーション向けの高性能プロセッサやソフトウェアソリューションなどを開発してきました。なお、名前がイーロン・マスク氏のAI企業であるxAIが開発するAIチャットボットであるGrokと非常に似ていますが、これとは全くの別物です。
通常、AIツールは並列グラフィックス処理用に最適化されたGPUを用いて計算処理を行います。これはGPUが計算処理を迅速に実行可能で、一般的には非常に効率的にこれをこなすためです。例えばLLMのひとつであるGPT-3では、GPUを用いてプロンプトを分析し、その前後にどのような単語が続くかについて一連の予測を行い機能します。
これに対して、Groqが開発しているLPUは既存のLLMを爆速で動作させるために設計されたチップとなっており、一連のデータ(DNA、音楽、コード、自然言語など)を処理するべく特別設計されているため、GPUよりもはるかに優れたパフォーマンスを発揮可能です。
Groqは独自のLLMを開発しているわけではありませんが、既存のLLMを用いてGPUベースの処理よりも最大10倍高速にLLMを実行できるアルファ版のデモンストレーションを公開しています。
Groq
https://groq.com/
参考（過去ニュース）
元グーグル社員が設立のAIチップ企業「Groq」が320億円を調達
https://forbesjapan.com/articles/detail/40985
参考（一般人ブログ）
GroqのLLM Inferenceが超絶速い件に対する感想
https://vengineer.haten
ablog.com/entry/2024/02/20/173000
■ このスレッドは過去ログ倉庫に格納されています