NvidiaのGPU不足は、シリコンバレーの〝トップゴシップ〟になりつつある
https://thebridge.jp/2023/08/nvidia-gpu-shortage-is-top-gossip-of-silicon-valley

Tesla の元 AI ディレクタで現在は OpenAI のAndrej Karpathy 氏によると、計算負荷の高いジェネレーティブ AI が減速する兆しを見せない中、
どの企業が大規模言語モデル（LLM）トレーニング用に、入手困難な超高価な高性能コンピューティング GPU であるNvidia の「H100 GPU」にアクセスできるかは、シリコンバレーの「トップ・ゴシップ」になりつつあるという。

Karpathy 氏のコメントは、GPU アクセスに関する問題が大手テック企業の年次報告書でさえ議論されるようになった矢先のことだ。
先週発表された Microsoft の年次報告書では、同社は投資家に対して GPUが「急成長するクラウドビジネスにとって重要な原材料」であることを強調し、
GPU について「必要なインフラを入手できない場合に発生する可能性のある機能停止のリスク要因」という文言を追加した。

Karpathy 氏は、ソーシャル ネットワーク X （旧 Twitter）で、Hacker Newsの投稿者が作成したと思われる広く回覧されたブログ投稿を再共有した。
その内容は大小のクラウド プロバイダにおける大規模な H100クラスターの容量が不足しており、H100の需要は少なくとも2024年末までその傾向が続くと考えられるというものだ。

著者は、OpenAI は5万個の H100を欲しがり、Inflection は2万2,000個、Metaはおそらく2万5,000個、大手クラウド（Azure、Google Cloud、AWS、Oracle）は
それぞれ3万個を欲しがるかもしれないと推測している。Lambda と CoreWeave、そしてその他のプライベートクラウドは、合計10万個を望むかもしれない。
Anthropic、Helsing、Mistral、Character はそれぞれ1万個を要求するかもしれない、と彼は書いている。

以下ソース


(おわり)