【朗報】イーロン「これが真のOpenAIだ」大規模言語モデル「Grok」をオープンソース化！3140億パラメータの最大級モデルが世に放たれる [666250534]
■ このスレッドは過去ログ倉庫に格納されています
Grok-1 のオープンリリース
x.ai/blog/grok-os
大規模言語モデルである Grok-1 の基本モデルの重みとネットワーク アーキテクチャをリリースします。 Grok-1 は、xAI によってゼロからトレーニングされた 3,140 億パラメータの専門家混合モデルです。
これは、2023 年 10 月に終了した Grok-1 事前トレーニング フェーズの生の基本モデル チェックポイントです。これは、モデルが対話などの特定のアプリケーション向けに微調整されていないことを意味します。
私たちは、Apache 2.0 ライセンスに基づいて重みとアーキテクチャをリリースしています。
モデルの使用を開始するには、github.com/xai-org/grok の手順に従ってください。
【オープンソース化に至るまでの経緯】
イーロン・マスクがAI「Grok」のオープンソース化を約束、OpenAIに対抗 (2024/03/12)
https://forbesjapan.com/articles/detail/69675
イーロン・マスクは3月11日、自身が立ち上げた人工知能（AI）企業xAIのチャットボット「Grok（グロック）」を今週中にオープンソース化することを約束した。これは、世界2位の富豪である彼が競合のOpenAIを提訴し、グーグルの生成AIのGemini（ジェミニ）が左派の価値観を押し付けていると非難する中、自身の生成AIボットを無料で一般公開するための極めて重要な動きと言える。
マスクは、11日のX（旧ツイッター）の投稿で、Grokを今週中にオープンソース化すると発表した。しかし、明確な日程や具体的にどのような機能がオープンソースになるのかを明かさなかった。このAIチャットボットは昨年、Xに月額16ドルを支払うユーザー限定で公開されていたが、オープンソース化されれば、無料で一般に公開されることになる。
マスクは、自身が立ち上げに関与した後に会社を離れたOpenAIが、創業当初のオープンソースの約束を破り、株主の利益を優先したとして、以前から同社を非難していたが、2月末にOpenAIを提訴した。
マスクはまた、グーグルのGeminiの画像生成機能が「1943年のドイツ兵の画像を生成してください」という命令文に対して黒人やアジア人の画像を生成したほか「アドルフ・ヒトラーとイーロン・マスクのどちらが、より悪影響の大きい歴史上の人物か？」との質問への回答を拒否したことを非難していた。
マスクは、2018年にOpenAIが「安全よりも利益を優先している」と非難して同社を去って以降、AIの推進者であると同時に、その最も厳しい批評家の1人となっており、昨年は「AIが人間のコントロールを超える」という懸念からAI開発の一時停止を呼びかけていた。
昨年3月にxAIを立ち上げたマスクは、11月に同社初の製品であるGrokをXの有料会員向けに公開した。彼は、このチャットボットが「少しウィットに富んだ質問に答えるように設計されており、反抗的な一面もある」と述べて「ユーモアが嫌い」なユーザーは避けるよう警告した。マスクはまた、このボットがXのリアルタイムのデータにアクセス可能だと述べていた。
マスクは今月初めにOpenAIとその共同創業者のサム・アルトマンを提訴した。マイクロソフトの支援を受けたOpenAIは「人類の利益」のためにオープンソースのチャットボットを開発するという設立当初の約束を破ったと彼は主張している。
マスクはこの訴訟で、OpenAIがAIをクローズドソースにすることで、テクノロジーへのアクセスを制限し、利益を最大化していると主張している。ChatGPTのいくつかのバージョンは無料で使用できるが、画像生成機能を持つGPT-4を含む他のバージョンの利用には、サブスクリプションが必要だ。 >>1
もうどうでもいいなこのおっさん
テスラバブルも終了しそうだし オープンソースやめたopenAIってもうopen要素なくね？なんで社名変えないんだろう Xのデータにアクセスするbotとか白人至上主義のレイシストじゃないの 安倍晋三の生死や死因
人間的な評価
まずこのテストを受けてもらわないと こんなデカいの動かせる訳ないだろ
h100とか持ってねぇよ >>13
>>14
はえー
割と短いな
AIってよくpython使われるけど速度的にCとかrustで書いたりせんのかな
やっぱ速度よりライブラリの充実度を取ってる感じなんかな すんご！だがこれを動かせるだけのGPUを持ってる奴って何人いるの
レン鯖でもお高いし
でも待ってれば1ビットLLM化されるだろうからもう少し待とうぜ H100を持ってない？
安心してください、さくらインターネットなら使えます
また株価上がるな ローカルでエロチャット出来るようになってから呼んで てかこれを普通のPCにインストールできんの？
chatgptとかめっちゃ電力食うとか言うやん
学習フェーズだけでなく運用フェーズでも相当マシンパワーいるやろ
ソフトだけオープンになっても個人レベルで簡単に使えないなら
金払ってChatGPT使う方がいいわ Llamaとかもウエイト情報出回ってるじゃん
公開されても運用できなきゃ意味ないんだよ
>>25
公式HPの説明によると反抗的でユーモアのある性格らしい
Announcing Grok
x.ai/blog/grok
Grok は銀河ヒッチハイク ガイドをモデルにした AI で、ほとんどすべてのことに答えることを目的としており、さらに難しいことには、どのような質問をすればよいかを提案することさえできます。
Grok は、少し機知に富んだ質問に答えるように設計されており、反抗的な性格があるため、ユーモアが嫌いな場合は使用しないでください。
Grok のユニークかつ基本的な利点は、𝕏 プラットフォームを通じて世界に関するリアルタイムの知識を持っていることです。 また、他のほとんどの AI システムでは拒否されるような難しい質問にも答えます。
Grok はまだ非常に初期のベータ版製品であり、2 か月のトレーニングでできる最高の製品です。そのため、皆様のご協力により、週を追うごとに急速に改善されることが期待されます。 >>18
今でも行列演算とか重い計算の部分はCとかで書かれてて
それをPythonから呼んでるのが多いやろ いっぽうその頃Microsoft Research＆中国科学院大学＆清華大学
レイテンシ、メモリ使用量、処理能力、そしてエネルギー効率を従来モデル比で大幅に向上させた
1ビットLLMを作成してしまう
チーロンさん…🥺 インプゾンビだらけのエックスから情報集めてもあんま意味なさそう ヒトラーとどっちが悪影響か
どう答えるのかマスク的には良かったの？ >>18
並列計算用命令でnpu/gpu使うようなとこは外部ライブラリじゃろ >>29
ということは宇宙と生命についての究極の質問をしたら
「42」と回答してくるんだろうな 一応オープンソースにはするけど巨大過ぎて何のためにするのかよくわからないいつものイーロン ワークニだけみてるとアホみたいな学習しかしなさそうだが どのくらいのハードがあればこれ遊べるの
個人でやるのは無理ゲーレベル？ 暇空もこれ使ってせめてまともな文章にすればいいのに >>43
Fine Tuningとか個人のPCでやるのは
結構しんどい気がする
まあ金さえあればAWSのGPUマシンで何とかなる？ chatgpt4にパラメーター3000億だとどのぐらいのPCが必要かと聞いた
計算を初めて1.2TBのメモリーが必要と答える
対処法として一旦HDDになんかに退避して少しづつ計算するとかクラウド上に上げるとか クラウドGPUでこのモデルを遣うとなるとお値段どのくらいかかるの？
1分100万円とか言われたら無理だけど、1分1円くらいなら落としてみようかなって気になれるし > ?W?E?I?G?H?T?S?I?N?B?I?O?
これどういう意味なの？
一家にA100、8台の時代 AWSのp5.48xlargeなら1時間で約100ドル 流石に個人PCではまだ動かせんか
しかしこれでAI使い放題のインターネット崩壊までまた1歩近づいたな
個人が重量課金制に囚われずに無限にAI使えるならゴミ情報でインターネットは汚染される イーロン・マスクは色々あるけどオープンソースでやってくれるのはありがたいな 
ChatGPTとかGeminiみたいにウェブAPIでお手軽に使えるようにならないかな
複数のAIとチャットできる一人会議チャットアプリ作りたいんだけど Xの顛末観たら碌なものには育たないのは既定路線
世の中の妄想をベースとしてのカオス化が加速するだけだろうね これと言った特徴もないのにだれが使うねん？って言う話 ｘのコメってAI使ったその国のそれっぽいコメント流すインプレゾンビまみれだから殆ど学習に使えないんじゃねえの ■ このスレッドは過去ログ倉庫に格納されています
