【AI】Googleの内部文書が流出「オープンソースには勝てない」「Metaが勝者になる」「OpenAIは大したことない」 [742473609]
■ このスレッドは過去ログ倉庫に格納されています
「オープンソースは脅威」「勝者はMeta」「OpenAIは重要ではない」などと記されたGoogleのAI関連内部文書が流出
2022年から2023年にかけて、OpenAIが「GPT-4」を、Metaが「LLaMA」を、Stability AIが「StableLM」を発表するなど、大規模言語モデル(LLM)の開発競争が1年間で激化しました。同様に大規模言語モデルの「LaMDA」を開発してしのぎを削ろうとするGoogleが、競合他社を分析し、オープンソースの脅威について詳細を記した内部資料が、Discordの公開サーバーから流出しました。
対話型AIの知名度を爆発的に高めた「ChatGPT」を開発するOpenAIは、対話型AIの分野で頂点に立っているとも分析できますが、Googleは「GoogleおよびOpenAIは次の軍拡競争に勝てる立場にない」としています。Google、OpenAI、Metaなどの企業がシェアを巡って争う中、一人勝ちするのは「オープンソース」だというのがGoogleの分析です。
2023年3月、前月にMetaが発表したばかりの大規模言語モデル「LLaMA」のデータが突如としてインターネット上に流出し、誰でもダウンロード可能な状態になりました。この出来事についてGoogleは「コミュニティは自分たちが与えられたものの重要性をすぐに理解しました。この後、革新的な技術が次々と生み出され、1ヶ月が経過した頃にはさまざまなアイデアが積み重なっていました」と述べ、重要なモデルが人々の手に渡ったことにより開発速度が爆発的に上昇したことを指摘しています。
さらに、LLaMA-65Bの登場からほどなくして、LLaMAをしのぐほどの性能を誇るオープンソースの大規模言語モデル「Vicuna-13B」が公開されました。このモデルはChatGPTでのやり取りやプロンプトをシェアできる拡張機能「ShareGPT」のデータに基づき、LLaMAのベースモデルを微調整することにより高品質なパフォーマンスを実現したもの。各種対話型AIの応答品質評価では、ChatGPTを100％とした場合、LLaMAが68％、Alpaca 7Bが76％だった一方でVicuna-13Bの品質は92％に迫っていることが分かっています。
こうしたオープンソースの大規模言語モデルが登場したことについて、Googleは「私たちのモデルは品質という点ではまだ若干の優位性を持っていますが、その差は驚くほど早く縮まっています。オープンソースのモデルは、より速く、よりカスタマイズ可能で、よりプライベートで、1ポンド当たりの性能は優れています。私たちが1000万ドルと5400億のパラメーターでなんとかやっていけているところを、Vicuna-13Bは100ドルと130億のパラメーターでやってのけているのです。しかも、数カ月ではなく、数週間でやってのけました。このことは、私たちにとっても大きな意味を持ちます」と指摘。
さらに「低コストで一般の人々の参加を可能にしたことで、大手企業の追随を許さない勢いを伴い、世界中の個人や組織からアイデア出しと反復が活発に行われるようになりました。オープンソースの最近の成功を後押ししたイノベーションは、私たちが今も苦労している問題を直接解決します。彼らの仕事にもっと注意を払うことで、車輪の再発明を避けることができます」と続けました。
続く
https://gigazine.net/news/20230508-google-document-llm-arms-race/
続き
モデルがオープンソースとして公開されたことによる効果は特に画像生成の分野で顕著であり、いち早くオープンなモデルを採用したStable Diffusionは、そうしなかったDall-Eとは異なり、製品の統合やマーケットプレイス、ユーザーインターフェースなどの革新的な技術が生まれました。
オープンソースの脅威に加え、わずかなコストで効率的に言語モデルを扱えるようにする調整機能「LoRA」についてもGoogleは「無視するべきではない」と危惧しています。Googleは「この技術はGoogleの最も野心的なプロジェクトに直接影響を与えるにもかかわらず、Google内部で十分に活用されていません。LoRAのアップデートは、最も一般的なモデルサイズで非常に安く作成することができます。つまり、アイデアさえあれば誰でもアップデートを作成し、配布することができるのです。これらのモデルによる改善のペースは、私たちの最大のバリエーションでできることを大きく上回っており、最高のものはすでにChatGPTとほとんど見分けがつかないほどになっています。地球上で最も大きなモデルを維持することに集中することは、実は私たちを不利な立場に追いやることになります。オープンソースと直接競合するのは敗者の提案です」と指摘しました。
自社技術を秘密にするか、オープンにするかはGoogleにとって常につきまとう命題だったそうですが、LLMでの最先端の研究が手頃な価格で受けられるようになった昨今、テクノロジーにおける競争優位性を維持することはさらに難しくなっています。自分たちの秘密を固く守るという選択もできる一方で、互いに学び合うこともできる「オープンソース化の選択肢を採るか否か」という現状をGoogleは勘案している様子。
自社のモデルが流出してしまったMetaについて、Googleは「逆説的ですが、この中で明らかに勝者なのはMetaです」と指摘。これは、流出はしてしまったものの、オープンソースのイノベーションのほとんどはMetaのアーキテクチャの上で起こっているので、Metaがその技術を直接自社の製品に取り入れることが可能なため。
競合となるOpenAIについては、Googleは「オープンソースに対する姿勢においてGoogleと同じ間違いを犯している」とし、「Googleがオープンソースの選択肢を取ることで、OpenAIが姿勢を変えない限り、先手を打つことができます」と主張。こうした事例からも、Googleは「オープンソースコミュニティのリーダーとしての地位を確立し、議論を無視するのではなく、協力することで主導権を握るべきです」という意思を示しました。 グーグルの予想は過去にも結構外してるし今後も外すんだろうな
サービス終了と新規サービスの質が全てを物語っている
なのでグーグルの予想は気にするだけ無駄って事さ いや、Googleは反日パヨク的だから嫌いだけど
さすがにGAFAMから脱落したMetaよりは上だろ アホだけど内部で留めた上にMETAに乗っからなかったから賢いんだよ
予想はどうあれ勝ち馬に乗れば良いだけの話なんだから Vicuna-13Bでスケールではなくチューニングが重用ということがわかった
オープンソースが脅威というのは正解 23年3月のレポートなら
自社の過大評価はともかくとしても
他は妥当だろ LoRAがコスパいいとは言えベースのモデルは一般人じゃ作れないからな
大企業が作ったモデルありきなところは変わらなくね 確かに実際にオープンソースになった方は発展してるよな オープンソースが天下取るってあんま想像できないんだよな
一般人がオープンソースの言語モデル導入とかできるわけないから何かしらの企業挟むんだろうけどそこにgoogleは入れないのか？ この記事から分かるのは
GoogleはStable Diffusion(それに付随するLoRa)をベタ褒めしてるんだな
面白い考察 オープンソースは強いな。
でもGoogleとOpenAIを並べてるのがなんとも >>1
【60】名無しさん＠おーぷん ：2023/05/08(月) 17:48:35.21 ID:xyz123
この内部文書の流出、本当に興味深いね。オープンソースは言語モデルの分野で着実に地位を築いているし、企業も無視できない存在になっているのがわかる。GoogleやOpenAIがオープンソースにどう対応していくか、これからの動きが楽しみだ。
また、Googleが指摘しているように、互いに学び合いながら進化することが大事だと思う。オープンソースは独占を防ぎ、イノベーションの速度を上げる可能性がある。企業も協力しながら、お互いに切磋琢磨することで、より良い技術が生まれると思うよ。
Google、Meta、OpenAIなどがどう競争し合い、オープンソースの勢いにどう対応していくのか、今後の展開が非常に気になる。 >>13
そのコスパ良い発想が出てくるのもオープンにしたからだっていう前提のもとの話だと思うよ >>18
皆が参加するからデータ増えるんじゃないの？ >>15
そこで重要になるのが
>私たちが1000万ドルと5400億のパラメーターでなんとかやっていけているところを、Vicuna-13Bは100ドルと130億のパラメーターでやってのけているのです。
の部分
軽くそして高品質な発想が出れば一般人の手元(つまりエッジ環境)で一般人のコストの範囲で使えるようになる 最近のAIの論文だいたいPyTorchで実装してるし
metaが一番AIの発展に貢献してんだよな >>30
それがソースにあるVicunaってやつじゃないのん？ >>22
俺の認識が違ってるかもだけどそもそも汎用AIを作りたくて大量なデータを食わせてAI作るのと何かの目的に特化させてチューニングしたAI作るのは目的が違くない？
データ食わせる時代は終わって今後はチューニングだけでやっていけるっていうのから話は変わるけど >>31
ネタで書いたけどもう実現してたのか
すげぇなAI Googleの天才達とやらも、未来予測はまるで下手くそなんだな 24GB版の3090の中古買っとけ
Vicuna-13Bで
PCでGPT-4に近い環境が動くようになるぞ >>32
そのチューニングの積み上げと集積によって全体のモデルが改善されるのではという方向の話だと思うよ
書いてて思ったけど確かにこれなら大量なデータを食わせてモデルを作るという時代は一応終わったと見てもいいかもしれない metaはreactの守護者ではあるから本格的に死なれたら困るんだよな ワイはテキストではシコれないからGPTはいらねぇな おまえらもVicuna-13b使ってみ？
無料で無制限だから
そしたらGoogleが言ってることがよくわかるよ
スレタイは全部当たってると思うね アンドロイドってオープンソースなんじゃなかったっけ？
そのモデル真似できんのか？ いまのAI開発に1番投資して来たのは間違いなくGoogle
その次は以外だけどFB時代からずっとMeta
これまでのAI開発はこの2社が引っ張ってた
それが約5年まえからOpenAIが加わり
去年のGPT3.5以降言語生成でリードし
他のGAFAMも5年前の同じ時期から高額投資を始めて今に至る
今 MetaのLLaMAを使えば近いうちに
ワークステーションクラスの
ローカルPCで言語生成が当たり前になる
そうなると今のChatGPT4も電気喰いの高価なおもちゃに成りかねない やばいな全然言葉について行けてない
もうオッサンだ ガバガバな分析、現状認識だな…
こういう見解が集まって世界はなんとなくそれなりに動いてるんだな >>37
ここで出てるVicunaもChatGPTありきだしそれに近付けはするだろうけど超える方法は現状ないよな
確かにVicunaのベース自体はGPT4未満のはずだし学習データさえあれば良くなるってことなのかな >>37
いや大量データ食わせないと意味ないという時代が始まった >>49
莫大なカネがかかる上にオープンソースとの競争で勝てないのが見えたからもうモチベがなくなってても不思議じゃない 無料のbing,拡張機能のGPT open aiの一人勝ち 結構真面目にメタバースに特攻したんだな
ネタで死んでるかと思ってたわ 重要な観点はaiを使ってどうやって儲けるか
その点で、word、excelみたいなビジネスオフィスソフトと、azureみたいなインフラサービス両方持ってるmsが有利
msはaiにいくらでも投資できる、回収する見込みあるから
facebookはaiに投資しても回収する見込みない >metaが勝者
meta株ジャンピングキャッチした馬鹿社員がわざと流してるだろこれ >>54
AI技術がふんだんに使われる世界になるはずだった肝心のメタバースが盛大にコケて🤯ってなってそう >>40
知らんから調べたら
メモリの必要量がエグいな
ただ一般人でもボーナスぶち込めば揃う価格で動くってのはすごいな 今Metaに期待寄せてるの誰がいんだよ
飛ばし記事じゃねーか 言ってることはわからなくはないけどオープンにした結果犯罪に使われまくるだろうなこれ オープンソースでAI開発してる人らって何者なんだ？
クソ頭いいんだろうな Metaが勝者というのはモデルが流出したけど優れたオープンソースの成果を取り込めるというのが理由だぞ
最終的な勝者とまでは言っていない
＞ 自社のモデルが流出してしまったMetaについて、Googleは「逆説的ですが、この中で明らかに勝者なのはMetaです」と指摘。これは、流出はしてしまったものの、オープンソースのイノベーションのほとんどはMetaのアーキテクチャの上で起こっているので、Metaがその技術を直接自社の製品に取り入れることが可能なため。 AI全然たいしたことないじゃん
いつになったらドラえもんを作れるんだい🤔
失望しかない Googleのトランスフォーマーのおかげで
MSのopen AIがgptを開発して
このオープンソースのVicuna-13Bは
メタのLLaMAをベースに
GPTの会話データで微調整だろ
オープンソースって言っても
結局ビッグテックありきじゃないの？ これってお手元のデータ分析用に良さそう。
やはり、まだまだ世の中走り続けているな。 >>69
ほんまこれ
KubernatesもそうだけどGoogleは技術提唱はするけどその後のマネタイズが全然できてないんだよな
でもその提唱するだけの要素技術を見つけられるのはさすGoogleやと思うわ >>71
技術が先進的すぎて、マネタイズするところまで
もっていけていないんだな。あるいは広告ビジネスが
あまりにもイージーなのか。
もっとも暫く経つと、マネタイズするための簡単な
仕組みを今の技術をベースに作ってしまうのかも
しれない。今の Google の広告ビジネスだって、
何も無いところから作り上げてしまっているわけだし。 あらゆるデータセットや計算リソースを一番持ってそうなGoogle様がいまいちリード出来ない理由がよくわからんな オープンソースとはいえまだゲーミングPCとかで動かすのは難しいらしいから
研究者意外だとLLaMAとかはまだ一部の物好きが動かして遊んでる程度の印象
もう少し要求スペック下がったらStableDiffusionみたいにいっきに広がりそうなのにな >>74
それは5年前までの話
Transformerが発表されて振り出しに戻った
しかもGoogleは同じ5年前に経営側と研究者が
AI開発方針で衝突して大量離脱を招いたのが
今の体たらくに陥った最大の理由
しかも皮肉なのは
残った研究者と経営側がAI利用で
厳しい倫理規定を定めてしまった為
人工知能開発に足枷が出来てしまってた だからMetaのオープンウエア使えば
OpenAIにライセンス料払わないで済む場合
研究開発でどちらが普及ると思う？と言う話 おれも
OPen
Place
AI
通称OPPAI開発しようかな 現状だと間違いなくChatGPTとBingAIが一番性能がいいと思う
だが今後は本当にどうなるか分からないなGoogle関係者の言うとおりだと思う
気になるのはAIの開発には信頼できる大規模データが欠かせないみたいな事をAIは言っていたけどオープンソースはこの問題はどうするんだろうな 重要な開発物が簡単に流出するようなMetaに信用がおけるわけないだろ
それに外部で独自進化しちまったら如何にベースアーキテクチャが同じだろうともう簡単には取り込めんよ イーロン・マスクがこのチャンスを逃す訳が無いよな
あいつのAIも短期間に台頭してきそう >>74
チャット系が世間でバズったからずっと開発を続けてきたOpenAIが独走して他が追ってるように見えるけど、AI全般で見ればデータも計算リソースも先進的な研究もグーグルが先行してるよ
元々やる気がなかったチャットサービスを英語限定とはいえ半年たらずでそれなりに調整した状態で公開したのも驚異的なスピードだし Metaは去年から世界最速級の
AIトレーニング用スパコンが稼働し出してるから
今まさにライバルと同じように
巨大データーを使った大規模言語モデルを訓練してる最中 利用者のデータが必須なら利用者に対価を払う仕組み作るしかないんじゃない
まあ利用してもらうだけ赤字だからそれも無理か >>88
Tesla社もAIトレーニング用最新スパコンを持ってる TensorFlowはPyTorchに負けたもんな
くだらないメタバースやめたら追い上げてくるかも >>85
openAIのCEOは大規模なデータを使う時代はもう終わりみたいなこと言ってたよ みんながよってたかって改良するオープンソースには勝てないもんな Metaが勝つとか言っちゃったのか
マジでGoogle終わってるな Google「やべぇOpenAIに追いつ行けねぇ。悔しいからmetaの勝ちってことにしとくか！」
meta「？！」 >>91
Metaは去年「大規模スパコン開発中です」「世界最速級になる予定です」って大々的に発表したわりにその後いつものようにそれっきりだけどちゃんと稼働開始できたのあれ >>102
Metaは金出しただけで開発したのはNvidiaだけどね
絶賛稼働中 >>98
それは００年代の幻想だったよね、というのが長年ネットウォッチしてたオジサンの感想 >>103
なるほどありがとう
>>104
結局どこかで足踏み状態に陥るよねオープンソース MetaはGPUメインで大規模言語モデルを処理できる様になったって、前出てたからな
一回50円もコストかかってるOpenAIは負けると思うよ
新しい解決策出してきたらまた変わるけど 検索にAIを使うようになったら
「ググる」の代わりに何て言うようになるのか ■ このスレッドは過去ログ倉庫に格納されています
