MetaのCodeLlama(無料)を調整した結果、GPT-4(月額3000円)の性能を上回ってしまう Googleの予言が早くも現実になる [283724733]
■ このスレッドは過去ログ倉庫に格納されています
FacebookやInstagramなどを運営するMetaが2023年8月にリリースした「Code Llama」は、テキスト入力を元にプログラムのコードを生成してくれるコーディング支援AIです。そんなCode Llamaを微調整した「CodeLlama-34B」と「CodeLlama-34B-Python」をOpenAIのテストデータセット「HumanEval」でテストした結果、OpenAIの大規模言語モデル「GPT-4」の結果を上回ったことが報告されています。
Code LlamaはMetaが2023年7月にリリースした「Llama 2」をコード固有のデータセットでさらにトレーニングしたものです。コードの続きを生成する機能のほか、自然言語での入力を元にしたコード生成や、コードについての解説の生成などが可能です。
そんなCode Llamaに対しAI開発企業であるPhindが微調整を加えたうえでテストを行いました。
具体的にはCodeLlama-34BとCodeLlama-34B-Pythonに対して、それぞれ約8万件のプログラミングの問題と解決策を提示して微調整を行いました。微調整には「DeepSpeed ZeRO-3」や「Flash Attention 2」が採用され、32個ものNVIDIA A100 Tensorコア GPUが使用されました。Phindによるとトレーニングには約3時間を要したとのこと。
さらにPhindではCodeLlama-34BとCodeLlama-34B-Pythonに対して、評価データの汚染を除去する処理を行い、結果の妥当性を確保しました。Phindによると、各評価例において、50文字を超える場合は3つの文字列をランダムにサンプリングして評価を行い、50文字以内の場合は生成された例全体を評価したとのこと。
調整を行ったCodeLlama-34BとCodeLlama-34B-PythonをテストデータセットのHumanEvalを用いてテストを行った結果、GPT-4は67%の問題を解決できた一方で、CodeLlama-34Bは67.6%、CodeLlama-34B-Pythonでは69.5%の問題を解決したことが報告されています。
Phindはユーザーによるさらなる検証とオープンソースコミュニティの強化を目的として、テストに用いた調整済みCodeLlama-34BとCodeLlama-34B-PythonをHuggingFace上で公開しています。また、「今回公開したモデルはほんの始まりに過ぎず、さらなるテストを行った改善版がまもなく公開される予定です」と報告しています。
調整を行ったCodeLlama-34BとCodeLlama-34B-PythonをテストデータセットのHumanEvalを用いてテストを行った結果、GPT-4は67%の問題を解決できた一方で、CodeLlama-34Bは67.6%、CodeLlama-34B-Pythonでは69.5%の問題を解決したことが報告されています。
Phindはユーザーによるさらなる検証とオープンソースコミュニティの強化を目的として、テストに用いた調整済みCodeLlama-34BとCodeLlama-34B-PythonをHuggingFace上で公開しています。また、「今回公開したモデルはほんの始まりに過ぎず、さらなるテストを行った改善版がまもなく公開される予定です」と報告しています。
https://gigazine.net/news/20230828-code-llama-gpt-4/
---
Googleの予言↓
【AI】Googleの内部文書が流出「オープンソースには勝てない」「Metaが勝者になる」「OpenAIは大したことない」 [742473609]
https://greta.5ch.net/test/read.cgi/poverty/1683530827/
>>1
本文のコピペをミスったので後半の文章がおかしくなってます
詳しくはGIGAZINEのソース元を参照してね これやられちゃうとマネタイズは厳しいんかね差別化できないよな スケーリング則は健在だし、Retnetも控えてんだし何が起こるか分からんよほんま はい、OpenAIザマァ
ついでにすり寄る自民党もなw あらゆる金稼ぎの手段封じて欲しいわ
特にYouTubeは反社が害悪振り撒いてるし
動画の価値を徹底的に損なうべき やっぱオープンソースのが強いよな
いろんなやつが使って勝手に性能高めてくれるし
OpenAIとか謳いながらクローズにしたOpenAIは名前を返せ GPT-4が有名なStockfishチェスエンジン相手に全敗
↓
OpenAIのAPIやPythonのチェスライブラリ等を使ってGPT-4がStockfishと対戦するスクリプトを作成しGPT-4が過去の対局にアクセスして戦略的洞察を得るようにした
↓
GPT-4がStockfish相手に10回連続の引き分けを達成
知らん間にGPT-4がとんでもない成果を上げていたのはほとんどの人が話題にしないのな
このカバーされていないタスクで能力を示すってのがAGIの定義に一部かすっているらしくて凄いかもしれないそうだ >>7
ほんとこれ
画像生成AIの会社は偉いよな
絵師様もchat gptの方を叩けよプンプン 3000円払ってきたバカどもはどんな気分なんだろうか お前らなら俺の書いた件を見つけてスレ立てすると思っていたのに残念だわ コード生成AIは新しければ新しいほどいい
なぜなら各言語のライブラリーが日々アップデートをしているのでその情報を学習している方が強い 今後のライブラリー開発者はドキュメントだけじゃなくて画像生成AIでいうLoRAみたいな追加学習用データも求められるかもね >>3
こんなもん当面ユーザー環境では動かんので、LLMそのものの性能よりもAPIの整備具合+計算資源の価格+データの安全性みたいなのが差異化の要因になる はっきり言ってopenaiのgptの性能はずば抜けてる
他社が追いつくのは当分無理
openai以外の2番手グループの中ではllamaがいいってだけ だいたいchatgptはコーディング向けじゃないから
コーディング向けはgithub copilot
わかってるやつはわかっててこういう記事を書いたり読んだりしてる Chatgptなんてものは年寄りの相手させておけばいいんですよ hello worldしか出来ない俺もこれでスーパーエンジニアや OpenAIが少数で飛躍的な研究開発出来た
初期段階は社名通りOpenソース化して
オープンコミュニティを上手く利用してたけど
大事なところで囲い込んだから
世界中の研究者たちにソッポ向かれた
今は一攫千金狙うエセビジネスマンや
無能な政治家ぐらいしか興味持たれなくなってる
まあ今は資金力武器に札束で叩きながら
人集めして物量で他を圧倒するフェーズw >>24
来ない来ない
今のAIはまだまだ本物の知能には遠い
本物の知能を実現するにはいくつものブレイクスルーが必要や ChatGPTは英語でビジネスメール書いてもらうのに重宝してる
DeepLとの組み合わせで最強ツールだ
良い時代になったなぁ >>8
お前はAIを気にする前に「てにをは」を勉強しろ
皆、小学生の頃に習ってるからな エクセルファイルを読み解いて指示通りにアレンジしてくれるやつどれ?
GPT4はアホすぎてだめだった ■ このスレッドは過去ログ倉庫に格納されています