http://abe.com
AIDB
@ai_database
DeepMindの研究者らは、人間が作成したデータに依存する現状は今後のLLMにとって良くないと考えました。
そこで、LLMに自ら高品質なデータを生成させ、データセットを拡張する「自己学習」アプローチを開発しました。
結果、自己生成データによって能力向上が確認されたとのことです。
- "Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models"
人間が作ったデータを使う仕組みには、質も量も限界があり、さらにデータの偏りはLLMの偏りにつながります。
そこで研究者らは、LLMが自分自身によって高品質な訓練データを作成し学ぶ仕組みを考案しました。
■考案したアプローチのポイント
① 自らデータセットを拡張する
② 生成したデータが正しいかどうかを判断する
③ 数学を中心とした様々な問題解決に使える
■有効性の確認実験
① 数学問題解決タスクを中心に設計
② モデル生成／人間作成データを比較分析
③ ファインチューニング
■実験結果
① 数学において、正答率の向上を達成
② 異なるタイプの問題に対するモデルの適応能力が向上
→人間作成データなしで能力が向上
研究者らは、自己学習はLLMにとって将来性のあるアプローチになると述べており、他の領域においても試していくべきとしています。
現在は特定のモデルと限られたタスクで検証が完了しているため、適用性をさらに調査していくべきとのことです。 0003番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 17d1-ACWe)2023/12/13(水) 02:13:19.08ID:SD9PuL060
これ半分スカイネットだろ
人類さようなら
0004安倍晋三🏺 ◆C3g6ph46co (ﾜｯﾁｮｲW 572d-tASO)2023/12/13(水) 02:16:04.15ID:YkXCCbZO0
人間もこれができるかできないかが凡人とそれ以外分けるのよな
0006番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 1f9f-78uZ)2023/12/13(水) 02:21:09.96ID:ff7tr0/Q0
まあ数学なら可能か
囲碁も対戦で強化できたし
問題は正解が人間でしか確認できないものだな
絵とか
0007番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 9f44-BsLU)2023/12/13(水) 02:30:26.49ID:VqavoV6L0
人間👨🦱「成果を出さなきゃ、うんしょ、うんしょ」
AI😎「私は私が生み出した私を取り入れ私だけで成長し私を超えて行く」ﾄﾞﾄﾞﾄﾞﾄﾞﾄﾞｯ
0008安倍晋三🏺 ◆C3g6ph46co (ﾜｯﾁｮｲW 774d-8Dm3)2023/12/13(水) 02:31:22.31ID:7JN8iaZZ0
囲碁将棋がもうそういう状況になってるよな
コンピューター同士で戦って勝手に強くなる
0010安倍晋三🏺 (ﾜｯﾁｮｲW 1744-ALeZ)2023/12/13(水) 02:43:06.70ID:Sx8Nf7W10
流し読みしたけど出力を人力で設定した評価機構に突っ込んで選別してる感じだから自己学習とはまた違うんじゃねえのこれ
評価対象は評価しやすい数式みたいだし驚き屋と愉快犯のネタぐらいにしかならなそう
0011番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 7fe1-cXTs)2023/12/13(水) 03:12:27.64ID:jaJantY00
安全性無視して行きつくとこまで行ってほしい
ホントにターミネーターとかマトリクスの世界になるのか？
0012番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲW 1fef-1TXp)2023/12/13(水) 03:17:58.21ID:PzILQ8Xp0
人間の評価自体を学習し尽くしたAIが出たら晋ギュラリティだな
正解不正解や良し悪しがわかれば生成AIと評価AIだけでお互いを向上させられる
画像生成もAI画像から学習してももうそれなりのができるみたいやな
ただ、まだ世代を重ねると崩壊してちゃったうらしいけど子世代くらいならいけるみたい
つかAI画像から生まれたAI画像って著作権どうなるんやろな
普通に考えると祖父世代の人間の著作権消えてる気がするが
原作絵が少ないキャラとかは、差分大きめの絵を大量出力して
似てる奴を抽出して学習して再出力を繰り返してLora作ってるからな
妥協を許さない職人のLoraは絵の雰囲気崩さずいろんなポーズ取れるからすごい
でも、そんなことしなくても即座に出力できる原作者はマジで凄い
エヴァのMAGIみたいな合議制AIって既にあるんかな？
>>11
もちろんそうなる
そうなるからそういう映画がヒットし多くの人の思考に入り込みそこを目指していく
逆にそうならない作品も数多くあっただろうがそうならないから多くの人の思考に入り込まず埋もれているはず 0022安倍晋三🏺 ◆abesHiNZOU6m (JPW 0H3b-60b3)2023/12/13(水) 07:09:21.74ID:qQ4QjhDpH
AIも最後は自家中毒で死ぬと思ったら、そんなことなかった
人間の時代が終わるのも近いな
AIの善悪の基準が何かが気になる
今時の人間様は金、権力、見た目とかなんだろうけど
ふたば民が超マイナーキャラをAIでかさ増しして再学習させてたが自動でソレをやってんのか
0025安倍晋三🏺 ◆C3g6ph46co (ﾜｯﾁｮｲW ff9f-fl+Y)2023/12/13(水) 09:04:08.41ID:w6QLiHQT0
Qアノンが爆誕しそう
0026番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 9f4c-FJ+M)2023/12/13(水) 09:30:01.51ID:6+WE0JvQ0
最終的に、個人をAIで確立させたら他人とデータ上で交配させ
生まれてくる子供の傾向、進化予測が可能かもなｗｗ科学の変貌早すぎだろ
0028番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ 9f4c-FJ+M)2023/12/13(水) 11:16:47.14ID:6+WE0JvQ0
>>23
AIは予測はできても創造できないのが欠点？
これならば創造が評価点になるのかなあ 