>>221 なんともはや…
まったくの粗雑な“国”観念がもうね
この人の応答の粗雑さはこのへんと関連してるんだろう。だとしたら死ぬまで治癒不能か
大規模言語モデルの学習過程で起きたBrain Rot(脳損傷)
ps://note.com/kashiwaguchi/n/n8277ab250494
>短く扇情的で質の低いソーシャルメディアデータをLLMに継続的に学習させたところ、驚くべき結果が確認されました。モデルの推論能力は最大23%、長文脈の記憶力は最大30%も低下したほか、人格テストでは自己愛や精神病質的な特性が激増したというのです。
>特筆すべきは、単に情報が粗悪になるだけでなく、「思考を飛ばす」「理由を説明せずに回答する」といった、まるで短尺動画を刷り込みすぎた人間のような「思考の浅薄化」がモデルの内部で起きていた点です。
>さらに衝撃的なのは、この損傷が不可逆的であるという結論です。研究では、高品質なデータを用いた再訓練や、外部からのフィードバックによる矯正が試みられましたが、いずれも損傷を「緩和」するに留まり、モデルの初期性能を完全に回復させることはできませんでした。