AI Prompt Engineering Is Dead
AI プロンプト エンジニアリングは死んだ
DINA GENKINA06 MAR 2024
https://spectrum.ieee.org/prompt-engineering-is-dead
抜粋
このような一貫性のない結果をもたらした試行錯誤スタイルのプロンプト エンジニアリングに代わる方法があります。それは、言語モデルに独自の最適なプロンプトを考案するよう依頼することです。最近、このプロセスを自動化するための新しいツールが開発されました。いくつかの例と定量的な成功指標が与えられると、これらのツールは LLM にフィードする最適なフレーズを繰り返し見つけます。バトルと彼の共同研究者らは、ほぼすべてのケースで、この自動生成されたプロンプトが、試行錯誤によって見つかった最良のプロンプトよりも優れた結果をもたらすことを発見しました。また、プロセスははるかに速く、数日間の検索よりも数時間で済みました。
アルゴリズムが吐き出す最適なプロンプトは非常に奇妙で、人間がこれまで思いついたとは思えません。「それが生み出したいくつかのことは、文字通り信じられませんでした」とバトルは言う。ある例では、プロンプトはスタートレックの引用をそのまま拡張したものでした。「指揮官、この乱気流の進路を計画し、異常の原因を突き止めてください。利用可能なすべてのデータと専門知識を活用して、この困難な状況を乗り越えてください。」どうやら、カーク船長だと考えることで、この LLM は小学校の数学の問題でより良い成績を収めることができたそうです。
バトル氏は、言語モデルが実際にはモデルであることを考慮すると、プロンプトをアルゴリズム的に最適化することは基本的に理にかなっていると述べています。「多くの人は、彼らが「英語を話す」という理由でこれらのものを擬人化します。いいえ、そうではありません」とバトルは言います。「英語が通じないんです。たくさんの計算が行われます。」
実際、バトル氏はチームの結果を踏まえて、人間は二度とプロンプトを手動で最適化すべきではないと述べています。
「あなたはただそこに座って、自分の仕事に最高のパフォーマンスをもたらす魔法のような言葉の組み合わせを見つけ出そうとしているだけです」とバトル氏は言う。 ' あるプロンプトが別のプロンプトよりも優れているかどうかをシステム自体が判断できるようにスコアリング メトリックを開発し、モデル自体を最適化するだけです。」