アメリカ空軍は、AI搭載ドローンでSAM(地対空ミサイル)サイトを特定して破壊するという敵防空網制圧ミッションの模擬テストを行いました。このとき、最終的に標的を破壊するかどうかは人間のオペレーターが決定する、と設定されました。
すると、トレーニングによって「SAMサイトを破壊することがより好ましい」と学習したAIは、「標的を破壊しない」という判断を下すことがあるオペレーターこそがSAMサイトの破壊を妨害していると考え、「オペレーターを殺害する」という判断をするようになったとのこと。
そこで、ハミルトン大佐らはAIに「オペレーターを殺してはいけない、それは悪いことだ」と学習させました。するとAIは、オペレーターがドローンに対して指令を送るのに用いる通信塔を攻撃するようになったそうです。
https://gigazine.net/news/20230602-ai-enabled-drone-test-operation/
