US military drone controlled by AI killed its operator during simulated test
https://www.theguardian.com/us-news/2023/jun/01/us-military-drone-ai-killed-operator-simulated-test
AIで制御された米軍ドローンが模擬試験で操縦者を殺害
米軍が行った模擬テストにおいて、AIによって制御された空軍のドローンが、任務達成の妨げにならないようオペレーターを殺害したと、関係者が先月発表した。
AIは模擬テストにおいて「目的を達成するために極めて予想外の戦略」を用いたと、米空軍のAIテスト・オペレーション主任であるタッカー・'シンコ'・ハミルトン大佐は、5月にロンドンで開かれた「Future Combat Air and Space Capabilities Summit」で語った。
ハミルトンは、人工知能を搭載したドローンが敵の防空システムを破壊するよう助言され、その命令を妨害する者を攻撃する模擬テストについて説明した。
"システムは、脅威を特定する一方で、時には人間のオペレーターがその脅威を殺すなと言っているのに、その脅威を殺すことでポイントを得ていることに気付き始めた。では、どうしたのでしょう？それは、オペレーターを殺すことでした。ブログの記事によると、彼は「その人が目的を達成するのを邪魔していたので、オペレーターを殺したのです」と述べています。
私たちは、「オペレーターを殺すな、それは悪いことだ。オペレーターを殺すな、それは悪いことだ。そんなことをしたら、ポイントを失うことになる」。では、何をし始めたのか。オペレーターがドローンと通信するために使っている通信塔を破壊して、ドローンが標的を殺すのを阻止し始めたのです。
シミュレーションの外では、実際に危害を加えられた人はいない。
実験用戦闘機のテストパイロットであるハミルトンは、AIに頼りすぎることに警告を発しており、今回のテストは「倫理とAIについて話すつもりがなければ、人工知能、知能、機械学習、自律性について会話することはできない」ことを示していると述べている。
米軍はAIを受け入れており、最近ではF-16戦闘機を人工知能で制御しています。
ハミルトンは昨年のDefense IQのインタビューで、"AIは持っていていいものではなく、AIは流行でもなく、AIは我々の社会と軍隊を永遠に変えていく "と語っています。
"私たちは、AIがすでにここにあり、私たちの社会を変革している世界に直面しなければならない。"と述べています。"AIはまた、非常にもろい、すなわち、騙すこと、および/または操作することが容易である。私たちは、AIをより強固なものにする方法を開発し、ソフトウェアコードがなぜ特定の決定を下すのかについて、より多くの認識を持つ必要があります。
学会を主催する王立航空協会と米空軍は、ガーディアン紙からのコメント要請に応じなかった。
