AIが生成する画像を「ネコ」にするサイバー攻撃 絵師らを守る技術「Nightshade」 米シカゴ大が開発
https://www.itmedia.co.jp/aiplus/spv/2404/15/news037.html#utm_term=share_sp
米シカゴ大学に所属する研究者らが発表した論文「Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models」は、生成AIモデルの無断学習を抑止するために、学習されても予期せぬ動作をAIモデルに生成させる毒入りデータに画像を変換するツールを提案した研究報告である。
この攻撃は「Nightshade」と名付けられ、約200枚の細工画像をモデルの学習データに紛れ込ませるだけで、特定の単語に関連する画像生成を高確率で操作できてしまう。
攻撃者は特定の単語（例えば「dog」）をターゲットに定め、モデルにその単語の入力があったとき、本来のdogとは無関係な別の画像（例えば「cat」）を生成させたいとする。そこで「dog」を含むテキストと、「cat」の画像を人工的にペアにした学習データを作り、それをモデルの学習データに混ぜ込む。するとモデルは「dog」と入力があっても「cat」の画像を生成するようになってしまう。
驚くべきはその効率の良さで、約200個程度の細工データでも攻撃が成功してしまう。さらに、細工画像は人間の目には自然な画像に見えるよう巧妙に最適化されているため、人手での検知は極めて困難である。
また、Nightshadeによる攻撃は関連語にも影響が波及する。例えば「dog」を攻撃すると、「puppy」や「husky」など意味的に近い単語の画像生成もおかしくなる。Nightshadeの効果は、画像の切り抜きや解像度の変更、圧縮、ノイズ付与などに対しても有効である。
いかそーす
(おわり)
