生成AIと戦うための技術「Nightshade」が開発される。猫入りの犬データを学習させることで犬関連の出力が全部猫に [792931474]
■ このスレッドは過去ログ倉庫に格納されています
AIが生成する画像を「ネコ」にするサイバー攻撃 絵師らを守る技術「Nightshade」 米シカゴ大が開発
https://www.itmedia.co.jp/aiplus/spv/2404/15/news037.html#utm_term=share_sp
米シカゴ大学に所属する研究者らが発表した論文「Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models」は、生成AIモデルの無断学習を抑止するために、学習されても予期せぬ動作をAIモデルに生成させる毒入りデータに画像を変換するツールを提案した研究報告である。
この攻撃は「Nightshade」と名付けられ、約200枚の細工画像をモデルの学習データに紛れ込ませるだけで、特定の単語に関連する画像生成を高確率で操作できてしまう。
攻撃者は特定の単語（例えば「dog」）をターゲットに定め、モデルにその単語の入力があったとき、本来のdogとは無関係な別の画像（例えば「cat」）を生成させたいとする。そこで「dog」を含むテキストと、「cat」の画像を人工的にペアにした学習データを作り、それをモデルの学習データに混ぜ込む。するとモデルは「dog」と入力があっても「cat」の画像を生成するようになってしまう。
驚くべきはその効率の良さで、約200個程度の細工データでも攻撃が成功してしまう。さらに、細工画像は人間の目には自然な画像に見えるよう巧妙に最適化されているため、人手での検知は極めて困難である。
また、Nightshadeによる攻撃は関連語にも影響が波及する。例えば「dog」を攻撃すると、「puppy」や「husky」など意味的に近い単語の画像生成もおかしくなる。Nightshadeの効果は、画像の切り抜きや解像度の変更、圧縮、ノイズ付与などに対しても有効である。
いかそーす
(おわり) 結果に対してこれは間違いとか言えば良いんじゃないの もう大分前になんUで検証されてて効果無しと結論出てたけど
それから改良されたの？ 子供の落書きに有名絵師のタグ付けてAIを精神汚染させるのに近いな この手のやつって相手が学習データに取り込んでくれないと意味ないんだよな
有名絵師や写真家やインフルエンサーが一斉にやるでもないと効果なさそう 久々にスレタイで盛大に笑ったわ
冗談みたいだけどマジで効果的 全部安倍入りのデータにしたらAIが先に森羅万象してしまう >>7
前から思ってたけどこれなに
怪しすぎるんだけど >>11
いや高々200枚で効果ありなんだから個人で出来る数やん noindexとかdisallow的なタグをつけてもAI側がデータ持っていく、
あるいは海賊サイト的なところから学習していくというなら
出版社やアニメプロダクションとかがこういう「毒を盛る」ってのは当然ありうることだわな
AI運営側は勝手に画像拾ってるわけだから文句を言える道理もない >>17
画像系の生成AIはわりと数より質が大事なんでね
データセットに「ゴミ」がなるべく混じらないように弾かれるのよ
このゴミを弾く段階は割と人力の手作業なんで、人の目で見れば汚すぎてすぐバレる
そして最大の問題がNightShadeの検証してもなんの効果もないのが既に判明してること
ただのプラシーボ >>18
人の目で見たら自然に見えるって書いてあるけど人の目で見て弾けるのか こんなの学習モデルの中に混ざってるかチェックしたら終わりやからなあ ノイズが汚すぎてゴミみたいなワナビ以外は使ってないのが悲しいよなこれ🫠 ＞学習データに紛れ込ませるだけで、
前提状況からおかしいよね
学習データに変な物入ってて変な結果になるならその異物は削除されるだけだし
好きで学習回してる人は自分の好きなデータを用意してるよ >>28
仮に学習したとして具体的にどうやって特定して弾くの？ >>28
仮に学習したとして具体的にどうやって特定して弾くの？ >>29
単純に今ちゃんと動いてるモデルあります、
追加のデータ入れました、学習が変な結果になりました
じゃあ追加の分消します
こんだけじゃね ■ このスレッドは過去ログ倉庫に格納されています
