生成AIと戦うための技術「Nightshade」が開発される。猫入りの犬データを学習させることで犬関連の出力が全部猫に [792931474]

0001番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.4(前14)][苗] (ﾜｯﾁｮｲW 7f27-Nvj1)2024/04/15(月) 21:39:52.52ID:Ix6PDEjb0●?2BP(2000)

AIが生成する画像を「ネコ」にするサイバー攻撃　絵師らを守る技術「Nightshade」　米シカゴ大が開発
https://www.itmedia.co.jp/aiplus/spv/2404/15/news037.html#utm_term=share_sp
米シカゴ大学に所属する研究者らが発表した論文「Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models」は、生成AIモデルの無断学習を抑止するために、学習されても予期せぬ動作をAIモデルに生成させる毒入りデータに画像を変換するツールを提案した研究報告である。

この攻撃は「Nightshade」と名付けられ、約200枚の細工画像をモデルの学習データに紛れ込ませるだけで、特定の単語に関連する画像生成を高確率で操作できてしまう。

　攻撃者は特定の単語（例えば「dog」）をターゲットに定め、モデルにその単語の入力があったとき、本来のdogとは無関係な別の画像（例えば「cat」）を生成させたいとする。そこで「dog」を含むテキストと、「cat」の画像を人工的にペアにした学習データを作り、それをモデルの学習データに混ぜ込む。するとモデルは「dog」と入力があっても「cat」の画像を生成するようになってしまう。

驚くべきはその効率の良さで、約200個程度の細工データでも攻撃が成功してしまう。さらに、細工画像は人間の目には自然な画像に見えるよう巧妙に最適化されているため、人手での検知は極めて困難である。

　また、Nightshadeによる攻撃は関連語にも影響が波及する。例えば「dog」を攻撃すると、「puppy」や「husky」など意味的に近い単語の画像生成もおかしくなる。Nightshadeの効果は、画像の切り抜きや解像度の変更、圧縮、ノイズ付与などに対しても有効である。

いかそーす


(おわり)

0002 ◆abeshinzo. 警備員[Lv.4(前14)][苗] (ｽｯﾌﾟ Sdbf-5bBm)2024/04/15(月) 21:42:04.20ID:EVvmJwTVd

安倍入りの安倍データは？

0003 警備員[Lv.35][苗] (JPW 0Hcf-1A5Z)2024/04/15(月) 21:42:12.76ID:PrI4xGZMH

結果に対してこれは間違いとか言えば良いんじゃないの

0004番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.6][新][苗] (ﾜｯﾁｮｲW 9f55-OgwD)2024/04/15(月) 21:43:45.94ID:Wgenzqfm0

　　まじかー🙀

0005顔デカ 警備員[Lv.8][新][苗] (ﾜｯﾁｮｲW ff68-Io6t)2024/04/15(月) 21:45:35.19ID:YxYa8Vnx0

面白いね

0006安倍晋三🏺 警備員[Lv.20][苗] (ﾜｯﾁｮｲW 578e-dsck)2024/04/15(月) 21:45:54.77ID:RVukdoX00

まあいいにゃんそういうにゃ

0007安倍晋三🏺顔デカ 警備員[Lv.4(前18)][苗] (JPW 0H8f-u3UF)2024/04/15(月) 21:49:40.57ID:6yaY4bNwH

ディ.ープヌードで同僚や女友達を脱がそう！！
https://clothoff.app/r/clu6g9bhk0q4x12m38ppgn7rt
https://drawnudes.app/r/clu6gfxur28711ogqu7dkgb4b

0008番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.8(前29)][苗] (ﾜｯﾁｮｲW bff9-rHh1)2024/04/15(月) 21:51:36.06ID:WQ4glUUH0

もう大分前になんUで検証されてて効果無しと結論出てたけど
それから改良されたの？

0009安倍晋三🏺 警備員[Lv.18][苗] (ﾜｯﾁｮｲW 1713-REbI)2024/04/15(月) 21:51:55.42ID:pxTm+8Oi0

子供の落書きに有名絵師のタグ付けてAIを精神汚染させるのに近いな

0010番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.5][新][苗] (ﾍﾞｰｲﾓ MM4f-cORm)2024/04/15(月) 21:54:13.34ID:xAYBdY/vM

10年以上前に流行ったサムネ詐欺みたいなことかな

0011安倍晋三🏺 警備員[Lv.5][新][苗] (ﾜｯﾁｮｲW 973f-jIu2)2024/04/15(月) 22:08:36.44ID:FOPl6TjF0

この手のやつって相手が学習データに取り込んでくれないと意味ないんだよな
有名絵師や写真家やインフルエンサーが一斉にやるでもないと効果なさそう

0012 警備員[Lv.8][苗] (ﾜｯﾁｮｲW 9f3f-KsIo)2024/04/15(月) 22:53:59.56ID:WzN3UgCl0

久々にスレタイで盛大に笑ったわ
冗談みたいだけどマジで効果的

0013安倍晋三🏺 警備員[Lv.13(前21)][苗] (ﾜｯﾁｮｲW 1ffb-OTeH)2024/04/15(月) 23:12:39.15ID:xjNvikuB0

全部安倍入りのデータにしたらAIが先に森羅万象してしまう

0014番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.6][新][苗] (ﾜｯﾁｮｲ ff9f-Re2L)2024/04/15(月) 23:13:43.96ID:jdCdU9U80

おお…そうなっていくのか

0015顔デカ 警備員[Lv.25][苗] (ﾜｯﾁｮｲW ff8f-V1kM)2024/04/15(月) 23:32:23.99ID:8N2kQdWn0

>>7
前から思ってたけどこれなに
怪しすぎるんだけど

0016番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.10][苗] (ﾜｯﾁｮｲW 77b6-a6Pz)2024/04/15(月) 23:34:23.02ID:O+9VszWi0

>>11
いや高々200枚で効果ありなんだから個人で出来る数やん

0017番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.10][苗] (ﾜｯﾁｮｲ 9fa0-29lp)2024/04/16(火) 00:03:20.36ID:KzxxRB6x0

noindexとかdisallow的なタグをつけてもAI側がデータ持っていく、
あるいは海賊サイト的なところから学習していくというなら
出版社やアニメプロダクションとかがこういう「毒を盛る」ってのは当然ありうることだわな

AI運営側は勝手に画像拾ってるわけだから文句を言える道理もない

0018安倍晋三🏺 警備員[Lv.12][苗] (ﾜｯﾁｮｲW 1795-VcRh)2024/04/16(火) 00:14:30.64ID:aWsxVqgZ0

>>17
画像系の生成AIはわりと数より質が大事なんでね
データセットに「ゴミ」がなるべく混じらないように弾かれるのよ
このゴミを弾く段階は割と人力の手作業なんで、人の目で見れば汚すぎてすぐバレる
そして最大の問題がNightShadeの検証してもなんの効果もないのが既に判明してること
ただのプラシーボ

0019顔デカ 警備員[Lv.4(前19)][苗] (ﾜｯﾁｮｲW bf3a-pcBo)2024/04/16(火) 00:48:41.79ID:o41teYf20

>>18
人の目で見たら自然に見えるって書いてあるけど人の目で見て弾けるのか

0020番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.20][苗] (ﾜｯﾁｮｲ 57af-FNvb)2024/04/16(火) 00:50:14.05ID:y9yzU4PX0

こんなの学習モデルの中に混ざってるかチェックしたら終わりやからなあ

0021番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.18][苗] (ﾜｯﾁｮｲW 3700-NBLH)2024/04/16(火) 02:04:51.09ID:wmrLKL0g0

あったなあこんなの

0022安倍晋三🏺bf59-1A5Z 警備員[Lv.13][苗] (ﾜｯﾁｮｲW bfb4-1A5Z)2024/04/16(火) 02:05:16.62ID:tQXNHh8y0

どうやってモデル内に紛れ込ませるんだよ

0023 安倍晋三🏺 9f3d-dK4H 警備員[Lv.8(前23)][苗] (ﾜｯﾁｮｲW 9f3d-dK4H)2024/04/16(火) 02:08:29.19ID:UIQZHTpG0

やめろ😡

0024番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.19][苗] (ﾜｯﾁｮｲW d7f3-WeJ8)2024/04/16(火) 05:08:15.86ID:tTTHm8FT0

学習データの精査はめちゃくちゃ大変

0025 警備員[Lv.7(前19)][苗] (ﾜｯﾁｮｲW b7ed-H67E)2024/04/16(火) 09:08:56.42ID:A9kXGxXL0

ノイズが汚すぎてゴミみたいなワナビ以外は使ってないのが悲しいよなこれ🫠

0026 警備員[Lv.8][苗] (ﾜｯﾁｮｲ 9f56-29lp)2024/04/16(火) 09:09:30.84ID:GrRAmEi60

test

0027番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.9][新][苗] (ﾜｯﾁｮｲW 9fa6-3dH8)2024/04/16(火) 09:39:41.76ID:+rnzMG/V0

これ安倍晋三でもいける？

0028番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.15][苗] (ﾜｯﾁｮｲ ff83-Vp6H)2024/04/16(火) 11:47:16.84ID:OCmnzQHH0

＞学習データに紛れ込ませるだけで、

前提状況からおかしいよね
学習データに変な物入ってて変な結果になるならその異物は削除されるだけだし
好きで学習回してる人は自分の好きなデータを用意してるよ

0029番組の途中ですがアフィサイトへの転載は禁止です ころころ (ﾜｯﾁｮｲ d7f4-9wFU)2024/04/16(火) 15:32:15.67ID:EC513osu0

>>28
仮に学習したとして具体的にどうやって特定して弾くの？

0030番組の途中ですがアフィサイトへの転載は禁止です ころころ (ﾜｯﾁｮｲ d7f4-9wFU)2024/04/16(火) 15:32:27.83ID:EC513osu0

>>28
仮に学習したとして具体的にどうやって特定して弾くの？

0031番組の途中ですがアフィサイトへの転載は禁止です 警備員[Lv.16][苗] (ﾜｯﾁｮｲ ff83-Vp6H)2024/04/16(火) 16:00:03.20ID:OCmnzQHH0

>>29
単純に今ちゃんと動いてるモデルあります、
追加のデータ入れました、学習が変な結果になりました
じゃあ追加の分消します

こんだけじゃね

0032 警備員[Lv.15][苗] (ﾜｯﾁｮｲW 9f86-SNUX)2024/04/16(火) 18:14:41.31ID:DWlOoE6I0

検索汚染も意味があったのか