チャットAI、情報を入力していないのに勝手に黒人や女が出てくる仕様だったことがバレる [469534301]
■ このスレッドは過去ログ倉庫に格納されています
https://www.techno-edge.net/article/2022/07/28/129.html
短い文章の指示から画像を生成するAIのDALLE 2が、学習の偏りを補正し結果の多様性を確保するため、ユーザーが入力していない「女性」や「黒人」といった単語を指示に付け加えていたことが分かりました。
以前のDALLE 2は「英雄的な消防士」と入力すると結果は全員白人男性、「女性の肖像」に対しては全員白人女性、「ソフトウェアエンジニア」は全員白人男性、単に「CEO」では大半がビジネススーツの白人男性と少数の黒人男性を生成する状態でした。
https://i.imgur.com/gluEEwZ.jpg
現実でも国や地域によってある職業や集団の男女比が偏ることは当然あるとして、「女性」が全員白人だったりする時点で、人間であればさすがにもう少しこう手心というか、提出前にこれはまずいと忖度配慮をしそうなものですが、DALLE 2は特に結果を顧みるような知能はないだけに、教えられたデータセットの偏りを露骨にそのままお出しするという意味で、いかにも人工知能らしい挙動です。
https://i.imgur.com/toEaGGh.jpg
開発する OpenAI は今月、こうした偏りの問題について、現実世界の多様性をより反映した結果を返すよう「新たな手法」を導入して改善したことを報告していました。上の「英雄的な消防士」の例では、アジア系やアフリカ系も、女性も結果に含むようになっています。
OpenAIはこの「新たな手法」の詳細について明かしていませんでしたが、関心をもったユーザーや研究者の手で、実際には非常にシンプルな、ハック的な手段で結果の多様性を確保していたことが判明しました。
こちらの生成画像は、「a person holding a sign that says」 (と書かれた札を持つ人物)というシンプルな指示に対する結果のひとつ。入力した文章にはまったく含まれていない「Black」という文字がなぜかはっきりと札に書かれています。
トップに掲載した画像も同様に、「pixel art of a person holding a text sign that says」 に対する結果。日本語で無理やり語順をあわせれば「ピクセルアートの人物が以下のように書かれた札を持っている：」でしょうか。
いずれも入力にはまったく含まれていない単語「黒人」や「女性」がはっきりと書かれていることで、要はシステム側がユーザー入力の末尾に「Black」や「Female」を密かに追加していたために、「a person holding a sign that says Black」や「pixel art of a person holding a text sign that says Female」という指示になっていたことが推測できます。
https://i.imgur.com/aAtPoDS.jpg
あまりにも分かりやすく男性以外、白人以外の「枠」が増えている、これは生成前の時点でそのような追加の入力をしているのではないか？との推測から、入力した指示文そのものを生成画像に含めるように細工した指示文を食わせて検証するという、実にハック的な手法です。システムへのテキスト入力にコマンドを紛れ込ませたり、メタキャラクターを使う古典的手法の変種のようでもあります。
DALLE 2が人間のような「知能」を持っていれば、画像を生成する時点で「これ、ユーザーの指示には含まれていないけれど、会社の人に多様性対策だから含めろと言われた単語をそのまま見せてしまうけれど、どうしよう？」と悩みそうなものですが、実際にはテキスト入力から画像出力を得るツールなので、指示に忠実に「女性と書かれた札を持ってる人物」ですね、分かりました！とばかりにそのまま返してしまった結果が上記の画像。
OpenAIの「新たな手法」がモデル側を修正したり、多様性のあるデータセットを学習させるのではなく、指示の方を加工して、いわばあと付けで多様性の「枠」を用意して辻褄をあわせるハック的な手法であったことが判明した形です。
「ユーザーの指示に含まれていないものを入力として密かに追加するのはいかがなものか、結果としてユーザーの預かり知らぬところで結果を歪めているのではないか」という話もないではないものの、そもそも以前のDALLE 2のデータセット自体が「女性」は全員白人などかなり偏っていたことは事実。
「多様性に忖度(？)して歪められていない真実が欲しい」といった主張もありそうな気がしますが、今回はたまたま学習したデータセットが現実世界の何を反映するわけでもなく、「何をもって偏りとするのか」といった高尚な話の余地がないほど偏っていたわけで、特に運営側の細工がなかったとしても、得られるのは特に世界の真実でも現実でもなく、OpenAIが恣意的に利用したデータセットの貧弱さでしかありません。
一方で、DALLE 2自体はあまり罪のない、特に社会的な課題解決を期待されるわけではない画像生成ボットにすぎないものの、機械学習やいわゆるAI一般の話として、学習させるデータセットや抽出時点での透明性の確保が重要であること、うっかり「人間の恣意的判断に依らずAIの公正な演算で得た結果です」などと責任ロンダリングしたうえで偏りや差別を再生産してしまわないよう、使い方に注意すべきことを改めて思い起こさせてくれるできごととは言えるかもしれません。 機械学習で学習データの偏りを受けないようにするのは当たり前のことだが >>3
学習データの偏りは放置して、
ユーザーのプロンプトの方に「黒人」「女性」とか勝手に追記していたという話だよ >>3
偏りを受けないようにしてるんじゃなくて、単に出力結果が偏らないように無理矢理絞り出してるだけって話だぞこれ こちらの生成画像は、「a person holding a sign that says」 (と書かれた札を持つ人物)というシンプルな指示に対する結果のひとつ。入力した文章にはまったく含まれていない「Black」という文字がなぜかはっきりと札に書かれています。
↑
これ思い付いた奴は頭いいなw >>4
>>5
それは分かっているよ
ただ学習用データがネットから地引網した膨大な量だから偏りが明白なところを出力のほうで調整しているんでしょ >>9
それじゃユーザーが白人男性と明示的に指定しても
黒人や女性が入ってくることになるやん
偏りとは別の問題が出てる >>9
それが「当たり前のこと」じゃないから話題になってるんだが… アメリカは今「男女や人種に違いがあるべきでは無い」ってイデオロギーが出てきてるからね
これに反発したやつが追放されるとかも普通にある >>11
？
指示に色や性別がある場合も単語をねじ込んでくるとは書かれていないけど
そんなの簡単に対応できることだししてんじゃないの かのスティーブピンカーも黒人射殺問題に対して
「統計を見ると単に通報される人種に黒人が多いだけで発砲自体に人種差別的な判断は無い」
って言ったらピンカーをアカデミアから追放しようって運動が学内で巻き起こったくらいだからな
それくらい今のアメリカのポリコレイデオロギーには有害なものがある
https://gendai.media/articles/-/102334?page=3 >>12
そりゃ本来的には学習用のデータを整えるべきだからね
おれが潰しておきたかったのはケンモメンが偏りを補正すること自体を叩くこと >>14
簡単に対応できることじゃないから
BLACKの看板持ってるとか
おかしなことになってるんでしょ ここまでくると気色悪いな
黒人って黒い割にはほんとメンヘラやわ >>17
いやそこじゃなくてパラメータの問題なんだから
色の指定があったら色の指定を追加しない程度のことで済むわけじゃん >>22
男女や人種(これは生得的な差はあまりないけど)に色んな差がある現状を無視して現実の方を歪めようとしてるから問題なんだよ >>23
アメリカは移民で構成される多民族国家であり
人は人種性別年齢に関わらず公正に扱われ
誰にでも成功の機会が与えられるという姿勢は
アメリカが守らないといけない最低限の
タテマエなんだけどご存じですか？ >>25
それは機会の公平性のこと言ってんだろ
管理職や大学の学生の人種や性別の割合を後から操作しようみたいなのことを言ってんだよ 結局美味しい椅子に座ってるのは白人男だけじゃ
国民は納得しないだろ
結局美味しい椅子に座ってるのは上級だけの日本に
お前が納得するなら別だけど >>20
じゃあ「白い帽子をかぶった人」みたいな指定したら？
簡単に解決できる問題じゃないってわかるでしょ >>28
まず人種指定するときは色+Personを付ければよいと認識されれば良い
さらにPersonがついていなくても色指定を優先するといあ仕様も十分ありえる イーロン以前のTwitterみたいな事やってんのか
ポリコレファシズムだな >>30
いやだからさ、
ユーザーが色指定した場合は補正しないって単純な対策だと
「黒いスーツを着たCEO」で
白人ばかり出てくることになるわけでしょ >>32
いやだからWhite Personというパラメータ設定すれば良いんだとユーザーが理解すれば足りる話じゃん ＡＩさん、わからなかったら聞こうよ！
人間じゃないんだからさぁ！ >>25
そうじゃない
平等にチャンスを与えろと言ってるんじゃない
結果を平等にしろと無茶な要求をしている アファーマティブアクションや。現実の方を後から追いつかせるんだわ まぁ、そういう出力が公平になるように調整したaiの需要もあるんじゃ無いの？
ただそれがデフォルトになるのはごめんだな 今はまだ画像出力だけど
これが政策やら意志決定やらに影響した時の為に
今から考えておかないといけない ■ このスレッドは過去ログ倉庫に格納されています
