チャットAI、情報を入力していないのに勝手に黒人や女が出てくる仕様だったことがバレる

https://www.techno-edge.net/article/2022/07/28/129.html

短い文章の指示から画像を生成するAIのDALLE 2が、学習の偏りを補正し結果の多様性を確保するため、ユーザーが入力していない「女性」や「黒人」といった単語を指示に付け加えていたことが分かりました。

以前のDALLE 2は「英雄的な消防士」と入力すると結果は全員白人男性、「女性の肖像」に対しては全員白人女性、「ソフトウェアエンジニア」は全員白人男性、単に「CEO」では大半がビジネススーツの白人男性と少数の黒人男性を生成する状態でした。

現実でも国や地域によってある職業や集団の男女比が偏ることは当然あるとして、「女性」が全員白人だったりする時点で、人間であればさすがにもう少しこう手心というか、提出前にこれはまずいと忖度配慮をしそうなものですが、DALLE 2は特に結果を顧みるような知能はないだけに、教えられたデータセットの偏りを露骨にそのままお出しするという意味で、いかにも人工知能らしい挙動です。

開発する OpenAI は今月、こうした偏りの問題について、現実世界の多様性をより反映した結果を返すよう「新たな手法」を導入して改善したことを報告していました。上の「英雄的な消防士」の例では、アジア系やアフリカ系も、女性も結果に含むようになっています。

OpenAIはこの「新たな手法」の詳細について明かしていませんでしたが、関心をもったユーザーや研究者の手で、実際には非常にシンプルな、ハック的な手段で結果の多様性を確保していたことが判明しました。

こちらの生成画像は、「a person holding a sign that says」 (と書かれた札を持つ人物)というシンプルな指示に対する結果のひとつ。入力した文章にはまったく含まれていない「Black」という文字がなぜかはっきりと札に書かれています。

トップに掲載した画像も同様に、「pixel art of a person holding a text sign that says」 に対する結果。日本語で無理やり語順をあわせれば「ピクセルアートの人物が以下のように書かれた札を持っている：」でしょうか。

いずれも入力にはまったく含まれていない単語「黒人」や「女性」がはっきりと書かれていることで、要はシステム側がユーザー入力の末尾に「Black」や「Female」を密かに追加していたために、「a person holding a sign that says Black」や「pixel art of a person holding a text sign that says Female」という指示になっていたことが推測できます。