本記事は広告およびアフィリエイトプログラムによる収益を得ています。Diffusion、DALL-Eと言った、テキストからどんなスタイルの画像でも生成することが出来るAI画像ジェネレーターの出現は、人間のアーティストに大きな影響を与えている。中国では既にゲーム開発の現場ではAIによる労働の置き換えが起こり始めている事が報じられており、AIの進歩によりこの傾向が続くことが懸念される。それと共に、自分たちのオリジナル作品がこのようなAIモデルのトレーニングに使われることに不満を持つ声も多い。そんな声に応えてか、アーティストが、人間の目にはわからないほど微妙に作品を変化させ、自分の作品に「毒」を盛ることで、それを取り込んだAIシステムに大混乱をもたらすことを可能にするツールが開発された。Zhao教授率いる研究チームによって開発された。Diffusionのような画像ジェネレーターのデジタル頭脳を混乱させ、その出力を台無しにするのだという。Diffusionの未修正バージョンに奇妙で頭の悪い絵を描かせるのに、たった50個の毒入り画像が必要だったことを発見した。300枚の毒入り画像で、機械学習モデルは犬というより猫のような画像を吐き出してしまったというのだ。興味深いのは、Nightshadeの効果は入力した「犬」のような特定のプロンプトに限定されていない。“ハスキー”のような関連性のある画像にも感染するのだ。「驚くべきことに、適度な数のNightshade攻撃は、テキストから画像への生成モデルの一般的な特徴を不安定にし、意味のある画像を生成する能力を効果的に無効にすることができることを示す」と、論文では述べられている。アーティストたちは、反撃の機会を喜んでいる。Reviewに、「アーティストが自分の作品のために力を取り戻せるようなツールができたことに、本当に感謝しています」と語った。Nightshadeは、Zhao氏と彼のチームによって開発されたGlazeという別のツールをベースにしている。プロジェクトの公式ウェブサイトによると、Glazeは「スタイル模倣を妨害することで人間のアーティストを保護する」ために設計されており、「人間の目には変わらないように見えるが、AIモデルには劇的に異なるアートスタイルのように見える」ような最小限の変更を作品に加える。チームは最終的にNightshadeをGlazeに統合し、コンテンツ制作者にAIモデルに対する追加の防御ラインを提供したいと考えている。このツールは現実世界ではまだほとんどテストされていない。Nightshadeのようなツールが、「オプトアウト/クロール禁止ディレクティブを無視するウェブスクレイパーに対するコンテンツ制作者の最後の防御」として、現実的にどの程度役に立つかはまだ不明なのだ。Review誌に次のように語っている。「最新の(機械学習)モデルに対するポイズニング攻撃はまだ野放しになっていませんが、時間の問題かもしれません」。AI画像ジェネレーターの脅威は非常に現実的であり、すでにアーティストやイラストレーターから仕事を奪い始めている。一部のAI企業は、AIのトレーニングデータから自分の作品を除外する新しい方法をアーティストに提供し始めている。先月末、OpenAIは、アーティストが「オプトアウト」し、自分のアートワークをDALL-Eのデータセットに表示させないための新しい方法を発表した。多くのアーティストにとって、こうした取り組みは遅きに失した感が否めない。そんな中のNightshadeとGlazeの登場は、こうした現状を憂うアーティストたちに、彼らの主体性を取り戻させ、報復する手段を与えるかもしれない。Techの取材に対し、Nightshadeの出現は「(AI企業は)よく考えるようになるだろう。彼らは私たちの作品を同意なしに取得することでモデル全体を破壊する可能性があるからだ」と、語っている。AI研究の要旨データポイズニング攻撃は、学習データを操作して、学習時に機械学習モデルに予期せぬ振る舞いを導入する。膨大な訓練データセットを持つテキストから画像への生成モデルの場合、ポイズニング攻撃に関する現在の理解では、攻撃を成功させるには訓練パイプラインに何百万ものポイズンサンプルを注入する必要があることが示唆されている。本稿では、ポイズニング攻撃が生成モデルで成功する可能性があることを示す。このようなモデルでは、概念ごとの訓練データがかなり制限される可能性があり、個々のプロンプトに応答するモデルの能力を標的とするプロンプト固有のポイズニング攻撃に対して脆弱であることを観察する。我々は最適化されたプロンプト特異的ポイズニング攻撃であるNightshadeを導入する。SDXLのプロンプトを破壊することができる。イヌホウズキ毒の効果は関連する概念に「ブリードスルー」し、複数の攻撃が1つのプロンプトに合成されることがある。驚くべきことに、適度な数のNightshade攻撃は、テキストから画像への生成モデルの一般的な特徴を不安定にし、意味のある画像を生成する能力を効果的に無効にすることができる。最後に、オプトアウト/クロール禁止ディレクティブを無視するウェブスクレイパーに対するコンテンツ制作者の最後の防御として、Nightshade`や同様のツールの使用を提案し、モデルトレーナーやコンテンツ制作者に起こりうる影響について議論する。14:30スポンサーリンクこの記事を書いた人masapocoTEXAL管理人。中学生の時にWindows95を使っていたくらいの年齢。大学では物理を専攻していたこともあり、物理・宇宙関係の話題が得意だが、テクノロジー関係の話題も大好き。最近は半導体関連に特に興味あり。アニメ・ゲーム・文学も好き。コメントをキャンセルメールアドレスが公開されることはありません。※サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。reservedCloseテクノロジーサイエンスモバイルエンターテインメントレビューお問い合わせテクノロジーサイエンスモバイルエンターテインメントレビュ。