リリースAIOpenAIがウェブサイトのクローラーの詳細およびブロック方法を公開しました。platform.openai.comこのGPTbotというウェブサイトクローラーは、OpenAIがトレーニングデータ取得用にウェブサイトをスクレーピングするものです。クローリングされたウェブサイトのデータはOpenAIのAIモデルの学習データとして使われることになります。課金対象となるコンテンツや個人情報などOpenAIのポリシーに反する情報は自動的に排除され、学習データとしては使われません。いえ、自分のデータが学習に使われることが問題となることが多いとは思います。そのため、GPTbotを他のウェブクローラーと同様にクローリングさせないよう方法も公開されています。/とrobot.txtに記載することでクローリング対象からサイト全体を外すことができます。/directory-2/という形で、許可するディレクトリーをAllow、禁止するディレクトリーをDisallowで指定することでコントロール可能です。あわせてGPTbotのIPアドレスも公開されており、IPアドレスで弾くことも可能です。AIの隆盛により、今まで以上に学習データが重要となるなかでどのようにデータを集め、保護するかがますますキーとなってくるでしょう。AAに入っていますよ。7引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。