キーワードを入力後、以下のリンクをクリックしてみてください。プロバイダ』などに関連する価値ある情報ページも集約しています。インターネット上で稼働しているURL収集ロボットのデータベース。類別、機能、サポートサイトなどがロボット毎に整理集約されている。ネット上を徘徊しているクロウラー、エージェント類のエージェント名の一覧。PC用のブラウザや携帯電話のエージェント名も網羅されている。魔術幻燈さんによるサーチエンジンに対応するWebコーディングのレクチャのページ。METAタグやrobots.txtの記述方法について。(財)ニューメディア開発協会のセマンティックWeb技術の詳細な技術解説論文。121頁のpdf文書。Consortium)のリファレンス文書の公式的な和訳プロジェクト・サイト。(財)インターネット協会の運営ページ。Foundationが進めている、オープンソースな検索エンジン・プロジェクト。更新確認エージェント機能付きの個人向けブックマーク・サービス。一般公開されている他のユーザのブックマークを閲覧できる点がユニーク。internet.com関連サイト。検索エンジン分野の情報サイト。検索エンジンの格付けや、利用方法、リンクなどのページがある。internet.comのサブサイト。ロボット系エージェントに関するオールアバウトな情報サイト。玄さんによ「ロボット対策」のページ。METAタグや制御ファイルでのロボット・エージェントとの付き合い方の記述がある。インターネット上を徘徊するメールアドレス収集ロボット系エージェント撃退対策に特化している情報のページ。インターネット上を徘徊するメールアドレス収集ロボット撃退対策を完結に解説しているページ。W3CのセマンティックWEBの解説ページ。