34381
**不特定多数のWebサイトへ対してクローラーを実行したいと考えています**  
・どれぐらいの頻度までなら許容されるでしょうか？  
・「業界団体が作成した指針」や「目安となる数値」などはあるでしょうか？  
・例えば、検索エンジンはこの件について、何らかの資料を公開していたりするでしょうか？

**注意した方が良いこと(あるいは、お作法的なこと)について**  
・クローラーを実行するに辺り、マナー(あるいは、暗黙の了解)はあるでしょうか？  
・サイト管理者が拒否したら、次からはアクセスしない？ みたいな  
(そもそもどうやってクローラー拒否するのかよく分かっていないのですが…)
CC BY-SA 3.0
2017-04-28T13:11:48.780
34359
2017-04-29T16:26:57.033
7886
question
web-scraping
不特定多数のWebサイトへ対するクローラー頻度について
> 注意した方が良いこと(あるいは、お作法的なこと)について

この記事が参考になるかもしれません。

Webスクレイピングの注意事項一覧  
<http://qiita.com/nezuq/items/c5e827e1827e7cb29011>
CC BY-SA 3.0
2017-04-29T07:25:25.897
34373
2017-04-29T07:25:25.897
22531
34359
answer
ウェブ健康診断仕様  
<http://www.ipa.go.jp/files/000017319.pdf>

上記IPAが出してる資料は、サイトを作る側のチェックリストですが、「クローラーへの耐性」というチェック項目があります。この資料に書いてある以上の過剰なアクセスは避けた方が良いでしょう。

そのほかマナー的な点についても記載します。

>   1. 同一ホストへのアクセスは、最低1秒間くらい間隔をあけてアクセスする
>   2. 同一ホストへのアクセスは、複数同時アクセスを行ってはいけない
>   3. robots.txtの内容に従う
>   4. UserAgent情報を適切に設定する。(サイト管理者があなたへコンタクトできるように)
>

他参考資料

<https://speakerdeck.com/amacbee/pythondezuo-ruwebkuroraru-men>
CC BY-SA 3.0
2017-04-29T16:26:57.033
34381
2017-04-29T16:26:57.033
2168
34359
answer