それが私自身のウェブサイトだとしましょう。
それがあなた自身のウェブサイトであれば、情報を取得するより良い方法は、代わりに情報のソース、使用しているサーバーに移動することです。コードを提供し、Web上のデータと自動的にやり取りするより安全な方法に向けないようにすることで、私は不利益を上げます。私が推奨するライブラリは、当然のことながら、所有者の制限にウェブサイトのデータを使用するのを支援する一般的な保護者であるWebサイトの「robots.txt」ファイルのデータを尊重することで、これに対処することをお勧めします。