2021.03.23Webスクレイピングをするにあたって、まず考える必要があるのは欲しい情報をどのWebページから持ってくるか(どのWebページ情報が欲しいか)です。そこで使われるのがPythonが(ライブラリとして)持っているrequestsです。本記事ではrequestsについて理解を深めましょう!スポンサーリンク目次Webページが表示される仕組みReaestsの動きを見る前の準備!requestsの動きをみよう!次に理解することWebページが表示される仕組みWebページ表示の仕組みを知ることで、requestsの働きをより理解出来るようになります。自分が使っているパソコンから、サイトの情報を持っているサーバーに○○の情報をくださいとお願いしたあとで、パソコン上に表示される仕組みになっています。この自分が使っているパソコンから、サイトの情報を持っているサーバーに○○の情報をくださいとお願いすることを”リクエスト”といい、サーバーがリクエストに対して情報を渡すことを”レスポンス”といいます。これをPythonでしたいとなったときに必要なのが、次で紹介する”requests”というライブラリになります。Reaestsの動きを見る前の準備!Macを使用している方は”ターミナル”Windowsを使用している方は”コマンドプロンプト”もしくは”Powershell”を開きます。以下のコマンドを打ってEnterを押します。これによりいつでも自分のPCでrequestsを使える状態にします。requests次に”python”もしくは”python3′′と入力し、Enterを押します。これでPythonの動作確認が出来るようにします。python3ターミナル(コマンドプロンプト)の右側が>>>と表示されていれば、Pythonの動作確認が出来る状態になっています。これをインタラクティブシェルといい、コードを1行ごとに確認できます。requestsと打って、Enterを押してみましょう。>>>と何も表示されていなければ、OKです。requestsからやり直してみてください。requestsの動きをみよう!ここまでお疲れ様でした。ここからようやくrequestsの動きを観察出来るようになります!最初は設定で疲れちゃいますが、慣れるまでは毎回設定手順を見て、ゆっくりと進んでいきましょうね。今回は”はてなブログ”のURLを用いて遊んでみましょう。無料ブログを作成しようはてなブログは、無料でしっかり書けるブログサービスです。日々の生活から感じたこと、考えたことを書き残しましょう。requests.get("https://hatenablog.com/")と入力後Enterを押してみましょう。<response[200]>と表示されていればOKです。なるかと思いますが、これはお願いしたらちゃんと返事くれたよ〜ってことです。この数字(ステータスコード)が403とか500とかになっていると、ちゃんと返事が得られなかった。いうことになります厳密には数字はcodeといってそれぞれ詳しい意味を知りたい場合はgoogle先生にお聞きしてみてください先ほどのコードで返事はくれたわけ何ですが、中身がまだ我々が読める状態にありませんので、読めるようにしていきます。requests.get("https://hatenablog.com/")と打って、Enterを押す。この”=”は代入を表しており、右辺を左辺に代入するという意味になります。サーバーからいただいたお返事を”response”という所に置きました。print(response.text)と打ってEnterを押してみてください。すると、こんな感じの膨大な情報が表示されます。この表示されている文字がHTMLと言われる、Webページを構成している正体です。ここまでがrequestsの役割であり、サーバーへ欲しい情報を送ってもらうようお願いする。サーバーから情報をもらうこの2点を理解できれば、十分です!次に理解すること私たちはネット上に欲しい情報があれば、サイトを調べて、そこから自分の欲しい情報を取ってきますよね。requestsではサイトを調べるところまでをやりました。requestsの動きが何となくわかれば、次にやることとしてサイトの情報つまり、HTMLから欲しい画像、リンク、文字を取り出す作業が必要になります。Pythonでこの作業を行うのに使用するのが”BeautifulSoup“です。何とも美味しそうなスープ。名前がインパクト大なので覚えやすいですね(*゚▽゚*)今後BeutifulSoupについても改めて概要から説明できればと思います。本記事を読んでいただきありがとうございました。独学Python[Python]Pythonでファイルを保存する[初心者]何にでも言えることですが、勉強し始めの頃は結局何を目的にしてるのかを見失いことが重要になります。あれ、この処理の目的ってなんだったっけ。とい...独学PythonBeautifulSoupの役割、仕組みについて理解する[Python][Scraping]美味しいスープ、そそられますよね。個人的には春雨が入ったスープのブームが来てます本記事の目的はBeutifulSoupの役割、働きについて理解することですPythonを使ったWebスクレイピングとしてこれまで"requests"を使ってW...独学Python[Python]ここから始めよう!ファイルから欲しい情報を抜き取る!一連の流れでやってみる[初心者][スクレイピング]ある程度基本事項を学んだら、そこから何ができるのかが気になるところです。Pythonでおすすめなのが簡単なスクレイピング!今回はPythonを使って、Webページから欲しい情報を取り込んでみましょう。APIキーを使ってデータを取得していくので、まだ取得できてないよって方はこちらを参考にしてください。BINANCEの公式に従って進めていきます。認証がまだの方は先に認証を済ませておく必要があります。途中うまくいかなかったので、参考になれば幸いです。思ったことありますよね。私は会社でコードを書くようになるまで存在は知っていても、なんかあるんだね程度に思っていました。コメントをキャンセルメールアドレスが公開されることはありません。※サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。上に表示された文字を入力してください。メーカーに入社するも、やる気なく、上司と相性悪く、軽く病む、いや病む。前から”お金”について知識を蓄えておくべきだったと後悔。グ.お問い合わせタイトルとURLをコピーしました。