>tech【まとめ】勉強のために、各社の社説を収集してデータベース化する2022年11月5日はじめに企画が終了したので、後々の利便性も考えてまとめておきます。この投稿は、pythonで各新聞社の社説を楽して収集するために作成したプログラムの作成過程をまとめています。簡単な仕様要求と設計のまとめから実際に実装する流れを、追うことができます。具体的な実装はseleniumを利用したブラウザ経由で動的なページ情報を収集する版と、requests・BeautifulSoupdeで静的なページを収集する版の2つを作成しました。作成中のエラーで躓いた部分なども書いたので、興味がある方は参考にしてみてください。データベースと銘打っていますが、実際はデータベースへの格納をいつでもできる形にして、格納自体をするようには実装しませんでした。理由はテキストで保存していたほうが、取り回しがよかったからです。当初の仕様や設計と最終成果物が異なる部分や、途中で追加が必要になった機能など個人製作ならではの変遷もご覧いただければと思います。勉強のために、各社の社説を収集してデータベース化する久々にプログラムネタで行きます。データベースを操作する練習と、時事の勉強を兼ねて新聞社の社説を毎日取得してデータベースに格納するプログラムを目指します。その2前回の続きです。管理人の環境にMySQL環境を作るところから始めます。その3タイトルの通り、続き物です。企画自体についてはこちらをご覧ください。前回は、WindowsにMySQL環境を作成して終わりました。今回は実際にPythonからデータベースを操作できるかを試します。その4更新が滞ってましたが、いい加減に進めようと思いまして、本日更新。企画はこちらをご覧ください。本日は実際に新聞社から社説をぬきだすところまで記載します。その5一連の投稿(勉強のために、各社の社説を収集してデータベース化する)の続きです。今回は取得したデータを整形する機能について考えていきます。その6今回は前回に構想立てたテキストからDBへの書き込みを行うところを先に作っていきます。テキストファイルの作成は順番が前後しますが、次回以降に投稿しようと思います。