データベースへの格納はいつでもできるので、とりあえず前半の完成版として投稿します。Xpathの安定性をしばらく見てみたいと思います。その8前回からずいぶん間が空きましたが、連載企画です。この企画立ち上げてそれなり動くプログラムを作り上げて、これまで安定性を確認してきました。今回はその結果報告です。あまりにもseleniumだと動作が遅いので、スクレイピングプログラムをrequestsとBeautifulSoupを利用した版に書き直してみた。その10長い期間続けてきた本企画ですが、ほぼ形が整ったので、いったん今回で最終回になります。追加編その1認証付きのページを突破できるように改造したのでシリーズに追加。注意ポイント実際に利用する場合は各新聞社のスクレイピングの可否とwebページ構造をご自身でご確認いただき、ご利用ください。colaboratory上のコードを具体的な新聞社を抜いて貼り付けます。colaboratory上で外部保存の権限を取得するコードをまず実行してください。BeautifulSoupによる実装(静的ページの取得)実装の説明は連載記事の9回あたりをご覧ください。colaboratory上で使う場合は、第10回を参照して特別なpipをまず実行してください。その後以下のプログラムを実行します。実装の説明は例によって、連載をご覧ください。print(e)あとがき今回は各新聞社の社説をスクレイピングするプログラムを作成しました。意外と新聞のページを毎日回るのが面倒だったので、一気にとってくれるプログラムがほしいなーと思ったことが始まりです。一応仕様もどきを定めて作り始めたものの、やはり当初予想通りはうまくいかないものですね。これは実際の現場に出ていてよく味わう経験です。それでも最終的な成果物は思った以上に便利なものになったので満足しています。職業柄、普段は要求仕様を考えて設計し、実現方式をひねり出すところまで行い、残りは検証をマネジメントする完全な上流工程の場にいるので、自分でプログラムを書いていかないと勘が鈍ります。何より作ったものが思った通りに動いてくれるのはやはり楽しいですね。今後も身近なできたらいいなを実装に落とし込みつつ、楽しくスキルアップしたいと思います。Udemyでのオンライン学習も狙います。セール中はさらに狙い目です。その2Docker環境構築に関するトラブル談のその2です。見てない方は前回をご覧ください。techDocker環境構築の雑記7月から会社の関連で急遽Dockerを利用することになった。はまったりしたので、あとで見返すためにもはまった内容と解決方法を記録したいと思います。年も変わったので、技術ネタを投稿します。管理人は、技術屋の端くれなので、新規の技術に興味があります。いうわけで、個人的に2023年の注目の技術を紹介します。追加編その1認証付きのページを突破できるように改造したのでシリーズに追加。その10長い期間続けてきた本企画ですが、ほぼ形が整ったので、いったん今回で最終回になります。検索1勉強のために、各社の社説を収集してデータベース化する久々にプログラムネタで行きます。データベースを操作する練習と、時事の勉強を兼ねて新聞社の社説を毎日取得してデータベースに格納するプログラムを目指します。...2ソフトウェア開発の経験(仮想化時の時刻ずれ)技術ネタ。仮想化技術は便利だが、思わぬ落とし穴があることを実感したことについて書いてみます。今回のネタは最近開発しているシステムで発生した問題です。