起動できそのままスクレイピングした内容をDjangoに保存して、管理・公開できるというツールの紹介です。考える人は多いのではないでしょうか?その後、作成したデータをデータベースに入れて、加工して、ラベルを付けて。やることがたくさんあります。通してウェブページでラベルの設定を行うことを想定したツールを作ってみました。ウェブページで公開できれば外注化もできますからね!ただのラベル付けをするだけのサイトなのでいらないような気はするのですが、HTTPS化もできるようにしています。その他にも、スクレイピングをしてきて何かしら加工をして、ウェブページとして公開するのも一つかと思います。インストールされている環境を想定しています。Dockerを全く触ったことがない人はこちらのツイートをご参考ください。いう単語を聞いたことはあるけど触ったことのない人におすすめ。Dockerはどんなもので、どんな使い方をするのかが12分で分かる動画です。説明は英語ですが英語が苦手な人は日本語字幕でも見れます。2018Djangoを起動してみるまずはリポジトリからクローンします。https://gitlab.com/sleepless-se/selenium-with-django.git作成されたフォルダの中に移動します。selenium-with-djangodocker-composeを起動します。無事にDjangoのトップページが表示されればDjangoの準備は完了です!後はお好みに合わせてDjangoを設定してください。いうフォルダがDjangoプロジェクトのディレクトリです。アプリケーションは作成していないので、後はお好みで!Seleniumを起動してみる続いてSeleniumを起動します。こちらのコードを実行してdjangoのコンテナの中に入ります。/bin/bashコンテナの中に入ったら下記を実行します。いうサンプルファイルを置いているのでこれを実行します。Python.orgと表示されればSeleniumの起動成功です!http://www.python.orgのタイトルを取得してprint()しています。stopで停止します。downで停止と削除が同時にできます。Seleniumがエラーで停止した場合エラーで停止するとSeleniumがそれ以降動かなくなります...なので、再起動が必要です。restartで再起動できます。Djangoを利用できます。Djangoとデータベースもすでに接続済みなのですぐに使い始められます。「Seleniumで取ってきた情報をデータベースに保存してDjangoで利用する」この流れが簡単にできると便利なのではないかと思い作成しました。known)")というエラーが出た場合はデータベースのホストを’127.0.0.1’に変更してご利用ください。現在は『アイデアをカタチにする』ことが仕事です。コメントデータの処理方法の詳細はこちらをご覧ください。独立(7年目)現在は『アイデアをカタチにする』ことが仕事です。Storeをインストールする方法[Python]MeCabで誰でも簡単に分かち書きをする方法おすすめ便利ツール2行でできる物体検出(YOLOv3)物体検出APIが使えるようになります。初心者でも物体検出の独自モデルを作成できます。flask-uwsgi-nginxで簡単API作成Flaskを使ったAPIを簡単に作成できます。Docker-Django-HTTPSDjangoを無料でHTTPS化でデプロイできます。Nginx,uWSGIも設定済み。Docker-Selenium-GridDockerを使ってSeleniumをすぐに使い始められます。Selenium-with-DjangoSeleniumでスクレイピングした内容をDjangoと簡単に連携させられます。APIGmailAPIをすぐに使い始められます。サイト内検索サイト内の記事に含まれるキーワードで柔軟な検索ができます。