2017-09-09とりあえず調べたWebページだけ共有します。後から資料をつけたりコメントつけたりしていきます。TOKYOスクレイピングScrapyを利用。デフォルトの設定で利用するとサイトへの攻撃になりかねないのでそこは変える。Gunosyデータ分析ブログタスク実行Airflowを利用。まともに使うのは結構辛い。Dockerイメージ配布中なのでそちらオススメ。Redashで可視化。RDBMS(SQL)ならRedashで、それ以外の実験的なものはJupyter。TOKYOシンガポールのAPIから得たデータから、地理情報を元に混雑状況を予測した話。Regression)から初めて、複雑なモデル(多項モデル→ランダムフォレスト)と進めていたのが面白かったです。着実に進めていた印象でした。TOKYOPythonで自然言語処理を行う話。TOKYO見てなかったけれど面白そうなので、後でチェックする。TOKYO脆弱性検査を行う際の攻撃用パラメーターの自動生成に関する取り組み。HTMLのサブセットとなる)独自言語として定義していたのが成功の秘訣だと思う。OpenCVのFloodfillを試してみた。顔認識HOGに基づくやつかな。Cifar10画像分類、顔画像から登場人物の判定に利用していた。枚数が少なめ(最大でも200枚弱/class)かなあ。slideship.comServerlessとIoT相性がいいらしい。Webサイトの変更を監視して通知したい。TOKYOデータサイエンスにおいて、実験の再現性を高めるための一要素である、データ取得の再現性を高めようという試み。データをクラウド上においておき(Redshiftとか)、そこからの取得がPythonコードで簡単にできればマシになるんじゃないかという考え方をしている。files大容量ファイルもGitで管理。