データ分析とか基盤系に興味あります。jdbcコネクタを使いDataflowでジョブを実行してみました。SQLとDataflowを同一サブネット内に作りプライベートIPで接続を試みました。BeamのPythonでPostgreSQLからBigQueryに書き込めるか検証。検証したところJDBCをつかいPostgreSQLからBigQueryに書きこむことはできた。クエリの上書きはできなかった。TABLE」で実行されてします。PythonDataflowが解決するストリーミング処理の課題と基盤を作る上で考慮すべき点をいくつか資料を参考に備忘録もかねて整理してみました。Pub/Subの概要とPythonでの使い方を記事にしました。Clientを使いトピック・サブスクリプションの作成からメッセージ送信・確認まで行います。StorageからBigQueryに書き込む処理をします。ComposerでDataflowテンプレートを順次キックしていく逐次処理を行います。順番に処理が行われたことを確認するために前のDataflowのテンプレート実行し作られたファイルを参照する処理にしました。GCPDataflowで使うパイプライン処理の備忘録です。随時更新できればと思います。PythonDataflowテンプレートでカスタムパラメータを追加します。パラメータを静的に定義する方法とテンプレート実行時に動的にパラメータを指定する方法を紹介します。GCPGAEなどでDataflowのテンプレートの実行方法です。FunctionsでGCSのバケットに置かれたファイルを検知し、Dataflowのテンプレートをキックします。Functionsでファイル名を取得し、Dataflowのテンプレートに引数として渡します。PythonPythonベースで記述したDataflowのコードをテンプレート化し、実行してみます。テンプレートを作成するためには以下のコードを追記するだけです。コードを実行するとGCS内にテンプレートが作られるので、作成したテンプレートを実行してみます。PythonDataflowでPython3系を使って良さそうか調べてみました。FunctionsでバケットにアップしたファイルをBigQueryに書き込む処理をします。Application株価のアプリを作ろうかと考えてます。Soupでスクレイピングしようと思ったのですが、日経平均株価のサイトは年月日を指定することで数値が可変するサイトでしたのでSerenimでスクレイピングしました。PySparkDataprocの備忘録です。DataprocでGCSに配置したcsvファイルをDataFrameで読み込み分散並列処理する記事です。DataprocはGCP上でSparkやHadoopを実行できる環境を提供します。Pythonで行います。実際のコードはこちらにあげておきます。JupyterJupyterでGCSにあるファイルを読み込み、DataFrameとして扱う方法を紹介します。サーバにいちいちデータを落としたくない場合やディスク容量がない場合に使えるかもしれません。いつも通り完全に備忘録です。Jupyter今回はPythonで機械学習を行うために必要な環境構築の一連の流れを記事にしました。Notebook」を構築してみます。環境構築に関する記事を書いてみました。Dataproc]クラスタ上でDatalabを構築するメリットを実際のユースケースも考慮して書いてみます。クラスタ上でジョブを実行し、GCS内のデータを加工したいと思います。ML今回はモデルの性能を向上させるための手法、グリッドサーチの記事を書いてみました。ML今回はモデルの汎化性を評価するための統計手法である交差検証について記事を書いてみました。MLランダムフォレストで癌の良性・悪性を分類分類予測してみました。以前にChainerで同様の癌の分類問題を行ったので、比較してみたいと思います。一つである、ポアソン分布について記事を書きました。ポアソン分布の概要や実際の例題を解きながら理解を深めていきたいと思います。MLChainerで癌の良性・悪性の分類予測を試してみたいと思います。異なるグループ間の比較方法として「標準化」と呼ばれる統計的手法があります。同じテストの結果を比較することはは容易ですが、異なる科目のテスト結果の比較は点数だけでは判断できません。このような場合「標準化」は有益です。代表的な確率分布として正規分布や二項分布、ポアソン分布があります。本記事では二項分布と正規分布の関係性について、実際にPythonで例題を解きながら理解していきたいと思います。二項分布については以下よりご確認ください。1つである二項分布について、実際にPythonで例題を解きながら理解したいと思います。ML今回はニューラルネットワークの概念を理解し、Pythonでニューラルネットワーク構造を実装し理解したいと思います。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。