データ分析とか基盤系に興味あります。2020-07-06FluentdのFilterプラグインを使った日時変換fluentdFluentdのプラグインで日時変換した際の備忘録です。やりたいことFluentdで取得したログをBigQueryにいれるためにJSTをUTC変換して「+0000」も取り除く必要があります。</record></filter>その他の方法として、プラグイン側で用意してくれているInjectセクションとParseセクションの利用も検討しました。問題点としてInjectセクションは複数セクション定義できないことと、FilterセクションだとStdoutやExecのみサポートしており今回の用途には合いませんでした。Parserもログのタイプを細かく定義する必要があったので採用しませんでした。読者になる関連記事2020-05-28DigdagとEmbulkを使って並列処理をしてみるDigdagとEmbulkを使って並列処理を行った際の備忘録です。Engineについて少し調べたので備忘録として...2019-10-13Dataflowカスタムパラメータの追加方法:PythonDataflowテンプレートでカスタムパラメータを追加します。検索はてなブログをはじめよう!casekblogさんは、はてなブログを使っています。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。