開発本部でQAエンジニアを担当しています。BIに関連した実践ネタです。BIがどういったサービスで、どんなことができるのか、みたいなお話はすっ飛ばしてしまいますがご容赦くださいませ。この記事は以下のような困りごとをお持ちの方に刺さるかもしれません。BIで確認できる仕組みを構築しています。BIがデータソースを集計してWebブラウザ上で表示してくれる仕組みです。BI自体が担ってくれるので、とてもかんたんです。BIの運用が軌道に乗って集計するデータセット(データの集合体)が増えてくると、ちょっとめんどくさい課題が発生しました。同じデータソースなのに、データセットが異なると、それぞれで集計しないといけない!!!図にすると、こういうことです。データセットはそれぞれが「独立した箱」で、仮に同じデータソースを集計していても「箱」に入れる時点で別物の扱いになってしまうのです。そのため、せっかくデータセットAの方で集計しても、データセットBには最新のデータが反映されません。データセットBも最新データにするためには、あらためて集計(更新)する必要があります。BIにはスケジュール更新機能があるので、それぞれのデータセットで更新スケジュールを設定すれば、運用上の手間は軽減することができます。一方で何度も同じデータソースを集計するのは仕組みとして非効率。効率的にすべてのデータセットを最新データにしたいところです。データセットからデータフローへ上記の困りごとを解決するための仕組みが「データフロー」です。データセットが「独立した箱」だとすると、データフローはかんたんに言ってしまえば「共有できる箱」だと認識しています。図にすると、こういうことです。このような構成にすることで、データフローが集計した最新のデータをデータセットから参照することが可能となります。今後データセットC、データセットD・・・と同じデータソースを集計する成果物を作る際には、このデータフローを参照して必要なデータだけ持ってくれば良いので、非常にカスタマイズが容易になります。「データフロー」を使用するためには、以下の条件を満たしている必要があります。Premiumの共通ワークスペースを作成していることデータフロー更新をトリガーにデータセットを更新しようさて、データフローを導入したことで、何度も同じデータソースの集計をする必要がなくなりました。一方で、「データフロー/データセットの更新」という点では別の課題が生まれます。データフローとデータセットはそれぞれが「別の箱」なので、結局はそれぞれを更新する必要があります。2データフロー更新完了後、データセットを更新という手続きを取らなければなりません。BIのスケジュール更新機能はあくまで時間をトリガーに更新するだけなので、データフローの更新完了をトリガーにデータセットを更新するといった器用なことができないのでした。「ん!?見出しと違くね!?」と思った方、安心してください。Automateというサービスで実現可能です。プラットフォームです。BIのデータセット更新を自動的に行う」フローを作成することができます。Automateの無料ライセンスでも実現が可能です。無料ライセンスだとトリガーの実行間隔が15分間隔という制限事項があります。15分間隔だとタイムラグが・・・という方は、有料ライセンスにすることで実行間隔を短縮することができるようです。BIをより効率的に運用する実践ネタをご紹介しました。分離独立したデータセットをデータフローに統廃合したことで、重複していた集計時間を大幅に削減することができました。不要な繰り返し集計が無くなり集計リソースにゆとりが生まれたことで、結果的に集計のパフォーマンス自体も良くなったような印象があります。今後の保守性、拡張性が大いに改善されたことが、運営チームとしては大きいなーと感じています。Cloudを弥生のiOS開発に導入してみたこんにちは、iOSアプリエンジニアの市毛です。...2020-02-03Redashから始める計測生活Misoca開発チームの黒曜(@kokuyouwind)です。先週の土曜日に富...2019-10-25SlackワークフローとRubotyで最高のChatOps生活をMisoca開発チームの黒曜(@kokuyouwind)です。弥生は第23回Quesに協賛します。引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。