Factoryは、一般的にはETLと呼ばれるカテゴリの製品ですが、単なるETLに留まらない豊富で便利な機能を持っています。データ分析(アナリティクス)やDX(デジタルトランスフォーメーション)においては、収集してきたデータを加工・統合し、分析可能な形に整えて蓄積するデータ統合プラットフォームは欠かせない構成要素となっています。流れを解説いたします。Factoryで少ないデータから連携・活用まで試してみることをオススメします。企業がデータを簡単に統合できるAzureベースのサービスです。コードを一切書かずにデータを統合・加工することができ、ビジネス活用できる情報に変換することが可能となります。Factory”と名付けられました。Factoryでは90を超える組み込みコネクタが提供されています。等)を意識することなく、様々なデータソースを視覚的に統合し、ETLやELTプロセスを簡単に作成することが可能です。Analyticsなどの分析ツールに提供し、BIツールなどから活用することができます。Factoryを使用することで、コーディングなしで複雑なデータ統合プロセスを視覚的に構築し、段階的にETLプロセスの開発やデリバリを進めることが可能になります。MonitorやAPなどを利用してデータ取り込み・加工の処理をを監視し、成功率や失敗率を確認することもできます。Transform)は、いずれもデータを収集し、分析可能な形式に加工するためのプロセスです。ETLは、データをソースから抽出(Extract)し、必要に応じてデータを変換(Transform)してから、最終的にデータウェアハウスやデータベースなどに読み込む(Load)のに対し、ELTは、データをソースから抽出(Extract)した後、すぐにデータウェアハウスやデータベースに読み込み(Load)、必要に応じて後からデータを変換(Transform)する順序をとります。一般的にETLはデータの品質と整合性を確保するのに適している一方で、ELTはスケーラビリティと処理速度の面で利点があるとされています。ExadataやTeradata)、SaaSアプリケーション(Salesforce、Marketo、ServiceNowなど)からデータを収集することが可能です。コードなしでデータ変換ストレージに保存されているデータを自動・手動で変換することができます。Sparkの専門知識を持たなくても、複雑なデータ変換タスクをGUIで直感的に設計し実行することが可能です。Learningなど、さまざまなAzureサービス上で複雑なデータ変換を手動でコーディングし実行することも可能です。モニタリング機能スケジュールされたデータ処理アクティビティやパイプラインの実行状況をリアルタイムで追跡し、成功したタスクと失敗したタスクを把握することができます。portalなど、複数のツールで実行でき、必要に応じてパイプラインの最適化や調整につなげることが可能となります。※パイプラインとはタスクの処理や関連性、アクティビティを連携させて可視化した論理的なグループのことを指します。Factoryの専門用語が他にもいくつかあります。詳しく知りたい方は、下記の資料にて解説していますのでどうぞご参照ください。Factoryは、オンプレミスのサーバーやクラウドのストレージなど、さまざまなデータソースを接続して、データを一元管理することができます。サイロ化したデータを統合し、結合・加工など必要な処理を実施することができるため、データの一元化やデータ分析の効率的につながります。Factoryは90以上の組み込みコネクタを提供をしています。ExadataやTeradataなどのエンタープライズデータウェアハウス、さらにはSalesforceやMarketoなどのSaaSアプリケーションまで、幅広いデータソースに対応しています。これらのコネクタを使用して、追加費用なしで多様なデータを統合することができます。Factoryは従量課金制を採用しており、初期投資を必要とせずにサービスを開始することができます。Factoryではじめ、ニーズに合わせて拡大させる使い方が可能です。Factoryは一般ユーザーから開発者向けまで、スキルに応じて柔軟に活用することができます。一般ユーザーは、ドラッグ&ドロップでデータパイプラインを作成し、開発者はカスタムコードを使用して複雑なデータ統合のワークフローを作成することが可能です。ServerをAzureに移行する際の負担を軽減することができます。異なるソースから収集された自社独自のデータがビジネスの洞察を得る重要な資源となります。このデータは多くの場合、オンプレミスのシステムやクラウドベースのストレージに散在し整理されていません。Factoryでデータ取得と加工を自動化ファイルサーバー、データベース、クラウドストレージなどさまざまなデータソースから未整理のデータを抽出し、分析に適した形式に変換する処理を作成します。データ抽出・変換の処理はスケジュール機能で定期的に実行し、継続的にデータの統合管理します。その後BIでの可視化やデータサイエンティストによる分析、LLMへのつなぎこみなど実施したいデータ活用につなげることが可能になります。データ変換のために常にコードを書く運用だと、時間と労力がかかるデータ変換は、データ分析や活用を進めるうえで重要な役割を果たします。コードを書いてデータ変換を行う方法だけでは、改善・見直しスピードが遅くなったり、属人化・メンテナンス工数の増大につながってしまいます。データフローで、ドラッグ&ドロップ操作でデータパイプラインを構築し変換ロジックを実装します。変換結果は監視ツールでモニタリングし、エラーや例外処理などのメンテナンスを実施します。データ変換にかかる時間が大幅に短縮され、ビジネスインサイトの抽出が迅速に行われます。Factoryで構成するデータ統合基盤の主なコンポーネントを図示します。Factoryが中心にあり、その前後にデータソースとデータ格納先が存在する構成になります。Severなどのデータベースやその他のデータベース、テキストや画像などの非構造データ、SaaSアプリケーションのデータなど多種多様なデータが利用できます。Factoryを利用することで、これらのデータを簡単に抽出・収集することができます。オンプレミスとの接続はVPN、ExpressRoute(閉域網)またSaaSとの接続はインターネット経由になります。Databaseを利用します。BIなどのBIツールでの分析をはじめとした各種分析に利用することができます。AIモデルの構築にも利用できます。Factoryの作成方法を解説します。Factoryですが、導入費用はどのぐらいかかるのでしょうか。費用の試算に必要なのは、アクティビティとパイプラインの実行量です。アクティビティとはデータに対して実行する処理のことです。パイプラインとは、連携して実行する一連のアクティビティの論理的なグループのことです。月額コストに含まれる要素とその価格を示します。これらは初期費用なしで、使用量に基づいて課金されます。パイプライン、アクティビティ、トリガー、デバッグの実行の監視***操作には、作成、読み取り、更新、削除、エンティティには、データセット、リンクされたサービス、パイプライン、統合ランタイム、トリガーが含まれる**監視操作には、パイプライン、アクティビティ、トリガー、デバッグの実行の取得と一覧表示が含まれるなお非アクティブなパイプライン(定義されているが1カ月間に1度も実行されなかったパイプライン)には、月額$0.80が課金されます。最後に構築や保守およびメンテナンスに関するご支援を弊社が承る場合の費用をお示しします。データにより価格が変動しますので、詳しくは弊社担当営業にご相談ください。FactoryはAzure上で提供されるETLツールですが、一般的なETLと比較すると以下のアドバンテージを持っています。Factoryを活用する際は、スモールスタートが始めるのをオススメします。データを活用する目的をしっかり考えて、その目的を達成するためにどのようなデータが必要でどのように加工すればよいかを確認します。Factoryを導入し、必要なデータと加工処理を設定します。最初は少人数から始めて徐々に利用者を増やし、1つの部門で軌道に乗れば、他の部門に横展開していきます。最終的なゴールは継続的でリアルタイムな分析および判断が全社的に行われるようになることです。Factoryをより詳しく知りたい方は是非概要資料もご活用ください。Azure活用に関する有益な情報を皆様にお届けしていきます。Azureに関する疑問点などお気軽にご相談ください。ブログにしてほしいネタなどのリクエストもお待ちしております。※サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。Preferences。