Databaseのデータ連携の勘所2011年6月24日(金)Tweetオープン・ソース(OSS)のデータベース・サーバー・ソフト「PostgreSQL」の人気が高まっている。ライセンス・コストが必要ないことや、メーカーのサポート事情に左右されず、長期にわたって使い続けられるといったOSSのメリットが、データベースの世界でも確実に根付きつつある。一方で、PostgreSQLには課題もある。既存システムとのデータ連携・統合が難しいという問題である。Databaseを採用した基幹システムが存在しており、これとPostgreSQLを採用した業務システムを連携させて運用することが難しい。この課題を解決するソフトが、異なるシステム間のデータベースを連携・統合する、データ統合ソフトである。SA)は、OSSのデータ統合ソフトであり、PostgreSQLと組み合わせやすい。Databaseをデータ連携させる方法を、Webオンライン・セミナーのかたちで実施する。PostgreSQLの課題は、既存システムとのデータ連携そもそも、Talendのようなデータ統合ソフトが登場した背景には、異なる複数のシステム間でデータベースをデータ連携させることが難しい、という状況がある。基幹システムのデータを別の目的に活用したくても、簡単ではないのだ。Databaseで構築されている場合が多い。一方で、こうした基幹システムとデータ連携する業務システムには、OSSのメリットを生かしてPostgreSQLを採用したい。Databaseをデータ連携させる需要がある。Databaseの混在環境には、主に2つのパターンがある。Database)を配置し、このデータを参照・更新するフロントエンドの業務システム(PostgreSQL)を複数用意する、というパターン。1つは、基幹システムのデータをDWH(データ・ウエアハウス)などの情報系システムに持っていって活用するパターンである。Databaseの混在環境では、データベース間でデータを連携させることが難しい。Databaseにデータを反映させる場合、データベースの項目の関連付け(マッピング)や値の変換などを手動でやる必要がある。データ連携だけでなく、システム連携の手段も手動となる。CSV(カンマ区切り)テキストでデータを渡したり、トランザクション・ログを別のデータベースに読み込ませてデータを反映させたりする必要がある。データ統合ソフトで異機種データ統合を支援するデータ連携を自動化するのが、Talendのようなデータ統合ソフトだ。Databaseのデータ連携は、もっとも需要が大きい形態だが、これらに限らず、どのようなデータ・ソースであっても、データ統合ソフトを使うと、相互に連携させられる。Database同士のように標準機能だけでデータを連携させられるケースでも、Talendを間に挟むことで、より簡単に連携させられる。実際に、データ統合ソフトの導入効果は高い。アシストが取り扱いを始めたのは2011年2月と最近のことだが、それ以前からTalendは、国内の著名ユーザーによって使われてきた。した代表的な事例が、マブチモーター株式会社と三菱UFJインフォメーションテクノロジー株式会社である。マブチモーター株式会社は、部品表データの入力システム(Windows)と、基幹系の部品表管理システム(AS/400)との間で、Talendを使ってデータ連携させている。三菱UFJインフォメーションテクノロジー株式会社は、マスターとなる人事データを他システムで利用する際に、Talendを用いてETL(抽出・データ変換・登録)を行っている。データ統合ソフトで効果を挙げた事例。マブチモーター株式会社は、部品表データの入力システムを基幹システムから分離した(上図)。三菱UFJインフォメーションテクノロジー株式会社は、基幹の人事データを他システムで利用できるようにした(下図)TalendはJava環境で利用できるOSSのデータ統合ソフトTalendは、Java環境で動作するOSSのデータ統合ソフトである。RCPを使用)、データ連携・統合プロセスをノン・プログラミングで設計できる。加えて、ビジュアル開発の成果物は標準のJavaのコードであるため、修正や再利用なども容易である。データ連携・統合プロセスをノン・プログラミングで設計できる(クリックで拡大)OSSであるため、ライセンス費用やソースコード開示、開発コミュニティによるサポートの面でメリットがある。ライセンスは、無償版と、企業向けの有償版(サポート付きのサブスクリプション・ライセンス)を用意した。有償版の価格は、Talendを利用する人数で課金されるライセンス体系となっており、従来の有償ソフトがCPUコア数や接続単位で課金していく体系とは一線を画す。無償版は、アシストのWebサイトからもダウンロードできる。アシストを介してダウンロードした場合、Talendの使い方を日本語で書いたガイドや、日本語のチュートリアルなどが配布パッケージに同こんされている。アシストの配布パッケージには、Talendの操作手順を日本語で書いたガイドが含まれる(画像のクリックでダウンロード・ページを参照)開発コミュニティによって、随時、機能拡張が行われている。データベース接続用アダプタ(コンポーネント)として、標準で用意されている約450種のアダプタに加えて、コミュニティによって約150種のアダプタが提供されている。これにより、著名なデータベース・サーバーや業務アプリケーション、Webサービスまで、ほとんどのデータ・ソースを互いに連携させて統合できる。中核機能のデータ統合(ETL)を簡単に設定・利用するTalendは、以下の3つのソフトで構成する。Edition」)、---である。Studioは、異なるシステム間でデータを連携・統合するETL(抽出・変換・登録)/EAI(アプリケーション統合)ソフトである。フロー(ジョブ)を定義して、スケジュール・バッチとして実行する。異なるデータベースにまたがって、それぞれの項目同士を線でつなぐことで、データを連携させることができる。したデータ連携の単位を個々のジョブとみなし、これらのジョブをフロー図にまとめ、一連の処理として定義できる。これをスケジュールに合わせてバッチ処理として実行する。Capture(CDC)である。Databaseのデータ連携を容易に実現できる。CDCによるシステム連携手段は、2つある。(a)1つは、特定の条件に応じてデータベース・サーバー側で実行するプログラムであるトリガーを用いるもの。所望のテーブルにデータが書き込まれた際に、その内容を、ログとして専用のテーブルに書き込むよう設定しておく。Databaseのトランザクション・ログであるREDOログを利用するものである。DatabaseのREDOログを、定期的に見に行く。ここで、データの追加や更新などの変更があった場合に、変更内容(SQL)をルールに合わせて変換したうえで、移行先データベースに登録する。Profilerは、データ・クレンジング・ソフトである。データの修正や、要らないデータの消去などを実施して、データ品質を高める。具体的には、ユーザー・データの重複を省く名寄せ処理や、住所データの表記ゆれの統一処理などを実行する。Databaseをデータ連携させる方法を紹介するWebオンラインセミナーを実施する。セミナーの主な対象は、「OSSに興味があるものの、不安を抱いているOracleユーザー」。どのような連携手法があって、どのようなメリットが得られるのかを、30分の時間の中で分かりやすく解説する。Weekly」の配信サービスを提供しています。メルマガ会員登録を済ませれば、メルマガだけでなく、さまざまな限定特典を入手できるようになります。ITがお届けするポッドキャストです。