MatsushitaTweetデータ統合を手がけるMIT発のベンチャー「Tamr」のCDOが、ビッグデータ活用に必要な「汚い仕事」について語る。Knudsen)氏のインタビューを紹介する。ナドセン氏は、チーフデータオフィサーとしてTamrのデータサイエンティスト部門を率いる責任者だ。TamrのCDO、エリオット・ナドセン氏Tamrが創業した経緯、会社の概要などを教えてください。Tamrは、MITのリサーチのひとつとして始まりました。それは2011年に始まって2013年に終わったプロジェクトなのですが、その結果としてTamrが起業されたわけです。そのプロジェクトは、Tamrの創業者のマイケル・ストーンブレーカーとアンディ・パーマーが様々なデータソースからデータを統合する問題に取り組んだものでした。ストーンブレーカーが取り組んだプロジェクトは20以上ありますが、その中で唯一、商用化されたのがTamrだったというわけです。会社としてのTamrには現在75名の社員がいて、そのほとんどはエンジニアです。ボストン市内のケンブリッジにオフィスを置いていますが、MITのすぐそばということで多くの社員が元MITの人間です。Tamrのビジネスはパッケージのソフトウェアを提供することではなく、顧客のデータを統合するためのプロフェッショナルサービスを提供することです。私のデータサイエンティストのチームがそれを行います。プラットフォームとしてはオープンソースソフトウェアを利用していると思うのですが。マイケル(ストーンブレーカー)はUCB(カリフォルニア大学バークレー校)でPostgreSQLの開発を始めた人間ですので、我々のオープンソースソフトウェアに対する姿勢は理解してもらえると思いますが、Tamrはオープンソースソフトウェアをプラットフォームの部分に数多く利用しています。プロプライエタリなソフトウェアもありますが、それはアプリケーションのレイヤーの部分に限定されています。それ以外は全てオープンソースで、HadoopやSpark、PostgreSQLなどを使ってシステムを顧客に提供しています。システムとしては機械学習も積極的に取り入れていますが、その部分にはSpark/MLlibなどを活用しています。Technologyなどのパートナーと協力することで解決できると考えています。中国の顧客のプロジェクトが始まっていますので、マルチバイトのデータについても問題はありません。それよりも実際のデータ統合に関しては、テクノロジーよりもカルチャーが障害になる場合のほうが多いのです。それぞれの国や企業の持つ文化的な側面が理由でデータが統合できないということがよく起こります。それぞれの企業では、だいたい複数のデータベースやERP、さらにETL(Extract、Transform、Load)のツール、ビジュアライゼーションのためのツールがすでに存在しているのです。Tamrは、それらを除外して新たに自社製のツールを強要することはありません。「あるものを使う」というのが方針です。それらをうまく活用して、データを統合することを目指しています。我々はデータを統合するという「古くからある問題を新しいやり方で解決する」ことをやっているのです。「すでにある車輪を再発明しない」ということですね。