ビッグデータを複数のマシンに分散して処理できる、オープンソースのプラットフォームである。対応といった煩雑な作業を、Mapper、Reducerと呼ばれる2つのスクリプトを作成するだけでまかない、容易に大規模データの分散処理を実現する。2004年にGoogleが論文で発表した独自の分散処理フレームワーク「MapReduce」をもとに開発が始まり、現在は、HadoopはApacheのトップレベルプロジェクトのひとつとして、世界規模の開発貢献者コミュニティによって開発が続けられている。Hadoopは、アプリケーションが数千ノードからペタバイト級のデータを処理することを可能にするが、オーバーヘッドが大きく、パフォーマンスが求められるリアルタイム処理には向かない傾向がある。パフォーマンスが求められる分散処理プラットフォームとしては「Spark」がある。そのほかのHadoopの特徴は、次のとおり。■データ量に応じたスケールアウトが可能。Hadoopは、シンプルながら、さまざまな処理に柔軟に対応できるプログラミングモデル「MapReduce」と分散ストレージ「HDFS」で構成されており、スケールアウトを前提として設計されているため、サーバ台数の増加に応じて性能を上げていくことが可能となる。■スキーマ定義が不要。「HDFS」にデータを格納する際にはスキーマ定義が不要であるため、事前の設計の手間を低減できる。Hadoopでは処理するタイミングで意味づけを行うため、とりあえずデータを格納し、処理の方針が決まった段階でデータの扱い方を定義することができる。■高い耐障害性がある。Hadoopには専用ハードウェアや特別なスペックが必要なく、市販のサーバを利用できるため、基盤構築の費用を抑えることができる。故障発生を前提としたアーキテクチャであり、耐障害性が高い。複数のマシンを1つのストレージとして扱うことができるため、一部のマシンが故障してもデータが失われないように設計されている。一部のノードが故障した場合でも、すぐに別のノードへ処理を振り分けることが可能である。■あらゆる言語でスクリプトを作成することができる。HadoopのフレームワークはJavaで書かれているが、標準入出力を持つ言語であれば、あらゆる言語でスクリプトを作成することができる。Sparkベース」の分析プラットフォーム。Sparkをベースとする分析サービス。「高速」「使いやすい」「コラボレーション性」などの特徴があり、ビッグデータ分析ソリューションやAIソリューションを構築できる。Databricksは、コラボレーション対応可能な統合環境を提供し、「Sparkでのデータ探査」「プロトタイプ作成」「データドリブンアプリケーション実行プロセス構築」などを行える。規模を問わずさまざまなデータを集約することで、「分析ベース」「分析ダッシュボード」「運用レポート」などを作成できる。Databricksアーキテクチャを利用すると、規模を問わずあらゆるデータを結合し、カスタム機械学習モデルを構築できる。「各種ストリーミングソース」や「Webサイトクリックストリームログ」などから継続的にデータを取得して、ほぼリアルタイムの分析情報を得られる。Sparkテクノロジーをベースとしている。Spark創始者たちと共に設計されたもので、Azureに最適化統合している。Spark環境をすばやく組み込む。Databricksには、Spark機能として次のコンポーネントが含まれている。Databricksでは、分析プロジェクトや機械学習プロジェクトを簡単に自動スケーリングできる。Databricksでは、言語やディープラーニングフレームワークを自由に選択して機械学習ソリューションを構築できる。Databricksは、エンタープライズレベルのセキュリティを提供する。Directory統合)」と「ロールベースアクセス制御」により、詳細なユーザー権限設定を行える。Databricksは、Azureのデータベースやデータストアと深いレベルで統合できる。reserved.このページに掲載されている記事・写真・図表などの無断転載を禁じます。著作権は情報提供者に帰属します。掲載している情報は、記事執筆時点のものです。