Apache Hadoop
Apache Hadoop – otwarta platforma programistyczna napisana w języku Java przeznaczona do rozproszonego składowania i przetwarzania wielkich zbiorów danych przy pomocy klastrów komputerowych. Jest jednym z projektów rozwijanych przez fundację Apache. Wszystkie moduły Hadoop zostały zaprojektowane z założeniem, że awarie sprzętowe są rzeczą naturalną i powinny być automatycznie obsługiwane przez framework.

Apache Hadoop składa się z następujących modułów:
* Hadoop Common – biblioteki i narzędzia używane przez pozostałe moduły;
* Hadoop Distributed File System (HDFS) – rozproszony system plików;
* Hadoop YARN – platforma do zarządzania zasobami klastra;
* Hadoop MapReduce – implementacja paradygmatu MapReduce do przetwarzania dużych ilości danych.

Określenie "Hadoop" często jest używane nie tylko w odniesieniu do powyższych modułów, ale także do całego "ekosystemu" aplikacji, które mogą być używane w połączeniu z Hadoop: Apache Pig, Apache Hive, Apache HBase, Apache Phoenix, Apache Spark, Apache ZooKeeper, Cloudera Impala, Apache Flume, Apache Sqoop, Apache Oozie, Apache Storm.

Moduły MapReduce i HDFS zostały zainspirowane materiałami Google na temat ich implementacji MapReduce i ich rozproszonego systemu plików Google File System.

Jeszcze zanim osiągnął wydanie stabilne, był już wykorzystywany w poważnych zastosowaniach (Amazon, AOL, Facebook, Yahoo).

Autorami projektu są Doug Cutting oraz Mike Cafarella.
Q1130645
otwarta
Concept
Q271680
platforma programistyczna
Concept
Q251
Java
Concept
Q180634
przetwarzania
Concept
Q206637
klastrów komputerowych
Concept
Q489709
fundację Apache
ORG
None
Hadoop MapReduce
UNK
Q567759
MapReduce
MEDIA
None
Apache Pig
UNK
None
Apache Hive
UNK
None
Apache HBase
UNK
None
Apache Phoenix
UNK
Q7573619
Apache Spark
MISC
None
Apache ZooKeeper
UNK
None
Cloudera Impala
UNK
None
Apache Flume
UNK
None
Apache Sqoop
UNK
None
Apache Oozie
UNK
None
Apache Storm
UNK
Q95
Google
ORG
None
Google File System
UNK
None
Doug Cutting
UNK
None
Mike Cafarella
UNK
Q29120
Apache Hadoop
MISC
Q29120
Apache Hadoop
MISC
instance of
programming language
use
developer