Hadoop

Hadoop – die Open Source-Plattform für Big Data!

Hadoop

Apache Hadoop, eine freie, in Java geschriebene Plattform für verteilt arbeitende Software hat sich zum führendenen Analyse-Tool für die Entwicklung von Big Data-Lösungen entwickelt. Hadoop stammt aus dem Hause Apache, aus deren Feder auch der weltweit führende Apache Webserver resultiert. Einige der bekanntesten Hadoop-Anwender sind beispielsweise Facebook, Twitter, Yahoo oder Amazon.  

Apache bietet mit Hadoop eine Software mit mächtigen Werkzeugen. Der herausragende Kern von Hadoop besteht aus dem äußerst leistungsfähigen Dateisystem „Hadoop Distributed File System“ (HDFS) im Zusammenspiel mit „MapReduce“ als Ablaufumgebung, wobei mittlerweile auch MapReduce-ähnliche Frameworks in das Hadoop-Cluster eingebunden werden können. Daneben existiert eine stetig wachsende Zahl spezifischer Instrumente (z. B. HBase, Hive und Cassandra), die auf Hadoop aufsetzen und die unterschiedlichsten Big Data-Szenarien optimal unterstützen.

HDFS

HDFS dient der Speicherung extrem großer Datenmengen in mehreren Datenblöcken. Durch die Anlage von Kopien dieser Blöcke steigert HDFS die Zuverlässigkeit und die Geschwindigkeit bei eingehenden Datenanfragen über einen Master oder bei Dateiablagen. HDFS kann entweder über nur wenige oder über Hunderte von Rechnern verteilt werden. HDFS ist so konzipiert, dass ein effizienter Betrieb mittels günstiger Standard-Hardware möglich ist; der eventuelle Ausfall einzelner Knoten wird verlustfrei kompensiert. Hadoop stellt somit die Basis für den Aufbau kosteneffektiver Lösungen, die mit „herkömmlichen“ Technologien (z. B. relationalen Datenbanken) gar nicht oder nur zu einem vielfach höheren Preis realisiert werden könnten.

MapReduce

Hadoop beinhaltet „YARN“, als Plattform für eine äußerst performante MapReduce-Implementierung. Der MapReduce-Mechanismus beruht auf dem bekannten MapReduce-Algorithmus, der von Google Inc. für deren extreme Big Data-Anforderungen entwickelt wurde. MapReduce erlaubt als Ablaufumgebung beiläufige Berechnungen riesiger Datenmengen auf Computer-Clustern.

Die Hadoop-Spezialisten von fun communications erstellen hochleistungsfähige und extrem skalierende Lösungen, die genau auf Ihre Big Data-Anforderungen konfektioniert sind.
Erfahren Sie mehr über Hadoop!