Übersicht
Big Data für Unternehmen
Apache Hadoop & Spark
Data Engineering mit Apache Spark
Data Science mit Apache Spark
Zielgruppe
Dieser Kurs richtet sich an Software-Entwickler und Architekten, die einen Überblick über gängige Technologien im Big Data Kontext erlangen wollen.
Agenda
Anhand vieler praktischer Übungen erhalten die Teilnehmer einen ersten Einblick in das Hadoop Öko-System mit seinen wichtigsten Komponenten und Werkzeugen. Ein besonderes Augenmerk gilt dabei auch auf das Framework „Apache Spark“. Neben der klassischen Batchverarbeitung wird auch die near-time Datenverarbeitung mit Kafka und Spark behandelt.
Insgesamt werden die folgenden Themen behandelt, wobei die Agenda auf Ihre Bedürfnisse zugeschnitten wird.
- Hadoop Einführung, Architektur und Ökosystem
- Das Hadoop Filesystem (HDFS)
- Map/Reduce – Das Paradigma zur Datenverarbeitung in Big Data
- YARN Resource Manager
- Spark – Das Big Data Framework für Data Engineering
- Hive/Impala/Presto – SQL Query Engine für AdHoc-Anfragen
- Kafka – Streaming im Big Data Kontext
- Sqoop – Die Brücke zwischen SQL Datenbanken und Hadoop
- HBase – Die Hadoop-basierte Datenbank
- Oozie – Workflows planen
- Hadoop Distributionen – Cloudera, MapR
- Hadoop in der Cloud – AWS, Azure, GCP, DataBricks, …
Benötigte Kenntnisse
Die Teilnehmer sollten grundlegende SQL Kenntnisse besitzen. Programmierbeispiele für Apache Spark in Python umgesetzt. Die Erfahrung zeigt, dass sich Teilnehmer mit Kenntnissen in anderen Programmiersprachen schnell in Python zurechtfinden.
Technische Voraussetzung
Da der Kurs sehr viele praktische Übungen beinhaltet, sollten die Teilnehmer über eigene Rechner verfügen. Um ein möglichst realistisches Erlebnis zu ermöglichen, erhält jeder Teilnehmer ein eigenes kleines Cluster innerhalb der Amazon Cloud, der Zugriff erfolgt über SSH und den Web-Browser. Damit wird neben einem Web-Browser auch keine weitere Software auf den Computern der Teilnehmer benötigt.
Veranstaltungsort und Sprache
Der Kurs ist als In-House Schulung bei Ihnen vor Ort angelegt und kann wahlweise in deutscher oder englischer Sprache durchgeführt werden. Zudem kann die Schulung auch mittels Videokonferenz remote durchgeführt werden – fragen Sie einfach nach.
Training Hadoop und Spark
Training Hadoop und SparkEmpfehlung
Die Preise beziehen sich auf In-House Schulungen in Ihrem Unternehmen und für die angegebene Teilnehmerzahl. Zu den angegebenen Preisen fallen ggf noch zusätzlich Reisekosten für den Dozenten an. Alternativ kann die Schulung auch remote durchgeführt werden.
Um die Schulungsqualität zu garantieren ist die Kursgröße auf 12 Teilnehmer begrenzt. Bei Remote-Schulungen liegt die Grenze bei 8 Teilnehmern.
Alle Preise verstehen sich zuzüglich der jeweils geltenden Umsatzsteuer.
