1.779,05 €

Apache Spark für Data Engineering

Eventinformationen

Dieses Event teilen

Datum und Uhrzeit

Veranstaltungsort

Veranstaltungsort

München

München

Germany

Karte anzeigen

Rückerstattungsrichtlinien

Rückerstattungsrichtlinien

Rückerstattungen bis zu 30 Tage vor dem Event

Beschreibung des Events

Beschreibung

Inhalt

Die Arbeit mit Big-Data-Technologien unterscheidet sich deutlich von der Arbeit mit herkömmlichen Datenbanktechnologien. Das Framework Apache Spark eröffnet für den Themenbereich Data Engineering viele neue Möglichkeiten. Der 3-tägige Kurs „Apache Spark für Data Engineering“ vermittelt die notwendigen Methoden und Vorgehensweisen, um Spark für Data Engineering zu verwenden.

Neben dem notwendigen technischen Hintergrundwissen, den unterschiedlichen Anwendungsarten und den Besonderheiten der Datenverarbeitung mit Apache Spark auf verteilten Systemen wird anhand von diversen Praxisbeispielen die Arbeit mittels DataFrame-API in Python (und teilweise in Scala) dargestellt.

Ziele

Die Kursteilnehmer erhalten zunächst alle wesentlichen Informationen zu Apache Spark. Dann werden praktische Fähigkeiten vermittelt, um Data-Engineering-Projekte erfolgreich zu implementieren.

  • Was ist Apache Spark und welche Position nimmt es im Big-Data-Universum ein?
  • Wo wird es für welche Use Cases eingesetzt?
  • Konnektivität von Spark mit anderen Technologien
  • Konzepte und Konsequenzen der verteilten Verarbeitung mit Spark
  • Möglichkeiten zur Ausführung von Spark (Notebooks, Shell ...)
  • DataFrames, Spark SQL
  • Performance-Faktoren und Möglichkeiten des Performance-Tunings
  • Debuggen und Monitoring von Anwendungen über die Spark-UI
  • Konfiguration von Spark-Jobs
  • Implementierung von ETLs auf Basis der DataFrame-API
  • Erstellen dynamischer Abfragen mit der DataFrame-API
  • Structured Streaming
  • Testing von Spark-Jobs
  • High-Level-Konzepte von Machine Learning auf Basis von Spark

Voraussetzungen & Teilnehmer

Der Kurs richtet sich an alle Interessierten aus den Bereichen Big Data, Data Engineering und Data Science mit keinen oder wenigen Vorkenntnissen, die Apache Spark zur Durchführung von ETL-Aufgaben einsetzen wollen. Voraussetzungen sind:

  • sicherer Umgang mit SQL
  • Programmiererfahrung in Python oder Scala (siehe Vorkurs Jump Start Python)

Ein eigener Laptop mit einem VirtualBox-Client und Minimum 8 GB RAM ist für die Praxisübungen erforderlich.

Mit Freunden teilen

Datum und Uhrzeit

Veranstaltungsort

München

München

Germany

Karte anzeigen

Rückerstattungsrichtlinien

Rückerstattungen bis zu 30 Tage vor dem Event

Dieses Event speichern

Event gespeichert