Big Data Engineer

• Leads Spark-basierte ETL-Optimierungsinitiativen, Reduzierung der Rechenleistung und Sicherstellung von SLA-gebundenen ETAs für missionskritische Datenprodukte.
• Besitzt die Architektur und die Implementierung von Hochvolumenleitungen, die auf AWS EMR und Databricks Clustern laufen.
• Implementiert erweiterte Performance-Tuning, Partitionierungsstrategien, Caching und Ausführungsplan-Verfeinerung über PySpark- und Scala Spark-Workloads.
• Designs Airflow DAGs für vollständig orchestrierte Extraktion, Transformation, Modellvorbereitung und Lieferprozesse.
• Kooperiert mit Datenwissenschaftlern und Analyseteams, um Transformationslogik in wiederverwendbare Frameworks zu standardisieren.
• sichert die Produktionssicherheit durch die Verbesserung der Überwachung, Protokollierung und Alarmierung in EMR, Schneefloke und GCP Arbeitsbelastung.
• Unterstützt Teamübergreifende Integration und gestaltet Konstruktionsstandards für neue Datenprodukte.

• Erstellen Sie fortgeschrittene Spark-Jobs mithilfe eines internen Frameworks zur Bearbeitung von Multi-Source-Einzelhandelsdatensätzen in Skala.
• Entwickelte komplette ETL-Pipelines – von Roheinnahme (S3, APIs, Vendor Feeds) bis hin zu Reinigung, Zubereitung und Datamart-Ausgängen.
• Erstellung rekursiver benutzerdefinierter Algorithmen zur Optimierung eines Engpass-ETL-Schritts zur Verbesserung der Ausführungsgeschwindigkeit und Stabilität.
• Angepasste CPU- und Speicherauslastung, ausführbare Konfigurationen und Speicherformate um strenge ETAs zu erfüllen.
• Erstellte und gewartete Airflow DAGs organisieren Dutzende voneinander abhängiger Aufgaben.
• Zusammenarbeit mit Produkt-, Daten- und Kundenteams bei Integrationsmustern und Anforderungsausrichtungen.
• Sicherte sichere Verteilung der Enddatensätze über SFTP-Automatisierungen.

• Entworfene und optimierte Rohrleitungen zur Unterstützung von Marktplatzanalytik und Marken-Betrieb.
• Implementierte Spark-basierte Workflows für Prognosen, Bedarfsanalyse und Produkt-Performance-Einsichten.
• Erstellte Airflow DAGs, um ETL Schritte und Validierungsprüfungen zu koordinieren.
• Verbessertes Snowflake Schema Design und Lagerleistung für die Berichterstattung von Anwendungsfällen.
• Sicherte Datenreife und -qualität für interne Analysen und externe Marktplatz-Integrationen.

• Erstellte anspruchsvolle Spark-Jobs auf einem benutzerdefinierten internen Rahmen, ausgeführt auf AWS EMR-Cluster.
• Entworfene ETL fließt aus heterogenen Datenquellen, angewandte Reinigungs- und Kuratierungslogik und liefert endgültige Datamarte.
• Implementierte rekursive Algorithmen für komplexe Transformationen, die Engpässe deutlich beschleunigen.
• Performed Spark und EMR Performance-Tuning, reduziert die Laufzeiten der Aufträge auf feste ETAs.
• Entwickelte Airflow DAGs zur Orchestrierung von mehrschichtigen Pipelines.
• Kommunikation mit Kunden und Crossfunktionalen Teams für Datenintegration und Anforderungsanalyse.

Als Entwickler-Führung:

• Led Task Allocation, Peer Reviews und Onboarding für neue Ingenieure.
• Bereitstellung von Architekturführung und Sicherstellung der Anpassung an Enterprise Engineering Standards.
• Unterstützte Teams mit praktischer technischer Unterstützung in Spark, Airflow und AWS EMR.

• Beitrag zur Umsetzung von Palantir Gießerei für Unternehmensdatenverwaltung, -modellierung und -analytik.
• Erstellte kuratierte Datensätze, operative Arbeitsabläufe und geregelte Pipelines innerhalb der Gießerei.
• Entwickelte analytische Tabellen und Dashboards zur Unterstützung von kommerziellen und regulatorischen Betrieben.
• In enger Zusammenarbeit mit den Teams aus Wirtschaft und Informatik werden hochwertige Datensätze aufgebaut.