Data Engineer

Design & Implementierung einer Prognoseplattform - Engie (französisches globales Energieunternehmen)

• Konzeption und Implementierung einer umfassenden Prognoseplattform, die auf den globalen Energiesektor zugeschnitten ist.
• Entwicklung von Datenpipelines mit Python und PySpark, die eine effiziente und skalierbare Datenverarbeitung gewährleisten.
• Orchestrierte Job-Workflows mit Airflow und Databricks, Optimierung der Aufgabenverwaltung und -ausführung.
• Implementierung von Data-Engineering-Prozessen unter Verwendung von Delta Live Tables (DLT) von Databricks für eine stabile Datenverwaltung.
• Aufbau und Einsatz von Datenstromverarbeitungspipelines unter Verwendung von DLTs, die Echtzeit-Datenverarbeitungsfunktionen ermöglichen.
• Entwickelte Feature Store APIs für die Interaktion mit Komponenten und erstellte wiederverwendbare Vorlagen, um Prozesse zu standardisieren.
• Nutzung von MLflow zur Erstellung, Verwaltung und Nachverfolgung von Experimenten und maschinellen Lernmodellen, um strenge Experimente zu gewährleisten.
• Verwaltet den Lebenszyklus von ML-Modellen unter Verwendung von MLOps-Techniken und implementiert wiederverwendbare Vorlagen für Konsistenz und Effizienz.
• Erstellung von Dashboards für die Datenanalyse und -visualisierung, um datengestützte Entscheidungen zu erleichtern.
• Entwicklung von APIs unter Verwendung von .NET/C# zur Offenlegung von Daten, um eine nahtlose Integration und Zugänglichkeit über Systeme hinweg zu gewährleisten.
• Wir haben Tools wie Databricks, PySpark, Python, R, SQL, Glue, Athena, Kubernetes und Airflow eingesetzt, um eine robuste und skalierbare Lösung zu liefern.

• Entwicklung von generischen Datenpipelines zur Umwandlung von Kundenrohdaten in ein Format, das mit dem Datenmodell des Demosystems für die Werbeplanung kompatibel ist;
• Sie haben Skripte geschrieben, um aussagekräftige Geschäftsdaten zu generieren, und dabei sichergestellt, dass diese mit den Anforderungen der Anwendung übereinstimmen;
• Zusammenarbeit mit dem wissenschaftlichen Team, um die geschäftlichen Anforderungen zu verstehen und die notwendigen Datentransformationen zur Verbesserung der Datennutzung zu bestimmen;
• Entwurf und Implementierung einer generischen PySpark-Codebasis, die Daten effizient umwandelt, damit sie in das erforderliche Datenmodell passen;
• Nutzung von Tools wie PySpark, JupyterHub, Kubernetes und Azure Data Lake zur Durchführung und Unterstützung des Projekts.

• Leitung von Projekten, die sich auf die Integration von Large Language Models (LLM) und KI-Technologien konzentrieren und die Innovation innerhalb des Unternehmens vorantreiben;
• Unterstützung bei der Konzeption und Implementierung von Datenmigrationslösungen, um nahtlose Übergänge für verschiedene Kunden zu gewährleisten;
• Wir haben Integrationen und Clients für Vektordatenbanken entwickelt und dabei verschiedene Open-Source-KI-Tools zur Verbesserung der Fähigkeiten eingesetzt;
• Aktive Kommunikation mit Kunden, um Anforderungen zu sammeln und sicherzustellen, dass sie mit ihren spezifischen Bedürfnissen übereinstimmen;
• Nutzung von Tools wie Python, Google Cloud Platform (GCP) und Datastax zur Bereitstellung robuster Lösungen.

• Entwurf und Implementierung von Datenpipelines für die Batch- und Stream-Verarbeitung, Optimierung von Datenfluss und Effizienz;
• Untersuchung und Implementierung von Datenpipelines mit AWS Glue und PySpark, um Skalierbarkeit und Robustheit zu gewährleisten;
• Integration von Delta Lake in die Pipelines, um die Delta-Verarbeitung zu ermöglichen und die Möglichkeiten der Datenverwaltung zu verbessern;
• Entwicklung von Auftragsvorlagen unter Verwendung von Jinja, um die Erstellung und Verwaltung von Datenverarbeitungsaufträgen zu rationalisieren;
• Aufbau und Automatisierung von Datenvalidierungspipelines zur Gewährleistung der Genauigkeit und Zuverlässigkeit der verarbeiteten Daten;
• Bereitstellung und Konfiguration von Trino zur Erleichterung des effizienten Datenzugriffs und der Datenabfrage über verschiedene Quellen hinweg;
• Erstellen Sie eine umfassende Dokumentation für jede untersuchte Komponente und jedes Tool, um den Wissenstransfer und eine einfache Wartung zu gewährleisten;
• Nutzung von Tools wie Python, PySpark, Glue (Jobs, Crawler, Kataloge), Athena, AWS, MWAA (Airflow), Kubernetes, Trino und Jinja zur Erreichung der Projektziele.

• Leitete das Team beim Aufbau von Datenpipelines zur Unterstützung der Werbeplanungslösung eines Einzelhändlers;
• Teilnahme an Besprechungen mit Geschäfts- und Datenwissenschaftsteams, um die Projektanforderungen zu verstehen und zu ermitteln;
• Zusammenarbeit mit dem Team, um Geschäftsanforderungen in umsetzbare Epen und Geschichten zu übersetzen;
• Entwurf und Umsetzung der ermittelten Geschäftsanforderungen, wobei die Übereinstimmung mit den Projektzielen sichergestellt wurde;
• Entwicklung und Durchführung von Unit-Tests, um die funktionale Korrektheit von Implementierungen sicherzustellen;
• Erstellung einer Datenladeanwendung mit Scala Spark zum Laden von Daten aus Parquet-Dateien in Cosmos DB/Cassandra API;
• Wir haben eine Online-Prognose-API mit Scala, Akka und Docker implementiert, um Echtzeit-Werbeprognosen zu ermöglichen;
• Verwaltet die Bereitstellung des Projekts auf dem Kubernetes-Cluster des Kunden und stellt den reibungslosen Betrieb und die Integration sicher;
• Nutzung von Tools wie Scala, Spark, Azure Databricks, Azure Data Lake und Kubernetes zur Erreichung der Projektziele.