Data Engineer

Conception et mise en œuvre d'une plateforme de prévision - Engie (Entreprise française d'énergie globale)

• Conception et mise en œuvre d'une plateforme de prévision complète adaptée au secteur mondial de l'énergie.
• Développement de pipelines de données à l'aide de Python et PySpark, garantissant un traitement efficace et évolutif des données.
• Orchestrer des workflows de travail en utilisant Airflow et Databricks, en optimisant la gestion et l'exécution des tâches.
• Mise en œuvre de processus d'ingénierie des données utilisant les Delta Live Tables (DLT) de Databricks pour une gestion robuste des données.
• Construire et déployer des pipelines de traitement de flux de données en utilisant des DLT, permettant des capacités de traitement de données en temps réel.
• Développement des API du Feature Store pour l'interaction avec les composants et création de modèles réutilisables pour normaliser les processus.
• Le projet a pour but d'améliorer l'efficacité de la gestion des ressources humaines et d'améliorer la qualité des services offerts aux clients.
• Gestion du cycle de vie des modèles ML en utilisant les techniques MLOps, en mettant en œuvre des modèles réutilisables pour la cohérence et l'efficacité.
• Création de tableaux de bord pour l'analyse et la visualisation des données, facilitant la prise de décision fondée sur les données.
• Développement d'API à l'aide de .NET/C# pour exposer les données, en assurant une intégration et une accessibilité transparentes entre les systèmes.
• Employé des outils tels que Databricks, PySpark, Python, R, SQL, Glue, Athena, Kubernetes, et Airflow pour fournir une solution robuste et évolutive.

• Développement de pipelines de données génériques pour transformer les données brutes des clients dans un format compatible avec le modèle de données du système de démonstration de planification des promotions ;
• Rédiger des scripts pour générer des données commerciales significatives, en veillant à ce qu'elles soient conformes aux besoins de l'application ;
• Collaborer avec l'équipe scientifique pour comprendre les exigences commerciales et déterminer les transformations de données nécessaires pour améliorer l'utilité des données ;
• Conception et implémentation d'une base de code générique PySpark qui transforme efficacement les données pour les adapter au modèle de données requis ;
• Le projet est en cours d'élaboration et de mise en œuvre, il est en cours d'élaboration et de mise en œuvre, il est en cours de mise en œuvre et de mise en œuvre, il est en cours de mise en œuvre et de mise en œuvre, il est en cours de mise en œuvre et de mise en œuvre.

• A dirigé des projets axés sur l'intégration de grands modèles de langage (LLM) et de technologies d'intelligence artificielle, en stimulant l'innovation au sein de l'organisation ;
• Aide à la conception et à la mise en œuvre de solutions de migration de données, assurant des transitions transparentes pour divers clients ;
• Développement d'intégrations et de clients pour les bases de données vectorielles, en utilisant différents outils d'IA open-source pour améliorer les capacités ;
• Communication active avec les clients pour recueillir les exigences et assurer l'alignement sur leurs besoins spécifiques ;
• Utilisation d'outils tels que Python, Google Cloud Platform (GCP), et Datastax pour fournir des solutions robustes.

• Conception et mise en œuvre de pipelines de données pour le traitement par lots et par flux, en optimisant le flux de données et l'efficacité ;
• Vous avez exploré et mis en œuvre des pipelines de données en utilisant AWS Glue et PySpark, en garantissant l'évolutivité et la robustesse ;
• Intégration de Delta Lake dans les pipelines pour permettre le traitement delta, améliorant ainsi les capacités de gestion des données ;
• Développement de modèles de tâches à l'aide de Jinja pour rationaliser la création et la gestion des tâches de traitement des données ;
• Construire et automatiser les pipelines de validation des données, en assurant l'exactitude et la fiabilité des données traitées ;
• Déploiement et configuration de Trino pour faciliter l'accès efficace aux données et l'interrogation de diverses sources ;
• Préparation d'une documentation complète pour chaque composant et outil exploré, afin d'assurer le transfert des connaissances et une maintenance aisée ;
• Utilisation d'outils tels que Python, PySpark, Glue (Jobs, Crawlers, Catalogues), Athena, AWS, MWAA (Airflow), Kubernetes, Trino, et Jinja pour atteindre les objectifs du projet.

• A dirigé l'équipe en construisant des pipelines de données pour soutenir la solution de planification des promotions d'un détaillant ;
• Participation à des réunions avec des équipes commerciales et de science des données afin de comprendre et d'identifier les besoins du projet ;
• Collaborer avec l'équipe pour traduire les exigences de l'entreprise en épopées et récits exploitables ;
• Concevoir et mettre en œuvre les exigences commerciales identifiées, en veillant à l'alignement sur les objectifs du projet ;
• Développer et exécuter des tests unitaires pour assurer la correction fonctionnelle des implémentations ;
• Création d'une application de chargement de données utilisant Scala Spark pour charger des données à partir de fichiers Parquet dans Cosmos DB/Cassandra API ;
• Implémentation d'une API de prévision en ligne utilisant Scala, Akka, et Docker pour permettre des prévisions de promotion en temps réel ;
• Gestion du déploiement du projet sur le cluster Kubernetes du client, assurant un fonctionnement et une intégration sans faille ;
• Utiliser des outils tels que Scala, Spark, Azure Databricks, Azure Data Lake, et Kubernetes pour atteindre les objectifs du projet.