Data Engineer

Design og implementering av en prognoseplattform - Engie (fransk globalt energiselskap)

• Designet og implementerte en omfattende prognoseplattform skreddersydd for den globale energisektoren.
• Utviklet datapipelines ved hjelp av Python og PySpark, noe som sikrer effektiv og skalerbar databehandling.
• Orkestrerte arbeidsflyter ved hjelp av Airflow og Databricks, og optimaliserte oppgavehåndtering og -utførelse.
• Implementert datatekniske prosesser ved hjelp av Databricks' Delta Live Tables (DLT) for robust datahåndtering.
• Bygget og distribuert datastrømsbehandlingsrørledninger ved hjelp av DLT-er, noe som muliggjør databehandlingsfunksjoner i sanntid.
• Utviklet Feature Store API-er for interaksjon med komponenter og laget gjenbrukbare maler for å standardisere prosesser.
• Brukt MLflow til å bygge, administrere og spore eksperimenter og maskinlæringsmodeller, noe som sikrer streng eksperimentering.
• Administrert livssyklusen til ML-modeller ved hjelp av MLOps-teknikker, og implementert gjenbrukbare maler for konsistens og effektivitet.
• Opprettet dashbord for dataanalyse og visualisering, noe som legger til rette for datadrevet beslutningstaking.
• Utviklet API-er ved hjelp av .NET/C# for å eksponere data og sikre sømløs integrering og tilgjengelighet på tvers av systemer.
• Brukt verktøy som Databricks, PySpark, Python, R, SQL, Glue, Athena, Kubernetes og Airflow for å levere en robust og skalerbar løsning.

• Utviklet generiske datapipelines for å transformere rådata fra kunder til et format som er kompatibelt med datamodellen i demosystemet for kampanjeplanlegging;
• Skrev skript for å generere meningsfulle forretningsdata, og sørget for at de var i tråd med applikasjonens behov;
• Samarbeidet med forskningsteamet for å forstå forretningskravene og finne ut hvilke datatransformasjoner som er nødvendige for å forbedre dataanvendelsen;
• Designet og implementert en generisk PySpark-kodebase som effektivt transformerer data slik at de passer til den nødvendige datamodellen;
• Brukt verktøy som PySpark, JupyterHub, Kubernetes og Azure Data Lake for å gjennomføre og støtte prosjektet.

• Ledet prosjekter med fokus på å integrere Large Language Models (LLM) og AI-teknologier, og drev innovasjon i organisasjonen;
• Bistått med å utforme og implementere løsninger for datamigrering, og sørget for sømløse overganger for ulike kunder;
• Utviklet integrasjoner og klienter for vektordatabaser, og utnyttet ulike AI-verktøy med åpen kildekode for å forbedre mulighetene;
• Aktivt kommunisert med kunder for å samle inn krav og sikre at de er i tråd med deres spesifikke behov;
• Brukt verktøy som Python, Google Cloud Platform (GCP) og Datastax for å levere robuste løsninger.

• Designet og implementert datapipelines for både batch- og strømprosessering, og optimalisert dataflyt og effektivitet;
• Utforsket og implementert datapipelines ved hjelp av AWS Glue og PySpark, og sørget for skalerbarhet og robusthet;
• Integrert Delta Lake i pipelines for å muliggjøre deltabehandling, noe som forbedrer datahåndteringsfunksjonene;
• Utviklet jobbmaler ved hjelp av Jinja for å effektivisere oppretting og administrasjon av databehandlingsjobber;
• Bygget og automatisert datavalideringspipelines, noe som sikrer nøyaktigheten og påliteligheten til behandlede data;
• Distribuert og konfigurert Trino for å legge til rette for effektiv datatilgang og spørring på tvers av ulike kilder;
• Utarbeidet omfattende dokumentasjon for hver komponent og hvert verktøy som ble utforsket, for å sikre kunnskapsoverføring og enkelt vedlikehold;
• Brukt verktøy som Python, PySpark, Glue (Jobs, Crawlers, Catalogs), Athena, AWS, MWAA (Airflow), Kubernetes, Trino og Jinja for å nå prosjektmålene.

• Ledet teamet i å bygge datapipelines for å støtte en forhandlers løsning for kampanjeplanlegging;
• Deltatt i møter med forretnings- og datavitenskapsteam for å forstå og identifisere prosjektbehov;
• Samarbeid med teamet for å oversette forretningskrav til handlingsrettede epics og historier;
• Utformet og implementerte de identifiserte forretningskravene, og sørget for at de var i tråd med prosjektmålene;
• Utviklet og utført enhetstester for å sikre at implementasjonene er funksjonelt korrekte;
• Laget en datalaster-applikasjon ved hjelp av Scala Spark for å laste inn data fra Parquet-filer til Cosmos DB/Cassandra API;
• Implementert et nettbasert API for prognoser ved hjelp av Scala, Akka og Docker for å muliggjøre sanntidsprognoser for markedsføring;
• Administrerte distribusjonen av prosjektet på kundens Kubernetes-klynge, og sørget for problemfri drift og integrering;
• Brukt verktøy som Scala, Spark, Azure Databricks, Azure Data Lake og Kubernetes for å nå prosjektmålene.