Data Engineer

• Designet og implementeret datapipelines til både batch- og stream-behandling, optimeret dataflow og effektivitet;
• Udforsket og implementeret datapipelines ved hjælp af AWS Glue og PySpark for at sikre skalerbarhed og robusthed;
• Integreret Delta Lake i pipelines for at muliggøre deltabehandling og forbedre mulighederne for datahåndtering;
• Udviklet jobskabeloner ved hjælp af Jinja for at strømline oprettelsen og styringen af databehandlingsjobs;
• Opbygget og automatiseret datavalideringspipelines, der sikrer nøjagtigheden og pålideligheden af behandlede data;
• Implementeret og konfigureret Trino for at lette effektiv dataadgang og -forespørgsel på tværs af forskellige kilder;
• Forberedt omfattende dokumentation for hver komponent og hvert værktøj, der er udforsket, for at sikre vidensoverførsel og nem vedligeholdelse;
• Brugte værktøjer som Python, PySpark, Glue (Jobs, Crawlers, Catalogs), Athena, AWS, MWAA (Airflow), Kubernetes, Trino og Jinja til at nå projektets mål.

Design og implementering af en prognoseplatform - Engie (fransk global energivirksomhed)

• Designede og implementerede en omfattende prognoseplatform, der var skræddersyet til den globale energisektor.
• Udviklet datapipelines ved hjælp af Python og PySpark, der sikrer effektiv og skalerbar databehandling.
• Orkestrerede job-workflows ved hjælp af Airflow og Databricks, optimering af opgavestyring og -udførelse.
• Implementeret datatekniske processer ved hjælp af Databricks' Delta Live Tables (DLT) til robust datastyring.
• Bygget og implementeret pipelines til behandling af datastrømme ved hjælp af DLT'er, hvilket muliggør databehandling i realtid.
• Udviklede Feature Store API'er til interaktion med komponenter og skabte genanvendelige skabeloner for at standardisere processer.
• Brugte MLflow til at opbygge, administrere og spore eksperimenter og maskinlæringsmodeller, hvilket sikrede streng eksperimentering.
• Administrerede livscyklussen for ML-modeller ved hjælp af MLOps-teknikker og implementerede genanvendelige skabeloner for at sikre konsistens og effektivitet.
• Oprettet dashboards til dataanalyse og visualisering, hvilket letter datadrevet beslutningstagning.
• Udviklet API'er ved hjælp af .NET/C# for at eksponere data og sikre problemfri integration og tilgængelighed på tværs af systemer.
• Anvendt værktøjer som Databricks, PySpark, Python, R, SQL, Glue, Athena, Kubernetes og Airflow til at levere en robust og skalerbar løsning.

• Ledte projekter med fokus på at integrere Large Language Models (LLM) og AI-teknologier og drev innovation inden for organisationen;
• Hjalp med at designe og implementere datamigrationsløsninger og sikrede sømløse overgange for forskellige kunder;
• Udviklet integrationer og klienter til vektordatabaser ved at udnytte forskellige open source AI-værktøjer til at forbedre mulighederne;
• Kommunikerede aktivt med kunder for at indsamle krav og sikre tilpasning til deres specifikke behov;
• Brugte værktøjer som Python, Google Cloud Platform (GCP) og Datastax til at levere robuste løsninger.

Building and supporting promotion planning demo solution

• Developed generic data pipelines to transform raw client data into a format compatible with the data model of the promotion planning demo system;

• Wrote scripts to generate meaningful business data, ensuring alignment with the needs of the application;

• Collaborated with the science team to understand business requirements and determine the necessary data transformations to enhance data utility;

• Designed and implemented a generic PySpark codebase that efficiently transforms data to fit the required data model;

• Utilized tools such as PySpark, JupyterHub, Kubernetes, and Azure Data Lake to execute and support the project.

Implementing and Migrating Data Pipelines, and Supporting Legacy Systems - SumUp (Fintech German Company)

• Designed and implemented data pipelines for both batch and stream processing, optimizing data flow and efficiency;

• Explored and implemented data pipelines using AWS Glue and PySpark, ensuring scalability and robustness;

• Integrated Delta Lake into the pipelines to enable delta processing, enhancing data management capabilities;

• Developed job templating using Jinja to streamline the creation and management of data processing jobs;

• Built and automated data validation pipelines, ensuring the accuracy and reliability of processed data;

• Deployed and configured Trino to facilitate efficient data access and querying across various sources;

• Prepared comprehensive documentation for each component and tool explored, ensuring knowledge transfer and easy maintenance;

• Utilized tools such as Python, PySpark, Glue (Jobs, Crawlers, Catalogs), Athena, AWS, MWAA (Airflow), Kubernetes, Trino, and Jinja to achieve project goals.

Building a Data Curation Platform

• Implemented a platform designed to make building data pipelines generic, easy, scalable, and quick to assemble for any new client;

• Prepared detailed design documents, architectural blueprints, and specifications for the platform;

• Gathered and documented requirements, creating specific epics and tasks, and efficiently distributed work among team members;

• Developed command-line and pipeline functionalities that enable chaining transformations, facilitating the creation of generic data pipelines;

• Supported the management of metadata for various entities defined within the platform;

• Conducted runtime analysis and optimized the performance of different platform functionalities;

• Studied scalability requirements and designed performance improvement strategies to enhance the platform's robustness;

• Built a PySpark interface to facilitate seamless integration with data science workflows.

• Udviklet generiske datapipelines til at omdanne rå kundedata til et format, der er kompatibelt med datamodellen i demosystemet til kampagneplanlægning;
• Skrev scripts til at generere meningsfulde forretningsdata og sikrede, at de var i overensstemmelse med applikationens behov;
• Samarbejde med videnskabsteamet for at forstå forretningskrav og bestemme de nødvendige datatransformationer for at forbedre dataanvendelsen;
• Designet og implementeret en generisk PySpark-kodebase, der effektivt transformerer data, så de passer til den krævede datamodel;
• Brugte værktøjer som PySpark, JupyterHub, Kubernetes og Azure Data Lake til at udføre og understøtte projektet.

• Ledte teamet med at opbygge datapipelines til at understøtte en detailhandlers løsning til planlægning af kampagner;
• Deltog i møder med forretnings- og datavidenskabsteams for at forstå og identificere projektbehov;
• Samarbejdede med teamet om at oversætte forretningskrav til brugbare epics og stories;
• Designede og implementerede de identificerede forretningskrav og sikrede, at de var i overensstemmelse med projektets mål;
• Udviklet og udført enhedstests for at sikre implementeringernes funktionelle korrekthed;
• Oprettelse af en data loader-applikation ved hjælp af Scala Spark til at indlæse data fra Parquet-filer til Cosmos DB/Cassandra API;
• Implementeret en online forecaster API ved hjælp af Scala, Akka og Docker for at muliggøre prognoser for kampagner i realtid;
• Administrerede udrulningen af projektet på kundens Kubernetes-klynge og sørgede for problemfri drift og integration;
• Brugte værktøjer som Scala, Spark, Azure Databricks, Azure Data Lake og Kubernetes til at nå projektmålene.

Project 1: Building a Speech Recognition Solution

• Developed a speech recognition solution aimed at transforming retailers' questions and commands into actionable tasks executed against a user interface (UI);

• Utilized TensorFlow, Python, AWS, and Node.js to design and implement the solution, ensuring seamless interaction between the speech recognition engine and the UI.

Project 2: Design and Implementation of a Short Life Cycle Forecasting System

• Prepared comprehensive design documents and conducted studies on existing AI solutions, with a focus on voice and speech recognition capabilities;

• Collaborated with the team to prepare and collect relevant data for the project;

• Executed the processes of data augmentation, validation, and transformation to extract essential information for forecasting purposes;

• Contributed to building a user interface and integrated backend functionalities using tools such as TensorFlow, Python, AWS, JavaScript, Node.js, Scala, and Spark.

• Designed and structured the architecture for various components of a retail forecasting project;

• Implemented and deployed key components, ensuring seamless functionality within the overall system;

• Integrated all components, automating the processes and establishing an end-to-end batch process for streamlined operations;

• Optimized the runtime and performance of each component, enhancing the system's overall efficiency;

• Developed forecast comparison templates to facilitate the evaluation of forecast quality, aiding in accurate performance assessments;

• Utilized Logicblox, Python, and Tableau Software to achieve project goals, ensuring high-quality results.