Big Data Engineer

• Leads gebaseerde ETL-optimaliseringsinitiatieven, het verminderen van de computervoetafdruk en het waarborgen van SLA-gebonden ETA's voor mission-kritische gegevensproducten.
• Eigent over de architectuur en de uitvoering van hoge-volume innamepijpleidingen die op AWS EMR en databankclusters worden uitgevoerd.
• Implementeert geavanceerde prestatieaanpassing, partitioneringsstrategieën, caching en uitvoeringsplannen voor PySpark en Scala park werkladen.
• Ontwerp DAG's van de luchtstroom voor volledig georkestreerde extractie, transformatie, modelvoorbereiding en leveringsprocessen.
• Werk samen met data-wetenschappers en analyseteams om de omzetlogica te standaardiseren naar herbruikbare kaders.
• verzekert de betrouwbaarheid van de productie door het verbeteren van monitoring, houtkap en het waarschuwen voor alle werkzaamheden van EMR, Sneeuwvloke en GCP.
• Ondersteunt teamintegratie en vormen van technische normen voor nieuwe gegevensproducten.

• Gebouwd geavanceerde Spark banen met behulp van een intern kader om multi-source retaildatasets op schaal te verwerken.
• Volledige ETL-pijpleidingen ontwikkeld—van ruwe inname (S3, APIs, vendor feeds) tot schoonmaak-, preparatie- en datamart uitvoer.
• recursieve aangepaste algoritmen gemaakt om een bottleneck ETL step te optimaliseren, waardoor de uitvoeringssnelheid en stabiliteit worden verbeterd.
• Gecombineerd CPU- en geheugengebruik, uitvoerende configuraties en opslagformaten om te voldoen aan strikte ETA's.
• VluchtelingenDAGs heeft tientallen interafhankelijke taken gecreëerd en gehandhaafd.
• Samenwerken met product-, -data en klantenteams aan integratiepatronen en vereisten op afstand.
• Verzekerde beveiligde distributie van definitieve datasets via SFTP automatiseringen.

• Ontworpen en geoptimaliseerde inname en transformatie van pijpleidingen ter ondersteuning van marktplaatsanalyses en merkoperaties.
• Uitgevoerde Spark-gebaseerde werkstromen voor prognoses, vraaganalyse en inzicht in de prestaties van producten.
• Luchtstroom DAG's aangemaakt om ETL stappen en validatiecontroles te orchestreren.
• Verbeterde uitvoering van Snowflake schema- en magazijnprestaties voor het melden van gebruikszaken.
• Verzekerde gegevensgereedheid en kwaliteit voor interne analytics en externe marktconforme integraties.

• Gebouwd geavanceerde Spark jobs op een aangepast intern kader, uitgevoerd op AWS-EMR-clusters.
• Ontworpen ETL stroomt uit heterogene gegevensbronnen, toegepast reiniging en curatielogica en leverde einddatamarts.
• Implementatie van recursieve algoritmes voor complexe transformaties, die de bottleneck jobs aanzienlijk versnellen.
• Uitgevoerd Spark en EMR-prestatieafstemming, waardoor banentrades gereduceerd worden om vaste ETA's te ontmoeten.
• Ontwikkelde luchtstroom DAGs om multi-laag-pijpleidingen te orchestreren.
• Communiceerd met klanten en cross-functionele teams voor data-integratie en vereiste analyse.

Als ontwikkelaar Leiding:

• Led taaktoewijzing, peer reviews, en onboarding voor nieuwe ingenieurs.
• Bezorgde begeleiding van de architectuur en verzekerde aanpassing aan normen voor de bedrijfstechniek.
• Ondersteunde teams met hands-on technische hulp voor Spark, Airflow en AWS EMR.

• Bijdragen aan de implementatie van Palantir Foundry voor het beheer van bedrijfsgegevens, modellen en analytics van ondernemingen.
• Gebouwd beheerde datasets, operationele workflows en geregeerde pijpleidingen binnen Foundry.
• Ontwikkelde analytische tabellen en dashboards ter ondersteuning van commerciële en regelgevende operaties.
• Gezamenlijk samengewerkt met teams voor de ontwikkeling van datasets met een hoge waarde.