Big Data Engineer

• Leads Spark-baserede ETL optimering initiativer, reducere beregne fodaftryk og sikre SLA-bundet ETAs for missionskritiske data produkter.
• Ejer arkitektur og gennemførelse af store volumenindtagelsesrørledninger, der kører på AWS EMR og Databricks klynger.
• Implementerer avanceret performance tuning, partitionering strategier, caching, og udførelse-plan raffinement på tværs af PySpark og Scala Spark arbejdsbyrder.
• Design Airflow DAGs for fuldt orkestreret udvinding, transformation, model forberedelse, og levering processer.
• Samarbejder med data forskere og analyseteams til at standardisere transformation logik til genanvendelige rammer.
• Sikrer produktionens pålidelighed ved at forbedre overvågning, skovhugst og advarsel på tværs af EMR, Snowflake og GCP-arbejdsbyrder.
• Understøtter cross-team integration og former engineering standarder for nye data produkter.

• Bygget avancerede Spark job ved hjælp af en intern ramme til at behandle multi-source detaildatasæt i skala.
• Udviklede komplette ETL-rørledninger — fra rå indtagelse (S3, API'er, leverandør feeds) til rengøring, tilberedning og datamart output.
• Oprettet rekursive brugerdefinerede algoritmer til at optimere en flaskehals ETL trin, forbedre udførelsen hastighed og stabilitet.
• Tunet CPU og hukommelsesforbrug, eksekverer konfigurationer og lagringsformater til at opfylde strenge ETA'er.
• Oprettet og vedligeholdt Airflow DAGs orkester snesevis af indbyrdes afhængige opgaver.
• Samarbejdet med produkt, data og klientteams om integration mønstre og krav tilpasning.
• Sikret sikker distribution af endelige datasæt via SFTP-automatiseringer.

• Designet og optimeret ingestion og transformation pipelines understøtter markedspladsanalyser og brand operationer.
• Implementerede Spark-baserede arbejdsgange til prognoser, efterspørgselsanalyse og indblik i produkternes ydeevne.
• Oprettet luftstrøm DAGs til at orkestrere ETL trin og validering kontrol.
• Forbedret Snowflake skema design og lagerpræstation til rapportering brug tilfælde.
• Sikret datapparathed og kvalitet til interne analyser og eksterne markedsintegrationer.

• Bygget sofistikerede Spark job på en brugerdefineret intern ramme, udført på AWS EMR klynger.
• Designet ETL strømmer fra heterogene datakilder, anvendt rengøring og kurationslogik, og leveret endelige datamarts.
• Implementerede rekursive algoritmer til komplekse transformationer, væsentligt accelerere flaskehalsjob.
• Performed Spark og EMR performance tuning, reducere jobløbstider for at opfylde faste ETAs.
• Udviklet luftstrøm DAGs til at orkestrere flerlags rørledninger.
• Kommunikeret med kunder og tværfunktionelle teams til dataintegration og behovsanalyse.

Som Dev Lead:

• Led task allokering, peer reviews, og onboarding for nye ingeniører.
• Givet arkitektur vejledning og sikret tilpasning til virksomhedens tekniske standarder.
• Understøttede hold med hands-on teknisk bistand på tværs af Spark, Airflow, og AWS EMR.

• Bidraget til gennemførelsen af Palantir Foundry for enterprise data governance, modellering og analytics.
• Bygget kuraterede datasæt, operationelle arbejdsgange og regerede rørledninger inden for Foundry.
• Udviklede analytiske borde og dashboards til støtte for kommercielle og regulerende operationer.
• Samarbejdet tæt med business og data videnskab teams til at strukturere høj værdi datasæt.