Big Data Engineer

• Leads Sparkbaserade ETL-optimeringsinitiativ, minskar beräkningen av fotavtryck och säkerställer SLA-bundna ETAs för verksamhetskritiska dataprodukter.
• Äger arkitekturen och genomförandet av stora volymer intag rörledningar som körs på AWS EMR och Databricks kluster.
• Implementerar avancerad prestandastämning, partitioneringsstrategier, caching och utförande-plan finslipning mellan PySpark och Scala Spark arbetsbelastning.
• Designar luftflödessystem för helt iscensatt extraktion, transformation, modellberedning och leveransprocesser.
• Samarbeta med datavetare och analysteam för att standardisera omvandlingen av logik till återanvändbara ramverk.
• Säkerställer produktionens tillförlitlighet genom att förbättra övervakning, loggning och varning över EMR, Snowflake och GCP arbetsbelastning.
• Stöder integrerings- och formtekniska standarder för nya dataprodukter.

• Byggd avancerade Spark jobb med hjälp av ett internt ramverk för att bearbeta multi-source data i skala.
• Utvecklade kompletta ETL-rörledningar - från råintag (S3, API:er, leverantörsflöden) till rengöring, förberedelse och datamartutgångar.
• Skapade rekursiva anpassade algoritmer för att optimera en flaskhals ETL steg, förbättra exekveringshastighet och stabilitet.
• Tuned CPU och minnesanvändning, exekveringskonfigurationer och lagringsformat för att möta strikta ETA.
• Skapad och underhålls Luftflöde DAGs iscensätta dussintals ömsesidigt beroende uppgifter.
• Samarbete med produkt-, data- och kundteam kring integrationsmönster och kravanpassning.
• Garanterad säker distribution av slutdata via SFTP-automationer.

• Konstruerade och optimerade pipelines för intag och omvandling som stödjer marknadsanalys och varumärkesverksamhet.
• Implementerade sparkbaserade arbetsflöden för prognostisering, behovsanalys och produktresultatinsikter.
• Skapade luftflödesdata för att iscensätta ETL-steg och valideringskontroller.
• Förbättrad design av snöflingor och lagerprestanda för rapportering av användningsfall.
• Säkerställt datakedja och kvalitet för intern analys och integrering av externa marknadsplatser.

• Byggd sofistikerade Spark jobb på en egen intern ram, utförs på AWS EMR kluster.
• Designad ETL flöden från heterogena datakällor, applicerad rengöring och bota logik och levererade slutlig datamarts.
• Implementerade rekursiva algoritmer för komplexa omvandlingar, vilket avsevärt påskyndar flaskhalsjobb.
• Utförd Gnista och EMR prestanda tuning, vilket minskar jobbkörtider för att möta fasta ETAs.
• Utvecklade luftflödessystem för att iscensätta flerskiktsrörledningar.
• Kommunicerade med kunder och tvärfunktionella team för dataintegration och behovsanalys.

Som Dev Lead:

• Ledd uppgiftsfördelning, peer reviews, och onboarding för nya ingenjörer.
• Tillhandahöll arkitektur vägledning och säkerställd anpassning till företagets tekniska standarder.
• Stödda team med praktisk teknisk assistans över Spark, Airflow och AWS EMR.

• Bidragit till genomförandet av Palantir Foundry för företagets data styrning, modellering och analys.
• Byggda kurerade datamängder, operativa arbetsflöden och styrda pipelines inom Foundry.
• Utvecklade analysklara tabeller och instrumentpaneler för att stödja kommersiell och regulatorisk verksamhet.
• Har ett nära samarbete med affärs- och datavetenskapsteam för att strukturera värdefulla datamängder.