Big Data Engineer

• Leads Spark-baserte ETL-optimaliseringsinitiativ, redusere beregning av fotavtrykk og sikre en SLA-bundet ETA for mission-critical data produkter.
• Egner arkitekturen og implementeringen av rør med stort volum inntaksrør som går på AWS EMR og Databricke-klynger.
• Implementering av avanserte prestasjonshåndteringsstrategier, hurtiglagring og produksjons-planraffinering på tvers av PySpark og Spark arbeidsbelastninger.
• Betegnelse på luftgjennomstrømningsDAGer for fullstendig orkesterutvinning, transformasjon, modellutarbeidelse og leveringsprosesser.
• Jobber med datagrere og analysegrupper for å standardisere transformasjonslogikk til gjenbrukbare rammer.
• Sikrer produksjonspålitelighet ved å forbedre overvåking, hogst og ved å varsle på tvers av EMR, Snowflak og GCP arbeidsmengder.
• Støtter integrasjon på tvers av grupper og former tekniske standarder for nye dataprodukter.

• Bygget avansert Spark jobber med et internt rammeverk for å prosessere datasett med flerkilde datasett i skala.
• utviklet komplett ETL-rørledning – fra råvarer (S3, API-er, fôr) til rengjøring, bearbeiding og datamart.
• Opprettet rekursive tilpassede algoritmer for å optimalisere et flaskehals-ETL-trinn, forbedre utførelseshastighet og stabilitet.
• Innstilt CPU- og minnebruk, kjøre konfigurasjoner, og lagringsformater for å møte strenge elementer.
• Laget og vedlikeholdt DAGs orkestermange titter med gjensidig avhengige oppgaver.
• Samarbeid med produkter, data og klientgrupper om integreringsmønstre og krav tilpasses.
• Forsikret sikker distribusjon av endelige datasett via SFTP automatiseringer.

• Designet og optimalisert inntaks- og transformasjonsrørledninger som støtter analyser av markedsplassen og merkevareoperasjoner.
• Implemented Spark-based workflows for forecasting, demand analysis and product performance insights.
• Skapte Airflow DAGs til orkesterinnretninger og valideringskontroller.
• Forbedret formidling av skjemadesign og lagerytelse for rapportering av tilfeller.
• Forsikret dataløsitet og kvalitet for intern analyse og eksterne markedsplassintegreringer.

• Built sophisticated Spark jobber med en tilpasset intern ramme, henrettet med AWS EMR-klynger
• Egendefinerte ETL-strømmer fra heterogene datakilder, anvendt rengjørings- og kurasjonslogikk og leverte endelige datamart.
• Implementerte rekursive algoritmer for komplekse transformasjoner, noe som gir en betydelig akselerasjon av flaskehalser.
• Utført Spark og EMR ytelsesjustering av arbeidsplasser, noe som reduserer driftstidene til faste ETA.
• Utarbeidede DAG-er (Airflow-DAGs) til flerlagsledninger.
• Kommunisert med kunder og på tvers av funksjonelle team for integrering av data og kravanalyse.

Som utviklerledelse:

• Oppgavetildeling, fagfellevurderinger og onboarding for nye ingeniører.
• Gir arkitektveiledning og sørget for samordning av prosjekteringsstandarder for foretak.
• Støttede team med praktisk assistanse på tvers av Spark, Airflow, og AWS EMR.

• Bidratt til gjennomføring av palantir-grunntørt for virksomhetsstyring, modellering og analyse. – Bygget kurerte datasett, driftsarbeidsflyt og regulerte rørledninger i grunntørke.
• Utviklet analysere-klare tabeller og dashbord for å støtte kommersiell og regulatorisk drift.
• Samarbeidet tett med realfagsteam for å strukturere datasett med høy verdi.