Big Data Engineer

• Johtaa Spark-pohjaisia ETL-optimointialoitteita, pienentämällä laskentajalanjälkeä ja varmistamalla SLA-sitoutuvat ETA:t kriittisille tietotuotteille.
• Omistaa AWS EMR ja Databricks klustereiden arkkitehtuurin ja täytäntöönpanon korkean volyymin ingestion putkistot.
• Toteuttaa kehittyneitä suorituskykyä tuning, partitio strategioita, välimuisti, ja toteutus-suunnitelma hienosäätö ympäri PySpark ja Scala Spark työkuormat.
• Designs Airflow DAGs täysin orkestroitu uutto, transformaatio, mallin valmistelu, ja toimitusprosessit.
• Tee yhteistyötä tiedemiesten ja analytiikkatiimien kanssa muokkaamaan muuntologiaa uudelleen käytettäviksi kehyksiksi.
• Varmistaa tuotannon luotettavuuden parantamalla seurantaa, puunkorjuuta ja hälytyksiä EMR, Snowflake ja GCP-työtaakkaa.
• Tukee tiimien välistä integraatiota ja muokkaa uusien datatuotteiden teknisiä standardeja.

• Rakennettu kehittyneitä Spark työpaikkoja käyttäen sisäistä kehystä käsitellä monilähteisiä vähittäiskaupan tietosarjoja mittakaavassa.
• Kehitetty täydellinen ETL putket raaka nieleminen (S3, APIs, toimittajan syötteet) siivous, valmistelu ja tietoälykäs tuotokset.
• Luotu rekursiivisia mukautettuja algoritmeja optimoida pullonkaulaa ETL vaihe, parantaa suoritusnopeutta ja vakautta.
• Viritetyt prosessorit ja muistin käyttö, toteuttajan kokoonpanot ja tallennusmuodot tiukkojen ETA:iden täyttämiseksi.
• Luotu ja huollettu Airflow DAGs orkestroi kymmeniä toisistaan riippuvaisia tehtäviä.
• Yhteistyö tuotteiden, tietojen ja asiakasryhmien kanssa integraatiomalleista ja vaatimusten yhdenmukaistamisesta.
• Varmistettu lopputietojen turvallinen jakelu SFTP-automaatioiden kautta.

• Suunniteltu ja optimoitu nieleminen ja transformaatio putkistot tukevat markkinapaikan analytiikkaa ja brändin toimintaa.
• Toteutetut Spark-pohjaiset työvirrat ennusteisiin, kysyntäanalyyseihin ja tuotteen suorituskykyyn.
• Luotu Airflow DAG:t järjestämään ETL-vaiheet ja validointitarkastukset.
• Parannettu Snowflake schema suunnittelu ja varaston suorituskykyä raportoida käyttötapauksissa.
• Varmistettu datan valmius ja laatu sisäisen analytiikan ja ulkoisen markkinapaikan integraatioita.

• Rakennettu hienostunut Spark työpaikkoja mukautetun sisäisen kehyksen, suoritetaan AWS EMR klustereita.
• Suunniteltu ETL virtaa heterogeenisistä tietolähteistä, sovellettu puhdistus ja kuraatio logiikka, ja toimitetaan lopulliset tietomerkit.
• Toteutetut rekursiiviset algoritmit monimutkaisia muutoksia, merkittävästi nopeuttaa pullonkaulaa työpaikkoja.
• Performed Spark ja EMR suorituskyky tuning, vähentää työn runtimes tavata kiinteitä ETA.
• Kehitetty Airflow DAGs orkestroida monikerroksisia putkia.
• Yhteydenpito asiakkaiden ja toiminnallisten tiimien kanssa datan integroimiseksi ja vaatimusanalyyseihin.

Dev Lead:

• Led tehtävän jakaminen, vertaisarvioinnit, ja perehdytys uusille insinööreille.
• Annetaan arkkitehtuurin ohjausta ja varmistetaan yhdenmukaisuus yrityksen insinööristandardeja.
• Tuetut tiimit, joilla on käytännön teknistä apua Sparkissa, Airflowissa ja AWS EMR:ssä.

• Osallistui täytäntöönpanoon Palantir valimo yritystietojen hallinto, mallinnus ja analytiikka.
• Rakennettu kuratoituja tietosarjoja, operatiivisia työnkulkuja ja hallittuja putkia sisällä valimo.
• Kehitetyt analytiikkavalmiit taulukot ja kojelaudat tukemaan kaupallista ja sääntelyä.
• Tiivis yhteistyö yritysten ja datatieteiden tiimien kanssa arvokkaiden tietokokonaisuuksien rakentamiseksi.