Data Engineer

• Luonut AWS Redshiftia ja AWS Gluea hyödyntävän tietovarastoratkaisun, jossa siirrettiin OLAP-tietokanta MS SQL Serveristä.
• Perustanut DBT-putken ETL-prosesseja varten, siirtäen tietoja MySQL-varaston ja toimintatietokannan välillä Neo4j-graafitietokantaan käyttäen natiivia Python-ohjelmointia. Asetukset toteutettiin AWS:n Linux-laatikossa, jossa Neo4j toimi Docker-säiliönä.
• Kehitti ETL-putken markkinakorianalyysin ja muiden markkinointitilastojen tekemistä varten miljoonille riveille transaktiotietoja. Hyödynnetään Redshiftiä transaktiotietokantana ja täytetään se palvelimettomasti Amazon Lambda -funktioiden avulla reaaliajassa.

• Created a Data Warehouse solution utilizing AWS Redshift and AWS Glue, migrating an OLAP database from MSSQL Server.

• Established a DBT pipeline for ETL processes, transferring data between MySQL warehouse and activity database to Neo4j graph database using native Python programming. Setup was implemented on an AWS Linux box with Neo4j running as a Docker container.

• Developed an ETL pipeline for conducting market basket analysis and other marketing statistics on millions of rows of transactional data. Utilized Redshift as a transactional database and populated it in a serverless fashion using Amazon Lambda function in real-time.

Contributed in building Market Intelligence dashboard pipeline. Using unstructured review text, did a NER and relationship extraction to get Sentiment at entity level.

Trend forecasting and sentiment calculation to help businesses make better decisions and improve marketing strategy. Used AWS for cloud computing.

• Kehitettiin putki tietojen muuntamiseksi jäsenneltyyn muotoon, mikä mahdollistaa tarjoilun Prodigylle ML:ään liittyvää merkintää varten. Koko putki rakennettiin modulaarisesti käyttäen pelkkää Pythonia ja shell-skriptausta.
• Toteutti tietomuunnokset Pythonilla ja säilytti käsitellyt tiedot Amazon S3-ämpäriin tallennusta ja saatavuutta varten.

• Automatisoit Hive-kyselyjen kirjoittamisprosessin useiden taulukoiden ETL:ää varten (sekä kertaluonteinen että inkrementaalinen) luomalla automaattisia skriptejä.
• Lukenut CSV-tiedostoja kansioiden sijainneista, luonut taulukoita ja suorittanut inkrementaalisia latauksia peräkkäin.
• Asetetaan Snowflake ensisijaiseksi tallennusratkaisuksi strukturoidulle tiedolle ja hyödynnetään DBT:tä ETL-prosesseissa. Laadit SQL-pohjaisia malleja muunnoslogiikan määrittelemiseksi ja varmistit joustavuuden inkrementaalisen latauksen ja versionhallinnan avulla DBT:n avulla.
• Valmisteli muunnettuja tietoja analysoitavaksi business intelligence -työkalujen avulla, mikä helpottaa vaivattomasti oivallusten löytämistä. Suoritti säännöllisiä tarkistuksia Snowflakessa ja DBT:ssä tietojen eheyden ja putkitoimintojen ylläpitämiseksi.
• Suunnitteli ja kehitti dataputkia tietojen poimimiseksi, muuntamiseksi ja lataamiseksi eri lähteistä keskitettyyn tietovarastoon.