English
Svenska
Dansk
Dutch
Deutsch
Français
Norsk
Gopal G.
Data Engineer
Gopal on data-insinööri, jolla on yli kahdeksan vuoden kokemus säännellyiltä aloilta, kuten autoteollisuudesta, teknologiasta ja energiasta. Hän on erinomainen GCP-, Azure-, AWS- ja Snowflake-ohjelmissa, ja hänellä on asiantuntemusta koko elinkaaren kattavasta kehittämisestä, tietomallinnuksesta, tietokanta-arkkitehtuurista ja suorituskyvyn optimoinnista.
Hänen ylpeimpiin saavutuksiinsa kuuluu ETL/ELT-putkien luominen ja optimointi monipilviympäristöissä. Gopalin Google Cloud-, AWS-, Microsoft Azure- ja Snowflake-sertifikaatit korostavat hänen sitoutumistaan jatkuvaan oppimiseen ja ammatilliseen huippuosaamiseen.
Hänellä on tietotekniikan maisterin tutkinto.
Tärkein asiantuntemus
- Fact Data Modeling 8 vuotta
- ETL 8 vuotta
- Unix shell 7 vuotta
Muut taidot
- Pandas 4 vuotta
- MySQL 4 vuotta
- Apache ZooKeeper 4 vuotta
Valittu kokemus
Työllisyys
Data Engineer
Nissan Motor Corporation - 1 year 10 months
- Suunnitellut ja toteuttanut tehokkaita ja skaalautuvia dataputkia Google Cloud Platformilla (GCP) raakadatan keräämiseksi, käsittelemiseksi ja muuntamiseksi käyttökelpoisiin muotoihin analysointia ja kulutusta varten;
- Johti ja johti offshore-tiimejä, jotka toteuttivat menestyksekkäästi erilaisia tietoteknisiä tehtäviä, varmistamalla yhdenmukaisuuden projektin tavoitteiden kanssa ja ylläpitämällä laadukkaita standardeja säännöllisen viestinnän, selkeän dokumentaation ja tehokkaan tehtävien delegoinnin avulla;
- Valvoi BigQueryyn tallennettujen tietojen hallintaa ja vaatimustenmukaisuutta varmistaen Yhdistyneen kuningaskunnan ja EU:n GDPR-säännösten noudattamisen;
- Suoritti tietosuojaan kohdistuvien vaikutusten arviointeja (Data Privacy Impact Assessments, DPIA) Nissan UK Limitedin eri hankkeissa ja toteutti tarvittavat toimenpiteet riskien lieventämiseksi tai vähentämiseksi;
- Rakensit ja ylläpidit tietovarastoja, data-järviä ja data-järvitaloja GCP:ssä käyttäen palveluja, kuten BigQuery, Google Cloud Storage (GCS) ja Bigtable;
- Eri lähteistä peräisin olevien tietojen integrointi GCP:hen käyttäen palveluja, kuten Cloud Storage, Cloud Pub/Sub ja Cloud SQL;
- Toteutti asianmukaiset tiedonhallinta- ja tietoturvatoimenpiteet GCP:n identiteetin- ja pääsynhallinnan (IAM) ja tietojen menetyksen eston (DLP) avulla vaatimustenmukaisuuden varmistamiseksi;
- Rakensit Google Dataflow'ta käyttäviä dataputkia suurten tietomäärien tehokkaaseen käsittelyyn;
- Toteutti ETL/ELT-prosessit tietojen poimimiseksi eri lähteistä ja niiden lataamiseksi tietovarastoihin tai datajärviin;
- Kehitit suoratoistoputkistoja reaaliaikaista datan syöttöä varten hyödyntäen Kafkaa ja Kafka Connectia;
- Toteutti Python-pohjaisia muunnoksia ja BigQuery-proseduureja ja orkestroi niiden suorituksen saumattomasti Google Cloud Composerin avulla;
- Suunnitellut tietomuunnokset Apache Beamin avulla, jotka on optimoitu huippusuorituskykyyn Google DataProc -klustereissa.
Tekniikat:
- Tekniikat:
- Fact Data Modeling
ETL
- Unix shell
- Performance Testing
- Unit Testing
AWS S3
- Data Analytics
Looker
Snowflake
BigQuery
Pandas
MySQL
- Data Modeling
- Database testing
Apache ZooKeeper
AWS Athena
Redshift
Python
SQL
Apache Kafka
Apache Airflow
Apache Spark
Hadoop
Google Cloud
- Data Engineering
Data Engineer
Technovert - 2 years 7 months
- Kehitit ETL-prosesseja Pythonilla ja SQL:llä raakadatan muuntamiseksi käyttökelpoisiin muotoihin ja niiden lataamiseksi BigQueryyn analysointia varten;
- Rakensi ja arkkitehtoi useita dataputkia, hallinnoi end-to-end ETL- ja ELT-prosesseja GCP:ssä tapahtuvaa tietojen syöttöä ja muuntamista varten ja koordinoi tehtäviä tiimin kesken;
- Suunnitellut ja toteuttanut dataputkistoja käyttäen GCP-palveluja, kuten Dataflow, Dataproc ja Pub/Sub;
- Siirrettiin Oracle DSR BigQueryyn Dataprocin, Pythonin, Airflow'n ja Lookerin avulla;
- Suunnitteli ja kehitti Python-ingestion-kehyksen tietojen lataamiseksi BigQueryyn erilaisista lähdejärjestelmistä, mukaan lukien AR-moduulit, varastomoduulit, tiedostot ja verkkopalvelut;
- Kehitettiin putkia tietojen lataamiseksi asiakkaan Google Driveen sijoitetuista manuaalisista tiedostoista GCS:ään ja sen jälkeen BigQueryyn BigQueryn tallennettujen proseduurien avulla;
- Osallistui koodin tarkistuksiin ja osallistui GCP:n tietotekniikan parhaiden käytäntöjen kehittämiseen;
- Toteutti tietoturvaa ja käyttöoikeuksien valvontaa GCP:n Identity and Access Management (IAM) -järjestelmän ja Cloud Security Command Centerin avulla.
Tekniikat:
- Tekniikat:
Databricks
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
AWS S3
Oracle
Salesforce
- Data Analytics
Microsoft Power BI
-
Snowflake
-
BigQuery
-
Pandas
-
MySQL
- Data Modeling
- Database testing
-
Apache ZooKeeper
Azure
Azure Data Factory
Azure Synapse
-
Python
-
SQL
-
Apache Kafka
-
Apache Airflow
-
Apache Spark
-
Hadoop
-
Google Cloud
- Data Engineering
Data Engineer
Accenture - 1 year 8 months
- Suunnitellut ja toteuttanut Snowflake-tietovarastoja, kehittänyt suorituskyvyn ja tietojen saatavuuden kannalta optimoituja skeemoja, taulukoita ja näkymiä;
- Poimi tietoja Oracle-tietokannoista, muutti ne CSV-tiedostoiksi ja latasi nämä tiedostot Snowflake-tietovarastovaiheeseen, jota isännöitiin AWS S3:ssa, varmistaen turvallisen ja tehokkaan tiedonsiirron ja tallennuksen;
- Luotu ja hyödynnetty virtuaalivarastoja Snowflakessa liiketoimintavaatimusten perusteella, seurattu tehokkaasti luoton käyttöä liiketoiminnan näkemysten ja resurssien kohdentamisen parantamiseksi;
- Suunnittelit ja konfiguroit Snowpipe-putkistoja saumatonta ja lähes reaaliaikaista tietojen lataamista varten, mikä vähentää manuaalisia toimenpiteitä ja parantaa tietojen tuoreutta;
- Parsittiin XML-tiedot ja järjestettiin ne jäsenneltyihin Snowflake-taulukoihin tietojen tehokasta tallentamista ja saumatonta tietojen analysointia varten;
- Suunnitellut ja toteuttanut JSON-tietojen sisäänottoputkia hyödyntäen Snowflaken ominaisuuksia käsitellä sisäkkäisiä ja monimutkaisia JSON-rakenteita;
- Suunnitellut ja ottanut käyttöön Amazon Redshift -klustereita optimoimalla skeemojen suunnittelua, jakeluavaimia ja lajitteluavaimia optimaalisen kyselysuorituskyvyn saavuttamiseksi;
- Hyödynsi AWS Lambda -toimintoja ja Step Functions -toimintoja ETL-työnkulkujen orkestroimiseksi varmistaen tietojen oikeellisuuden ja oikea-aikaisen käsittelyn;
- Luonut ja ylläpitänyt tietojen visualisointeja ja raportteja Amazon QuickSightin avulla tietojen analysoinnin ja oivallusten helpottamiseksi.
Tekniikat:
- Tekniikat:
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
Oracle
- Data Analytics
Tableau
- Data Modeling
- Database testing
-
Python
-
SQL
- Data Engineering
BI Consultant, General Electric
Tech Mahindra - 2 years 7 months
- Suunnitellut ja toteuttanut Teradata-paketteja, joilla helpotetaan saumattomia tietojen louhinta-, muuntamis- ja lataustoimintoja (ETL) eri lähteistä tietovarastoihin;
- Kehitti vuorovaikutteisia ja dynaamisia raportteja SSRS:n avulla ja tarjosi sidosryhmille ajantasaisia ja oivaltavia tietovisualisointeja tietoon perustuvaa päätöksentekoa varten;
- Suoritti tiukkaa tietojen validointia ja laatutarkastuksia käsiteltyjen tietojen eheyden ja tarkkuuden varmistamiseksi;
- Optimoitu ETL-suorituskyky käyttämällä kehittyneitä tekniikoita, minkä ansiosta käsittelyaika lyheni 25 %;
- Kehitti sisäänottostrategian tietojen lataamiseksi useista lähdejärjestelmistä tietovaraston operatiiviseen kerrokseen Pythonin, SQL:n ja tallennettujen proseduurien avulla;
- Ymmärretty ja kehitetty suunnitteluasiakirjoja projektin tuotoksina;
- Toteutti SCD Type 1 ja Type 2 -toiminnallisuuksia ja kehitti mukautettuja skriptejä Teradatassa eri moduuleiden, kuten Primavera P6:n ja Oracle Project -moduulin, integrointia ja toiminnallisuuden kehittämistä varten;
- Hallinnoi ja korjasi ongelmia DWH-analyytikkona liiketoiminnan sujuvuuden varmistamiseksi;
- Valmisteli yksikkötestitapauksia ja suoritti päästä päähän -integrointitestauksen;
- Osallistui aktiivisesti suunnittelukeskusteluihin ja tarkisti ratkaisuja;
- Osallistunut vertaisarviointikeskusteluihin kehityksestä ennen siirtymistä korkeampiin ympäristöihin;
- Tietojen lataaminen useista tiedostoista yhteen kohdetaulukkoon ODI-muuttujien avulla;
- Määrittänyt ja kehittänyt ETL-kartoituksia tietojen lataamiseksi XML-tiedostoista ja monimutkaisista (jäsentymättömistä/puolistrukturoiduista) tiedostoista;
- Hyödynsi Power BI:tä suunnitellaksesi ja kehittääksesi oivaltavia visualisointeja ja interaktiivisia kojelautoja, jotka mahdollistavat sidosryhmien tietoon perustuvan päätöksenteon ja parantavat yleisiä tietoteknisiä ratkaisuja.
Tekniikat:
- Tekniikat:
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
Oracle
- Data Analytics
-
Tableau
- Data Modeling
-
SQL
- Data Engineering
Koulutus
MSc.Computer Software Engineering
University of West London · 2022 - 2023
MSc.Electronics and Communications
Jawaharlal university of Hyderabad · 2012 - 2016
Löydä seuraava kehittäjäsi päivien, ei kuukausien sisällä
Kun otat yhteyttä, järjestämme lyhyen 25 minuuttia kestävän tapaamisen, jonka aikana:
- Kartoitamme yrityksenne kehitystarvetta
- Kertoa prosessimme, jolla löydämme teille pätevän, ennakkotarkastetun kehittäjän verkostostamme
- Käymme läpi askeleet, joilla oikea ehdokas pääsee aloittamaan – useimmiten viikon sisällä