Gopal G.

Data Engineer

Gopal on data-insinööri, jolla on yli kahdeksan vuoden kokemus säännellyiltä aloilta, kuten autoteollisuudesta, teknologiasta ja energiasta. Hän on erinomainen GCP-, Azure-, AWS- ja Snowflake-ohjelmissa, ja hänellä on asiantuntemusta koko elinkaaren kattavasta kehittämisestä, tietomallinnuksesta, tietokanta-arkkitehtuurista ja suorituskyvyn optimoinnista.

Hänen ylpeimpiin saavutuksiinsa kuuluu ETL/ELT-putkien luominen ja optimointi monipilviympäristöissä. Gopalin Google Cloud-, AWS-, Microsoft Azure- ja Snowflake-sertifikaatit korostavat hänen sitoutumistaan jatkuvaan oppimiseen ja ammatilliseen huippuosaamiseen.

Hänellä on tietotekniikan maisterin tutkinto.

Tärkein asiantuntemus

  • Databricks
    Databricks 1 vuotta
  • Fact Data Modeling 8 vuotta
  • ETL
    ETL 8 vuotta

Muut taidot

  • Pandas
    Pandas 4 vuotta
  • MySQL
    MySQL 4 vuotta
  • Apache ZooKeeper
    Apache ZooKeeper 4 vuotta
Gopal

Gopal G.

India

Aloita tästä

Valittu kokemus

Työllisyys

  • Data Engineer

    Nissan Motor Corporation - 2 years 1 month

    • Suunnitellut ja toteuttanut tehokkaita ja skaalautuvia dataputkia Google Cloud Platformilla (GCP) raakadatan keräämiseksi, käsittelemiseksi ja muuntamiseksi käyttökelpoisiin muotoihin analysointia ja kulutusta varten;
    • Johti ja johti offshore-tiimejä, jotka toteuttivat menestyksekkäästi erilaisia tietoteknisiä tehtäviä, varmistamalla yhdenmukaisuuden projektin tavoitteiden kanssa ja ylläpitämällä laadukkaita standardeja säännöllisen viestinnän, selkeän dokumentaation ja tehokkaan tehtävien delegoinnin avulla;
    • Valvoi BigQueryyn tallennettujen tietojen hallintaa ja vaatimustenmukaisuutta varmistaen Yhdistyneen kuningaskunnan ja EU:n GDPR-säännösten noudattamisen;
    • Suoritti tietosuojaan kohdistuvien vaikutusten arviointeja (Data Privacy Impact Assessments, DPIA) Nissan UK Limitedin eri hankkeissa ja toteutti tarvittavat toimenpiteet riskien lieventämiseksi tai vähentämiseksi;
    • Rakensit ja ylläpidit tietovarastoja, data-järviä ja data-järvitaloja GCP:ssä käyttäen palveluja, kuten BigQuery, Google Cloud Storage (GCS) ja Bigtable;
    • Eri lähteistä peräisin olevien tietojen integrointi GCP:hen käyttäen palveluja, kuten Cloud Storage, Cloud Pub/Sub ja Cloud SQL;
    • Toteutti asianmukaiset tiedonhallinta- ja tietoturvatoimenpiteet GCP:n identiteetin- ja pääsynhallinnan (IAM) ja tietojen menetyksen eston (DLP) avulla vaatimustenmukaisuuden varmistamiseksi;
    • Rakensit Google Dataflow'ta käyttäviä dataputkia suurten tietomäärien tehokkaaseen käsittelyyn;
    • Toteutti ETL/ELT-prosessit tietojen poimimiseksi eri lähteistä ja niiden lataamiseksi tietovarastoihin tai datajärviin;
    • Kehitit suoratoistoputkistoja reaaliaikaista datan syöttöä varten hyödyntäen Kafkaa ja Kafka Connectia;
    • Toteutti Python-pohjaisia muunnoksia ja BigQuery-proseduureja ja orkestroi niiden suorituksen saumattomasti Google Cloud Composerin avulla;
    • Suunnitellut tietomuunnokset Apache Beamin avulla, jotka on optimoitu huippusuorituskykyyn Google DataProc -klustereissa.

    Tekniikat:

    • Tekniikat:
    • Google Cloud Google Cloud
    • Pandas Pandas
    • AWS Athena AWS Athena
    • BigQuery BigQuery
    • Data Analytics
    • Hadoop Hadoop
    • Fact Data Modeling
    • Redshift Redshift
    • dbt dbt
    • Apache ZooKeeper Apache ZooKeeper
    • Looker Looker
    • Dataflow Dataflow

  • Data Engineer

    Technovert - 2 years 7 months

    • Kehitit ETL-prosesseja Pythonilla ja SQL:llä raakadatan muuntamiseksi käyttökelpoisiin muotoihin ja niiden lataamiseksi BigQueryyn analysointia varten;
    • Rakensi ja arkkitehtoi useita dataputkia, hallinnoi end-to-end ETL- ja ELT-prosesseja GCP:ssä tapahtuvaa tietojen syöttöä ja muuntamista varten ja koordinoi tehtäviä tiimin kesken;
    • Suunnitellut ja toteuttanut dataputkistoja käyttäen GCP-palveluja, kuten Dataflow, Dataproc ja Pub/Sub;
    • Siirrettiin Oracle DSR BigQueryyn Dataprocin, Pythonin, Airflow'n ja Lookerin avulla;
    • Suunnitteli ja kehitti Python-ingestion-kehyksen tietojen lataamiseksi BigQueryyn erilaisista lähdejärjestelmistä, mukaan lukien AR-moduulit, varastomoduulit, tiedostot ja verkkopalvelut;
    • Kehitettiin putkia tietojen lataamiseksi asiakkaan Google Driveen sijoitetuista manuaalisista tiedostoista GCS:ään ja sen jälkeen BigQueryyn BigQueryn tallennettujen proseduurien avulla;
    • Osallistui koodin tarkistuksiin ja osallistui GCP:n tietotekniikan parhaiden käytäntöjen kehittämiseen;
    • Toteutti tietoturvaa ja käyttöoikeuksien valvontaa GCP:n Identity and Access Management (IAM) -järjestelmän ja Cloud Security Command Centerin avulla.

    Tekniikat:

    • Tekniikat:
    • Oracle Oracle
    • Azure Data Factory Azure Data Factory
    • Pandas Pandas
    • Cloudera Cloudera
    • BigQuery BigQuery
    • SSIS SSIS
    • Unix Unix
    • Data Analytics
    • Azure Synapse Azure Synapse
    • Hadoop Hadoop
    • Fact Data Modeling
    • Apache ZooKeeper Apache ZooKeeper
    • Salesforce Salesforce

  • Data Engineer

    Accenture - 1 year 8 months

    • Suunnitellut ja toteuttanut Snowflake-tietovarastoja, kehittänyt suorituskyvyn ja tietojen saatavuuden kannalta optimoituja skeemoja, taulukoita ja näkymiä;
    • Poimi tietoja Oracle-tietokannoista, muutti ne CSV-tiedostoiksi ja latasi nämä tiedostot Snowflake-tietovarastovaiheeseen, jota isännöitiin AWS S3:ssa, varmistaen turvallisen ja tehokkaan tiedonsiirron ja tallennuksen;
    • Luotu ja hyödynnetty virtuaalivarastoja Snowflakessa liiketoimintavaatimusten perusteella, seurattu tehokkaasti luoton käyttöä liiketoiminnan näkemysten ja resurssien kohdentamisen parantamiseksi;
    • Suunnittelit ja konfiguroit Snowpipe-putkistoja saumatonta ja lähes reaaliaikaista tietojen lataamista varten, mikä vähentää manuaalisia toimenpiteitä ja parantaa tietojen tuoreutta;
    • Parsittiin XML-tiedot ja järjestettiin ne jäsenneltyihin Snowflake-taulukoihin tietojen tehokasta tallentamista ja saumatonta tietojen analysointia varten;
    • Suunnitellut ja toteuttanut JSON-tietojen sisäänottoputkia hyödyntäen Snowflaken ominaisuuksia käsitellä sisäkkäisiä ja monimutkaisia JSON-rakenteita;
    • Suunnitellut ja ottanut käyttöön Amazon Redshift -klustereita optimoimalla skeemojen suunnittelua, jakeluavaimia ja lajitteluavaimia optimaalisen kyselysuorituskyvyn saavuttamiseksi;
    • Hyödynsi AWS Lambda -toimintoja ja Step Functions -toimintoja ETL-työnkulkujen orkestroimiseksi varmistaen tietojen oikeellisuuden ja oikea-aikaisen käsittelyn;
    • Luonut ja ylläpitänyt tietojen visualisointeja ja raportteja Amazon QuickSightin avulla tietojen analysoinnin ja oivallusten helpottamiseksi.

    Tekniikat:

    • Tekniikat:
    • Oracle Oracle
    • Data Analytics
    • Tableau Tableau
    • Fact Data Modeling

  • BI Consultant, General Electric

    Tech Mahindra - 2 years 7 months

    • Suunnitellut ja toteuttanut Teradata-paketteja, joilla helpotetaan saumattomia tietojen louhinta-, muuntamis- ja lataustoimintoja (ETL) eri lähteistä tietovarastoihin;
    • Kehitti vuorovaikutteisia ja dynaamisia raportteja SSRS:n avulla ja tarjosi sidosryhmille ajantasaisia ja oivaltavia tietovisualisointeja tietoon perustuvaa päätöksentekoa varten;
    • Suoritti tiukkaa tietojen validointia ja laatutarkastuksia käsiteltyjen tietojen eheyden ja tarkkuuden varmistamiseksi;
    • Optimoitu ETL-suorituskyky käyttämällä kehittyneitä tekniikoita, minkä ansiosta käsittelyaika lyheni 25 %;
    • Kehitti sisäänottostrategian tietojen lataamiseksi useista lähdejärjestelmistä tietovaraston operatiiviseen kerrokseen Pythonin, SQL:n ja tallennettujen proseduurien avulla;
    • Ymmärretty ja kehitetty suunnitteluasiakirjoja projektin tuotoksina;
    • Toteutti SCD Type 1 ja Type 2 -toiminnallisuuksia ja kehitti mukautettuja skriptejä Teradatassa eri moduuleiden, kuten Primavera P6:n ja Oracle Project -moduulin, integrointia ja toiminnallisuuden kehittämistä varten;
    • Hallinnoi ja korjasi ongelmia DWH-analyytikkona liiketoiminnan sujuvuuden varmistamiseksi;
    • Valmisteli yksikkötestitapauksia ja suoritti päästä päähän -integrointitestauksen;
    • Osallistui aktiivisesti suunnittelukeskusteluihin ja tarkisti ratkaisuja;
    • Osallistunut vertaisarviointikeskusteluihin kehityksestä ennen siirtymistä korkeampiin ympäristöihin;
    • Tietojen lataaminen useista tiedostoista yhteen kohdetaulukkoon ODI-muuttujien avulla;
    • Määrittänyt ja kehittänyt ETL-kartoituksia tietojen lataamiseksi XML-tiedostoista ja monimutkaisista (jäsentymättömistä/puolistrukturoiduista) tiedostoista;
    • Hyödynsi Power BI:tä suunnitellaksesi ja kehittääksesi oivaltavia visualisointeja ja interaktiivisia kojelautoja, jotka mahdollistavat sidosryhmien tietoon perustuvan päätöksenteon ja parantavat yleisiä tietoteknisiä ratkaisuja.

    Tekniikat:

    • Tekniikat:
    • Oracle Oracle
    • Data Analytics
    • XML XML
    • Tableau Tableau
    • Fact Data Modeling

Koulutus

  • MSc.Computer Software Engineering

    University of West London · 2022 - 2023

  • MSc.Electronics and Communications

    Jawaharlal university of Hyderabad · 2012 - 2016

Löydä seuraava kehittäjäsi päivien, ei kuukausien sisällä

Kun otat yhteyttä, järjestämme lyhyen 25 minuuttia kestävän tapaamisen, jonka aikana:

  • Kartoitamme yrityksenne kehitystarvetta
  • Kertoa prosessimme, jolla löydämme teille pätevän, ennakkotarkastetun kehittäjän verkostostamme
  • Käymme läpi askeleet, joilla oikea ehdokas pääsee aloittamaan – useimmiten viikon sisällä

Keskustele kanssamme

Ensimmäinen kehittäjä pääsee yleensä aloittamaan muutaman päivän sisällä yhteydenotosta.