Gopal G.

Data Engineer

Gopal er en dataingeniør med over åtte års erfaring i regulerte sektorer som bilindustri, teknologi og energi. Han er enestående innen GCP, Azure, AWS og Snowflake, med ekspertise i full livssyklusutvikling, datamodellering, databasearkitektur og ytelsesoptimalisering.

Hans stolteste prestasjoner inkluderer å lage og optimalisere ETL/ELT-pipeliner på tvers av multisky-miljøer. Gopals Google Cloud, AWS, Microsoft Azure og Snowflake sertifiseringer fremhever hans forpliktelse til kontinuerlig læring og profesjonell dyktighet.

Han har en mastergrad i datateknikk.

Hovedekspertise

  • Fact Data Modeling 8 år
  • ETL
    ETL 8 år
  • Unix shell 7 år

Andre kunnskaper

  • Pandas
    Pandas 4 år
  • MySQL
    MySQL 4 år
  • Apache ZooKeeper
    Apache ZooKeeper 4 år
Gopal

Gopal G.

United Kingdom

Kom i gang

Utvalgt opplevelse

Arbeidserfaring

  • Data Engineer

    Nissan Motor Corporation - 1 year 10 months

    • Designet og implementert effektive og skalerbare datapipelines på Google Cloud Platform (GCP) for å samle inn, behandle og transformere rådata til brukbare formater for analyse og forbruk;
    • Ledet og administrert offshore-team for å implementere ulike datatekniske oppgaver, sikre samsvar med prosjektmål og opprettholde høykvalitetsstandarder gjennom regelmessig kommunikasjon, tydelig dokumentasjon og effektiv delegering av oppgaver;
    • Overvåket styring og overholdelse av data lagret i BigQuery, og sørget for at GDPR-regelverket i Storbritannia og EU ble overholdt;
    • Gjennomført konsekvensanalyser av personvernkonsekvenser (DPIA) for ulike prosjekter hos Nissan UK Limited og iverksatt nødvendige tiltak for å redusere risikoen;
    • Bygget og vedlikeholdt datavarehus, datasjøer og datasjøhus på GCP ved hjelp av tjenester som BigQuery, Google Cloud Storage (GCS) og Bigtable;
    • Integrert data fra ulike kilder i GCP ved hjelp av tjenester som Cloud Storage, Cloud Pub/Sub og Cloud SQL;
    • Implementert riktig datastyring og sikkerhetstiltak ved hjelp av GCP Identity and Access Management (IAM) og Data Loss Prevention (DLP) for å sikre samsvar;
    • Bygget datapipelines ved hjelp av Google Dataflow for å håndtere store datamengder på en effektiv måte;
    • Implementert ETL/ELT-prosesser for å hente ut data fra ulike kilder og laste dem inn i datavarehus eller datasjøer;
    • Utviklet strømmepipelines for datainntak i sanntid ved hjelp av Kafka og Kafka Connect;
    • Implementerte Python-baserte transformasjoner og BigQuery-prosedyrer, og orkestrerte kjøringen av dem sømløst ved hjelp av Google Cloud Composer;
    • Konstruerte datatransformasjoner ved hjelp av Apache Beam, optimalisert for topp ytelse på Google DataProc-klynger.

    Teknologier:

    • Teknologier:
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • AWS S3 AWS S3
    • Data Analytics
    • Looker Looker
    • Snowflake Snowflake
    • BigQuery BigQuery
    • Pandas Pandas
    • MySQL MySQL
    • Data Modeling
    • Database testing
    • Apache ZooKeeper Apache ZooKeeper
    • AWS Athena AWS Athena
    • Redshift Redshift
    • Python Python
    • SQL SQL
    • Apache Kafka Apache Kafka
    • Apache Airflow Apache Airflow
    • Apache Spark Apache Spark
    • Hadoop Hadoop
    • Google Cloud Google Cloud
    • Data Engineering

  • Data Engineer

    Technovert - 2 years 7 months

    • Utviklet ETL-prosesser ved hjelp av Python og SQL for å transformere rådata til brukbare formater og laste dem inn i BigQuery for analyse;
    • Bygget og utviklet flere datapipelines, administrert end-to-end ETL- og ELT-prosesser for datainntak og -transformasjon i GCP, og koordinert oppgaver i teamet;
    • Designet og implementert datapipelines ved hjelp av GCP-tjenester som Dataflow, Dataproc og Pub/Sub;
    • Migrerte Oracle DSR til BigQuery ved hjelp av Dataproc, Python, Airflow og Looker;
    • Designet og utviklet et Python-inntaksrammeverk for å laste inn data fra ulike kildesystemer, inkludert AR-moduler, lagermoduler, filer og nettjenester, til BigQuery;
    • Utviklet pipelines for å laste inn data fra kundeplasserte manuelle filer i Google Drive til GCS og deretter til BigQuery ved hjelp av BigQuery-lagrede prosedyrer;
    • Deltatt i kodegjennomganger og bidratt til utviklingen av beste praksis for datateknikk på GCP;
    • Implementert datasikkerhet og tilgangskontroller ved hjelp av GCPs Identity and Access Management (IAM) og Cloud Security Command Center.

    Teknologier:

    • Teknologier:
    • Databricks Databricks
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • AWS S3 AWS S3
    • Oracle Oracle
    • Salesforce Salesforce
    • Data Analytics
    • Microsoft Power BI Microsoft Power BI
    • Snowflake Snowflake
    • BigQuery BigQuery
    • Pandas Pandas
    • MySQL MySQL
    • Data Modeling
    • Database testing
    • Apache ZooKeeper Apache ZooKeeper
    • Azure Azure
    • Azure Data Factory Azure Data Factory
    • Azure Synapse Azure Synapse
    • Python Python
    • SQL SQL
    • Apache Kafka Apache Kafka
    • Apache Airflow Apache Airflow
    • Apache Spark Apache Spark
    • Hadoop Hadoop
    • Google Cloud Google Cloud
    • Data Engineering

  • Data Engineer

    Accenture - 1 year 8 months

    • Designet og implementerte Snowflake-datavarehus, og utviklet skjemaer, tabeller og visninger optimalisert for ytelse og datatilgjengelighet;
    • Hentet ut data fra Oracle-databaser, konverterte dem til CSV-filer og lastet disse filene inn i et Snowflake-datavarehus på AWS S3, noe som sørget for sikker og effektiv dataoverføring og -lagring;
    • Opprettet og benyttet virtuelle varehus i Snowflake basert på forretningskrav, og sporet effektivt kredittbruk for å forbedre forretningsinnsikt og ressursallokering;
    • Designet og konfigurerte Snowpipe-pipelines for sømløs og nesten sanntids datalasting, noe som reduserte manuell inngripen og forbedret datafriskhet;
    • Parset XML-data og organiserte dem i strukturerte Snowflake-tabeller for effektiv datalagring og sømløs dataanalyse;
    • Designet og implementerte JSON-datainntaksrørledninger, og utnyttet Snowflakes evner til å håndtere nestede og komplekse JSON-strukturer;
    • Designet og distribuerte Amazon Redshift-klynger, optimaliserte skjemadesign, distribusjonsnøkler og sorteringsnøkler for optimal spørringsytelse;
    • Utnyttet AWS Lambda-funksjoner og Step Functions for å orkestrere ETL-arbeidsflyter, noe som sikrer datanøyaktighet og rettidig behandling;
    • Opprettet og vedlikeholdt datavisualiseringer og rapporter ved hjelp av Amazon QuickSight for å legge til rette for dataanalyse og innsikt.

    Teknologier:

    • Teknologier:
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • Oracle Oracle
    • Data Analytics
    • Tableau Tableau
    • Data Modeling
    • Database testing
    • Python Python
    • SQL SQL
    • Data Engineering

  • BI Consultant, General Electric

    Tech Mahindra - 2 years 7 months

    • Utformet og implementerte Teradata-pakker for å legge til rette for sømløs datautvinning, -transformasjon og -innlasting (ETL) fra ulike kilder til datavarehus;
    • Utviklet interaktive og dynamiske rapporter ved hjelp av SSRS, som gir interessenter innsiktsfulle datavisualiseringer til rett tid, slik at de kan ta informerte beslutninger;
    • Gjennomført strenge datavaliderings- og kvalitetskontroller for å sikre integriteten og nøyaktigheten til de behandlede dataene;
    • Optimalisert ETL-ytelse ved hjelp av avanserte teknikker, noe som resulterte i en 25 % reduksjon i prosesseringstiden;
    • Utviklet en strategi for innlasting av data fra flere kildesystemer til det operative laget i datavarehuset ved hjelp av Python, SQL og lagrede prosedyrer;
    • Forstått og utviklet designdokumenter som leveranse for prosjektet;
    • Implementert SCD Type 1 og Type 2-funksjonalitet og utviklet tilpassede skript i Teradata for integrasjon og utvikling av funksjonalitet for ulike moduler som Primavera P6 og Oracle Project-modulen;
    • Administrert og feilsøkt problemer som DWH-analytiker for å sikre en jevn flyt i forretningsdriften;
    • Utarbeidet enhetstesttilfeller og utført integrasjonstesting fra ende til ende;
    • Delta aktivt i designdiskusjoner og gjennomgå løsninger;
    • Deltatt i fagfellediskusjoner om utvikling før du flyttet til høyere miljøer;
    • Lastet data fra flere filer til en enkelt måltabell ved hjelp av ODI-variabler;
    • Konfigurert og utviklet ETL-kartlegginger for å laste inn data fra XML og komplekse (ustrukturerte/halvstrukturerte) filer;
    • Brukt Power BI til å designe og utvikle innsiktsfulle visualiseringer og interaktive dashbord, noe som muliggjør datadrevet beslutningstaking for interessenter og forbedrer overordnede datatekniske løsninger.

    Teknologier:

    • Teknologier:
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • Oracle Oracle
    • Data Analytics
    • Tableau Tableau
    • Data Modeling
    • SQL SQL
    • Data Engineering

Utdannelse

  • MSc.Computer Software Engineering

    University of West London · 2022 - 2023

  • MSc.Electronics and Communications

    Jawaharlal university of Hyderabad · 2012 - 2016

Finn din neste utvikler innen dager, ikke måneder

I løpet av en kort 25-minutters samtale ønsker vi å:

  • Forstå dine utviklingsbehov
  • Forklare prosessen vår der vi matcher deg med kvalifiserte, evaluerte utviklere fra vårt nettverk
  • Dele de neste stegene for å finne riktig match, ofte på mindre enn en uke

La oss ta en prat

Den første utvikleren begynner innen få dager. Ingen aggresive salgsargumenter.