Gopal G.

Data Engineer

Gopal er dataingeniør med over otte års erfaring inden for regulerede sektorer som bilindustrien, teknologi og energi. Han udmærker sig i GCP, Azure, AWS og Snowflake med ekspertise inden for udvikling i hele livscyklussen, datamodellering, databasearkitektur og optimering af ydeevne.

Hans stolteste resultater omfatter oprettelse og optimering af ETL/ELT-pipelines på tværs af multi-cloud-miljøer. Gopals certificeringer i Google Cloud, AWS, Microsoft Azure og Snowflake understreger hans engagement i løbende læring og professionel ekspertise.

Han har en kandidatgrad i datateknik.

Hovedekspertise

  • Fact Data Modeling 8 år
  • ETL
    ETL 8 år
  • Unix shell 7 år

Andre færdigheder

  • Pandas
    Pandas 4 år
  • MySQL
    MySQL 4 år
  • Apache ZooKeeper
    Apache ZooKeeper 4 år
Gopal

Gopal G.

United Kingdom

Match med udvikler her

Udvalgt oplevelse

Beskæftigelse

  • Data Engineer

    Nissan Motor Corporation - 1 år 10 måneder

    • Designet og implementeret effektive og skalerbare datapipelines på Google Cloud Platform (GCP) til at indsamle, behandle og omdanne rådata til brugbare formater til analyse og forbrug;
    • Ledte og administrerede offshore-teams for at implementere forskellige datatekniske opgaver med succes, sikre tilpasning til projektmål og opretholde standarder af høj kvalitet gennem regelmæssig kommunikation, klar dokumentation og effektiv uddelegering af opgaver;
    • Overvågning af styring og overholdelse af data, der er gemt i BigQuery, og sikring af overholdelse af GDPR-reglerne i Storbritannien og EU;
    • Gennemført konsekvensanalyser af databeskyttelse (DPIA) for forskellige projekter hos Nissan UK Limited og implementeret nødvendige foranstaltninger for at afbøde eller reducere risici;
    • Bygget og vedligeholdt datalagre, datasøer og datasøhuse på GCP ved hjælp af tjenester som BigQuery, Google Cloud Storage (GCS) og Bigtable;
    • Integreret data fra forskellige kilder i GCP ved hjælp af tjenester som Cloud Storage, Cloud Pub/Sub og Cloud SQL;
    • Implementeret korrekt datastyring og sikkerhedsforanstaltninger ved hjælp af GCP Identity and Access Management (IAM) og Data Loss Prevention (DLP) for at sikre overholdelse;
    • Bygget datapipelines ved hjælp af Google Dataflow til effektiv håndtering af store datamængder;
    • Implementeret ETL/ELT-processer for at udtrække data fra forskellige kilder og indlæse dem i datavarehuse eller datasøer;
    • Udviklet streaming pipelines til indlæsning af data i realtid ved hjælp af Kafka og Kafka Connect;
    • Implementeret Python-baserede transformationer og BigQuery-procedurer og orkestreret deres udførelse problemfrit ved hjælp af Google Cloud Composer;
    • Konstruerede datatransformationer ved hjælp af Apache Beam, optimeret til maksimal ydeevne på Google DataProc-klynger.

    Teknologier:

    • Teknologier:
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • AWS S3 AWS S3
    • Data Analytics
    • Looker Looker
    • Snowflake Snowflake
    • BigQuery BigQuery
    • Pandas Pandas
    • MySQL MySQL
    • Data Modeling
    • Database testing
    • Apache ZooKeeper Apache ZooKeeper
    • AWS Athena AWS Athena
    • Redshift Redshift
    • Python Python
    • SQL SQL
    • Apache Kafka Apache Kafka
    • Apache Airflow Apache Airflow
    • Apache Spark Apache Spark
    • Hadoop Hadoop
    • Google Cloud Google Cloud
    • Data Engineering

  • Data Engineer

    Technovert - 2 flere år 7 måneder

    • Udviklet ETL-processer ved hjælp af Python og SQL for at omdanne rådata til brugbare formater og indlæse dem i BigQuery til analyse;
    • Byggede og arkitekterede flere datapipelines, styrede end-to-end ETL- og ELT-processer til dataindlæsning og -transformation i GCP og koordinerede opgaver blandt teamet;
    • Designet og implementeret datapipelines ved hjælp af GCP-tjenester som Dataflow, Dataproc og Pub/Sub;
    • Migrerede Oracle DSR til BigQuery ved hjælp af Dataproc, Python, Airflow og Looker;
    • Designede og udviklede en Python-indlæsningsramme til at indlæse data fra forskellige kildesystemer, herunder AR-moduler, lagermoduler, filer og webtjenester, i BigQuery;
    • Udviklet pipelines til at indlæse data fra kundeplacerede manuelle filer i Google Drive til GCS og efterfølgende til BigQuery ved hjælp af BigQuery stored procedures;
    • Deltaget i kodegennemgange og bidraget til udviklingen af bedste praksis for datateknik på GCP;
    • Implementeret datasikkerhed og adgangskontrol ved hjælp af GCP's Identity and Access Management (IAM) og Cloud Security Command Center.

    Teknologier:

    • Teknologier:
    • Databricks Databricks
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • AWS S3 AWS S3
    • Oracle Oracle
    • Salesforce Salesforce
    • Data Analytics
    • Microsoft Power BI Microsoft Power BI
    • Snowflake Snowflake
    • BigQuery BigQuery
    • Pandas Pandas
    • MySQL MySQL
    • Data Modeling
    • Database testing
    • Apache ZooKeeper Apache ZooKeeper
    • Azure Azure
    • Azure Data Factory Azure Data Factory
    • Azure Synapse Azure Synapse
    • Python Python
    • SQL SQL
    • Apache Kafka Apache Kafka
    • Apache Airflow Apache Airflow
    • Apache Spark Apache Spark
    • Hadoop Hadoop
    • Google Cloud Google Cloud
    • Data Engineering

  • Data Engineer

    Accenture - 1 år 8 måneder

    • Designede og implementerede Snowflake-datalagre og udviklede skemaer, tabeller og visninger, der var optimeret til ydeevne og datatilgængelighed;
    • Udtræk af data fra Oracle-databaser, omdannelse til CSV-filer og indlæsning af disse filer i en Snowflake-datalagerfase, der er hostet på AWS S3, hvilket sikrer sikker og effektiv dataoverførsel og -lagring;
    • Oprettede og brugte virtuelle lagre i Snowflake baseret på forretningskrav, sporede effektivt kreditforbrug for at forbedre forretningsindsigt og ressourceallokering;
    • Designede og konfigurerede Snowpipe-pipelines til problemfri dataindlæsning i næsten realtid, hvilket reducerede manuel indgriben og forbedrede dataenes friskhed;
    • Parsede XML-data og organiserede dem i strukturerede Snowflake-tabeller for effektiv datalagring og problemfri dataanalyse;
    • Designet og implementeret JSON-dataindtagelsespipelines, der udnytter Snowflakes muligheder for at håndtere indlejrede og komplekse JSON-strukturer;
    • Design og implementering af Amazon Redshift-klynger, optimering af skemadesign, fordelingsnøgler og sorteringsnøgler for optimal forespørgselsydelse;
    • Udnyttede AWS Lambda-funktioner og Step Functions til at orkestrere ETL-workflows og sikre datanøjagtighed og rettidig behandling;
    • Oprettet og vedligeholdt datavisualiseringer og rapporter ved hjælp af Amazon QuickSight for at lette dataanalyse og indsigt.

    Teknologier:

    • Teknologier:
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • Oracle Oracle
    • Data Analytics
    • Tableau Tableau
    • Data Modeling
    • Database testing
    • Python Python
    • SQL SQL
    • Data Engineering

  • BI Consultant, General Electric

    Tech Mahindra - 2 flere år 7 måneder

    • Designede og implementerede Teradata-pakker for at lette problemfri dataudtræk, -transformation og -indlæsning (ETL) fra forskellige kilder til datalagre;
    • Udviklet interaktive og dynamiske rapporter ved hjælp af SSRS, der giver interessenter rettidige og indsigtsfulde datavisualiseringer til informeret beslutningstagning;
    • Udførte streng datavalidering og kvalitetskontrol for at sikre integriteten og nøjagtigheden af de behandlede data;
    • Optimeret ETL-ydelse ved hjælp af avancerede teknikker, hvilket resulterede i en reduktion af behandlingstiden på 25 %;
    • Udviklet indlæsningsstrategien til indlæsning af data fra flere kildesystemer til det operationelle lag i datalageret ved hjælp af Python, SQL og lagrede procedurer;
    • Forstået og udviklet designdokumenter som leverancer til projektet;
    • Implementeret SCD Type 1 og Type 2 funktionalitet og udviklet brugerdefinerede scripts i Teradata til integration og udvikling af funktionalitet til forskellige moduler som Primavera P6 og Oracle Project-modulet;
    • Administrerede og fejlsøgte problemer som DWH-analytiker for at sikre et jævnt flow i forretningsdriften;
    • Forberedte unit test cases og udførte end-to-end integrationstest;
    • Deltog aktivt i designdiskussioner og gennemgik løsninger;
    • Deltaget i peer review-diskussioner om udvikling, før du flyttede til højere miljøer;
    • Indlæsning af data fra flere filer til en enkelt måltabel ved hjælp af ODI-variabler;
    • Konfigureret og udviklet ETL-mappings til at indlæse data fra XML og komplekse (ustrukturerede/semistrukturerede) filer;
    • Brugte Power BI til at designe og udvikle indsigtsfulde visualiseringer og interaktive dashboards, der muliggjorde datadrevet beslutningstagning for interessenter og forbedrede overordnede datatekniske løsninger.

    Teknologier:

    • Teknologier:
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • Oracle Oracle
    • Data Analytics
    • Tableau Tableau
    • Data Modeling
    • SQL SQL
    • Data Engineering

Uddannelse

  • MSc.Computer Software Engineering

    University of West London · 2022 - 2023

  • MSc.Electronics and Communications

    Jawaharlal university of Hyderabad · 2012 - 2016

Find din næste udvikler inden for få dage, ikke måneder

Book en 25-minutters samtale, hvor vi:

  • udfører behovsafdækning med fokus på udviklingsopgaver
  • Forklar vores proces, hvor vi matcher dig med kvalificerede, godkendte udviklere fra vores netværk
  • beskriver de næste trin for at finde det perfekte match på få dage

Lad os snakke om det

I kan starte samarbejdet inden for få dage.