Gopal G.

Data Engineer

Gopal är dataingenjör med över åtta års erfarenhet inom reglerade sektorer som fordonsindustri, teknik och energi. Han arbetar med GCP, Azure, AWS och Snowflake och har expertis inom utveckling i hela livscykeln, datamodellering, databasarkitektur och prestandaoptimering.

Hans stoltaste prestationer inkluderar skapande och optimering av ETL/ELT-pipelines i multi-cloud-miljöer. Gopals certifieringar inom Google Cloud, AWS, Microsoft Azure och Snowflake visar på hans engagemang för kontinuerligt lärande och professionell excellens.

Han har en magisterexamen i datateknik.

Huvudsaklig expertis

  • Fact Data Modeling 8 år
  • ETL
    ETL 8 år
  • Unix shell 7 år

Andra kompetenser

  • Pandas
    Pandas 4 år
  • MySQL
    MySQL 4 år
  • Apache ZooKeeper
    Apache ZooKeeper 4 år
Gopal

Gopal G.

United Kingdom

Hitta en utvecklare

Utvald erfarenhet

Anställningar

  • Data Engineer

    Nissan Motor Corporation - 1 år 10 månader

    • Utforma och implementera effektiva och skalbara datapipelines på Google Cloud Platform (GCP) för att samla in, bearbeta och omvandla rådata till användbara format för analys och konsumtion;
    • Ledde och hanterade offshore-team för att framgångsrikt genomföra olika datatekniska uppgifter, säkerställa anpassning till projektmål och upprätthålla högkvalitativa standarder genom regelbunden kommunikation, tydlig dokumentation och effektiv uppgiftsdelegering;
    • Övervakade styrning och efterlevnad av data som lagras i BigQuery, vilket säkerställde efterlevnad av GDPR-reglerna i Storbritannien och EU;
    • Genomfört konsekvensbedömningar av dataskydd (DPIA) för olika projekt på Nissan UK Limited och genomfört nödvändiga åtgärder för att mildra eller minska riskerna;
    • Byggt och underhållit datalager, datasjöar och datasjöhus på GCP med hjälp av tjänster som BigQuery, Google Cloud Storage (GCS) och Bigtable;
    • Integrerade data från olika källor till GCP med hjälp av tjänster som Cloud Storage, Cloud Pub/Sub och Cloud SQL;
    • Implementerade korrekt datastyrning och säkerhetsåtgärder med hjälp av GCP Identity and Access Management (IAM) och Data Loss Prevention (DLP) för att säkerställa efterlevnad;
    • Byggde datapipelines med hjälp av Google Dataflow för att effektivt hantera stora volymer data;
    • Implementerade ETL/ELT-processer för att extrahera data från olika källor och ladda dem i datalager eller datasjöar;
    • Utvecklade strömmande rörledningar för datainmatning i realtid med hjälp av Kafka och Kafka Connect;
    • Implementerade Python-baserade transformationer och BigQuery-procedurer och orkestrerade deras exekvering sömlöst med hjälp av Google Cloud Composer;
    • Konstruerade datatransformationer med Apache Beam, optimerade för topprestanda på Google DataProc-kluster.

    Teknologier:

    • Teknologier:
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • AWS S3 AWS S3
    • Data Analytics
    • Looker Looker
    • Snowflake Snowflake
    • BigQuery BigQuery
    • Pandas Pandas
    • MySQL MySQL
    • Data Modeling
    • Database testing
    • Apache ZooKeeper Apache ZooKeeper
    • AWS Athena AWS Athena
    • Redshift Redshift
    • Python Python
    • SQL SQL
    • Apache Kafka Apache Kafka
    • Apache Airflow Apache Airflow
    • Apache Spark Apache Spark
    • Hadoop Hadoop
    • Google Cloud Google Cloud
    • Data Engineering

  • Data Engineer

    Technovert - 2 år 7 månader

    • Utvecklade ETL-processer med hjälp av Python och SQL för att omvandla rådata till användbara format och ladda dem i BigQuery för analys;
    • Byggde och arkitekterade flera datapipelines, hanterade end-to-end ETL- och ELT-processer för datainmatning och transformation i GCP och samordnade uppgifter bland teamet;
    • Utforma och implementera datapipelines med hjälp av GCP-tjänster som Dataflow, Dataproc och Pub/Sub;
    • Migrerade Oracle DSR till BigQuery med hjälp av Dataproc, Python, Airflow och Looker;
    • Designat och utvecklat ett Python ingestion framework för att ladda data från olika källsystem, inklusive AR-moduler, inventeringsmoduler, filer och webbtjänster, till BigQuery;
    • Utvecklade pipelines för att ladda data från kundplacerade manuella filer i Google Drive till GCS och därefter till BigQuery med hjälp av BigQuery-lagrade procedurer;
    • Deltog i kodgranskningar och bidrog till utvecklingen av bästa praxis för datateknik på GCP;
    • Implementerade datasäkerhet och åtkomstkontroller med hjälp av GCP:s Identity and Access Management (IAM) och Cloud Security Command Center.

    Teknologier:

    • Teknologier:
    • Databricks Databricks
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • AWS S3 AWS S3
    • Oracle Oracle
    • Salesforce Salesforce
    • Data Analytics
    • Microsoft Power BI Microsoft Power BI
    • Snowflake Snowflake
    • BigQuery BigQuery
    • Pandas Pandas
    • MySQL MySQL
    • Data Modeling
    • Database testing
    • Apache ZooKeeper Apache ZooKeeper
    • Azure Azure
    • Azure Data Factory Azure Data Factory
    • Azure Synapse Azure Synapse
    • Python Python
    • SQL SQL
    • Apache Kafka Apache Kafka
    • Apache Airflow Apache Airflow
    • Apache Spark Apache Spark
    • Hadoop Hadoop
    • Google Cloud Google Cloud
    • Data Engineering

  • Data Engineer

    Accenture - 1 år 8 månader

    • Utforma och implementera Snowflake-datalager, utveckla scheman, tabeller och vyer optimerade för prestanda och datatillgänglighet;
    • Extraherade data från Oracle-databaser, omvandlade dem till CSV-filer och laddade dessa filer till ett Snowflake-datalagerstadium som var värd på AWS S3, vilket säkerställde säker och effektiv dataöverföring och lagring;
    • Skapade och använde virtuella lager i Snowflake baserat på affärskrav, spårade effektivt kreditanvändning för att förbättra affärsinsikter och resursallokering;
    • Utformade och konfigurerade Snowpipe-pipelines för sömlös dataladdning i nära realtid, vilket minskade manuella ingrepp och förbättrade datafriskheten;
    • Parsade XML-data och organiserade dem i strukturerade Snowflake-tabeller för effektiv datalagring och sömlös dataanalys;
    • Utforma och implementera pipelines för JSON-datainmatning genom att utnyttja Snowflakes möjligheter att hantera kapslade och komplexa JSON-strukturer;
    • Utformade och distribuerade Amazon Redshift-kluster, optimerade schemadesign, distributionsnycklar och sorteringsnycklar för optimal frågeprestanda;
    • Utnyttjade AWS Lambda-funktioner och Step Functions för att orkestrera ETL-arbetsflöden, vilket säkerställde datanoggrannhet och snabb bearbetning;
    • Skapar och underhåller datavisualiseringar och rapporter med hjälp av Amazon QuickSight för att underlätta dataanalys och insikter.

    Teknologier:

    • Teknologier:
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • Oracle Oracle
    • Data Analytics
    • Tableau Tableau
    • Data Modeling
    • Database testing
    • Python Python
    • SQL SQL
    • Data Engineering

  • BI Consultant, General Electric

    Tech Mahindra - 2 år 7 månader

    • Utformade och implementerade Teradata-paket för att underlätta sömlös extraktion, omvandling och laddning (ETL) av data från olika källor till datalager;
    • Utvecklade interaktiva och dynamiska rapporter med hjälp av SSRS, vilket gav intressenter aktuella och insiktsfulla datavisualiseringar för informerat beslutsfattande;
    • Genomförde rigorös datavalidering och kvalitetskontroller för att säkerställa integriteten och noggrannheten i behandlade data;
    • Optimerade ETL-prestanda genom att använda avancerade tekniker, vilket resulterade i en minskning av bearbetningstiden med 25%;
    • Utvecklade ingångsstrategin för att ladda data från flera källsystem till det operativa lagret i datalagret med hjälp av Python, SQL och lagrade procedurer;
    • Förstått och utvecklat designdokument som leverabler för projektet;
    • Implementerat SCD typ 1 och typ 2 funktionalitet och utvecklat anpassade skript i Teradata för integration och funktionsutveckling för olika moduler som Primavera P6 och Oracle Project-modulen;
    • Hanterade och felsökte problem som DWH-analytiker för att säkerställa ett smidigt flöde av affärsverksamheten;
    • Förbereda enhetstestfall och utföra end-to-end integrationstestning;
    • Deltog aktivt i designdiskussioner och granskade lösningar;
    • Deltagit i peer review-diskussioner om utveckling innan jag flyttade till högre miljöer;
    • Laddade data från flera filer till en enda måltabell med hjälp av ODI-variabler;
    • Konfigurera och utveckla ETL-mappningar för att ladda data från XML och komplexa (ostrukturerade/semistrukturerade) filer;
    • Använder Power BI för att designa och utveckla insiktsfulla visualiseringar och interaktiva instrumentpaneler, vilket möjliggör datadrivet beslutsfattande för intressenter och förbättrar övergripande datatekniska lösningar.

    Teknologier:

    • Teknologier:
    • Fact Data Modeling
    • ETL ETL
    • Unix shell
    • Performance Testing
    • Unit Testing
    • Oracle Oracle
    • Data Analytics
    • Tableau Tableau
    • Data Modeling
    • SQL SQL
    • Data Engineering

Utbildning

  • MSc.Computer Software Engineering

    University of West London · 2022 - 2023

  • MSc.Electronics and Communications

    Jawaharlal university of Hyderabad · 2012 - 2016

Hitta din nästa utvecklare inom ett par dagar

Ge oss 25 minuter av din tid, så kommer vi att:

  • Sätta oss in i dina utmaningar och behov
  • Berätta om våra seniora och beprövade utvecklare
  • Förklara hur vi kan matcha dig med precis rätt utvecklare

Låt oss ta ett kort digitalt möte.

Ingen aggressiv säljpitch, vi lovar!