English
Svenska
Dansk
Deutsch
Français
Norsk
Suomi
Gopal G.
Data Engineer
Gopal is een Data Engineer met meer dan acht jaar ervaring in gereguleerde sectoren zoals de auto-industrie, technologie en energie. Hij blinkt uit in GCP, Azure, AWS en Snowflake, met expertise in volledige levenscyclusontwikkeling, datamodellering, databasearchitectuur en prestatieoptimalisatie.
Tot zijn meest trotse prestaties behoren het creëren en optimaliseren van ETL/ELT-pijplijnen in multi-cloudomgevingen. Gopals Google Cloud-, AWS-, Microsoft Azure- en Snowflake-certificeringen onderstrepen zijn streven naar continu leren en professionele uitmuntendheid.
Hij heeft een mastergraad in Computer Engineering.
Hoofd expertise
- Fact Data Modeling 8 jaar
- ETL 8 jaar
- Unix shell 7 jaar
Andere vaardigheden
- Pandas 4 jaar
- MySQL 4 jaar
- Apache ZooKeeper 4 jaar
Geselecteerde ervaring
Dienstverband
Data Engineer
Nissan Motor Corporation - 1 jaar 10 maanden
- Ontwerpen en implementeren van efficiënte en schaalbare data pipelines op Google Cloud Platform (GCP) voor het verzamelen, verwerken en transformeren van ruwe data naar bruikbare formaten voor analyse en consumptie;
- Je hebt offshore teams geleid en gemanaged om verschillende data-engineeringstaken succesvol uit te voeren, waarbij je hebt gezorgd voor afstemming op projectdoelen en handhaving van hoge kwaliteitsnormen door regelmatige communicatie, duidelijke documentatie en effectieve taakdelegatie;
- Je hield toezicht op de governance en compliance van gegevens die waren opgeslagen in BigQuery en zorgde ervoor dat de GDPR-regelgeving van het Verenigd Koninkrijk en de EU werd nageleefd;
- Voerde privacyeffectbeoordelingen (DPIA) uit voor verschillende projecten bij Nissan UK Limited en implementeerde noodzakelijke maatregelen om risico's te beperken of te verminderen;
- Het bouwen en onderhouden van datawarehouses, data lakes en data lake houses op GCP met behulp van diensten als BigQuery, Google Cloud Storage (GCS) en Bigtable;
- Gegevens uit verschillende bronnen geïntegreerd in GCP met behulp van diensten als Cloud Storage, Cloud Pub/Sub en Cloud SQL;
- Implementeerde de juiste data governance en beveiligingsmaatregelen met behulp van GCP Identity and Access Management (IAM) en Data Loss Prevention (DLP) om compliance te waarborgen;
- Datapijplijnen gebouwd met behulp van Google Dataflow om grote hoeveelheden gegevens efficiënt te verwerken;
- ETL/ELT-processen geïmplementeerd om gegevens uit verschillende bronnen te extraheren en in datawarehouses of data lakes te laden;
- Ontwikkelde streaming pipelines voor real-time data ingestion met behulp van Kafka en Kafka Connect;
- Python-gebaseerde transformaties en BigQuery-procedures geïmplementeerd en de uitvoering ervan naadloos georkestreerd met behulp van Google Cloud Composer;
- Ontworpen datatransformaties met Apache Beam, geoptimaliseerd voor topprestaties op Google DataProc-clusters.
Technologieën:
- Technologieën:
- Fact Data Modeling
ETL
- Unix shell
- Performance Testing
- Unit Testing
AWS S3
- Data Analytics
Looker
Snowflake
BigQuery
Pandas
MySQL
- Data Modeling
- Database testing
Apache ZooKeeper
AWS Athena
Redshift
Python
SQL
Apache Kafka
Apache Airflow
Apache Spark
Hadoop
Google Cloud
- Data Engineering
Data Engineer
Technovert - 2 jaar 7 maanden
- ETL-processen ontwikkeld met Python en SQL om ruwe gegevens om te zetten in bruikbare formaten en deze in BigQuery te laden voor analyse;
- Bouwde en ontwierp meerdere data pipelines, beheerde end-to-end ETL en ELT processen voor data ingestion en transformatie in GCP, en coördineerde taken tussen het team;
- Ontwerpen en implementeren van data pipelines met behulp van GCP services zoals Dataflow, Dataproc en Pub/Sub;
- Oracle DSR gemigreerd naar BigQuery met behulp van Dataproc, Python, Airflow en Looker;
- Ontwierp en ontwikkelde een Python ingestion framework om gegevens uit verschillende bronsystemen, waaronder AR-modules, voorraadmodules, bestanden en webservices, in BigQuery te laden;
- Ontwikkelde pijplijnen om gegevens te laden van door de klant geplaatste handmatige bestanden in Google Drive naar GCS en vervolgens naar BigQuery met behulp van BigQuery stored procedures;
- Deelgenomen aan code reviews en bijgedragen aan de ontwikkeling van best practices voor data engineering op GCP;
- Gegevensbeveiliging en toegangscontrole geïmplementeerd met behulp van Identity and Access Management (IAM) en Cloud Security Command Center van GCP.
Technologieën:
- Technologieën:
Databricks
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
AWS S3
Oracle
Salesforce
- Data Analytics
Microsoft Power BI
-
Snowflake
-
BigQuery
-
Pandas
-
MySQL
- Data Modeling
- Database testing
-
Apache ZooKeeper
Azure
Azure Data Factory
Azure Synapse
-
Python
-
SQL
-
Apache Kafka
-
Apache Airflow
-
Apache Spark
-
Hadoop
-
Google Cloud
- Data Engineering
Data Engineer
Accenture - 1 jaar 8 maanden
- Ontwerpen en implementeren van Snowflake datawarehouses, ontwikkelen van schema's, tabellen en weergaven geoptimaliseerd voor prestaties en toegankelijkheid van gegevens;
- Gegevens geëxtraheerd uit Oracle-databases, getransformeerd naar CSV-bestanden en deze bestanden geladen in een Snowflake-datawarehousestage die wordt gehost op AWS S3, waarbij wordt gezorgd voor veilige en efficiënte gegevensoverdracht en -opslag;
- Creëerde en gebruikte virtuele magazijnen in Snowflake op basis van bedrijfsvereisten, hield het kredietgebruik effectief bij om bedrijfsinzichten en de toewijzing van middelen te verbeteren;
- Ontwierp en configureerde Snowpipe pipelines voor naadloos en bijna-realtime laden van gegevens, waardoor handmatige interventie werd verminderd en de versheid van gegevens werd verbeterd;
- XML-gegevens geparsed en georganiseerd in gestructureerde Snowflake-tabellen voor efficiënte gegevensopslag en naadloze gegevensanalyse;
- Ontwerpen en implementeren van JSON data ingestion pipelines, gebruikmakend van Snowflake's mogelijkheden om geneste en complexe JSON-structuren te verwerken;
- Ontwerpen en implementeren van Amazon Redshift-clusters, optimaliseren van schemaontwerp, verdeelsleutels en sorteersleutels voor optimale queryprestaties;
- Maakte gebruik van AWS Lambda-functies en Step Functions om ETL-workflows te orkestreren, waarbij de nauwkeurigheid van gegevens en tijdige verwerking werden gewaarborgd;
- Maakte en onderhield datavisualisaties en rapporten met behulp van Amazon QuickSight om data-analyse en inzichten te vergemakkelijken.
Technologieën:
- Technologieën:
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
Oracle
- Data Analytics
Tableau
- Data Modeling
- Database testing
-
Python
-
SQL
- Data Engineering
BI Consultant, General Electric
Tech Mahindra - 2 jaar 7 maanden
- Ontwerpen en implementeren van Teradata-pakketten om naadloze gegevensextractie, -transformatie en -lading (ETL) vanuit verschillende bronnen naar datawarehouses mogelijk te maken;
- Het ontwikkelen van interactieve en dynamische rapporten met behulp van SSRS, om belanghebbenden te voorzien van tijdige en inzichtelijke datavisualisaties voor geïnformeerde besluitvorming;
- Voer strenge gegevensvalidatie en kwaliteitscontroles uit om de integriteit en nauwkeurigheid van de verwerkte gegevens te garanderen;
- ETL-prestaties geoptimaliseerd door geavanceerde technieken toe te passen, wat resulteerde in een verlaging van de verwerkingstijd met 25%;
- Ontwikkelde de ingestiestrategie voor het laden van gegevens uit meerdere bronsystemen naar de operationele laag in het datawarehouse met behulp van Python, SQL en stored procedures;
- Begrijpen en ontwikkelen van ontwerpdocumenten als deliverables voor het project;
- Implementeerde SCD Type 1 en Type 2 functionaliteit en ontwikkelde aangepaste scripts in Teradata voor integratie en functionaliteitsontwikkeling voor verschillende modules zoals Primavera P6 en Oracle Project module;
- Als DWH-analist problemen beheerd en opgelost om een soepel verloop van de bedrijfsvoering te garanderen;
- Het voorbereiden van unit test cases en het uitvoeren van end-to-end integratietesten;
- Actief deelgenomen aan ontwerpdiscussies en oplossingen beoordeeld;
- Deelgenomen aan peer review discussies over ontwikkeling voordat je naar een hogere omgeving ging;
- Gegevens uit meerdere bestanden naar één doeltabel laden met behulp van ODI-variabelen;
- Configureerde en ontwikkelde ETL mappings om gegevens uit XML en complexe (ongestructureerde/semi-gestructureerde) bestanden te laden;
- Gebruikte Power BI om inzichtelijke visualisaties en interactieve dashboards te ontwerpen en te ontwikkelen, waardoor datagestuurde besluitvorming voor belanghebbenden mogelijk werd en algemene data-engineeringoplossingen werden verbeterd.
Technologieën:
- Technologieën:
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
Oracle
- Data Analytics
-
Tableau
- Data Modeling
-
SQL
- Data Engineering
Educatie
MSc.Computer Software Engineering
University of West London · 2022 - 2023
MSc.Electronics and Communications
Jawaharlal university of Hyderabad · 2012 - 2016
Vind jouw volgende ontwikkelaar binnen enkele dagen, niet maanden
In een kort gesprek van 25 minuten:
- gaan we in op wat je nodig hebt om je product te ontwikkelen;
- Ons proces uitleggen om u te matchen met gekwalificeerde, doorgelichte ontwikkelaars uit ons netwerk
- delen we de stappen met je om de juiste match te vinden, vaak al binnen een week.