English
Svenska
Dansk
Dutch
Français
Norsk
Suomi
Gopal G.
Data Engineer
Gopal ist ein Dateningenieur mit mehr als acht Jahren Erfahrung in regulierten Sektoren wie Automobil, Technologie und Energie. Er kennt sich hervorragend mit GCP, Azure, AWS und Snowflake aus und verfügt über Fachkenntnisse in den Bereichen Entwicklung über den gesamten Lebenszyklus, Datenmodellierung, Datenbankarchitektur und Leistungsoptimierung.
Zu seinen stolzesten Errungenschaften gehören die Erstellung und Optimierung von ETL/ELT-Pipelines in Multi-Cloud-Umgebungen. Gopals Google Cloud-, AWS-, Microsoft Azure- und Snowflake-Zertifizierungen unterstreichen sein Engagement für kontinuierliches Lernen und professionelle Spitzenleistungen.
Er hat einen Master-Abschluss in Computertechnik.
Hauptkompetenz
- Fact Data Modeling 8 Jahre
- ETL 8 Jahre
- Unix shell 7 Jahre
Andere Fähigkeiten
- Pandas 4 Jahre
- MySQL 4 Jahre
- Apache ZooKeeper 4 Jahre
Ausgewählte Erfahrung
Beschäftigung
Data Engineer
Nissan Motor Corporation - 1 jahr 10 monate
- Entwurf und Implementierung effizienter und skalierbarer Datenpipelines auf der Google Cloud Platform (GCP) zur Erfassung, Verarbeitung und Umwandlung von Rohdaten in brauchbare Formate für Analyse und Nutzung;
- Leitete und verwaltete Offshore-Teams, um verschiedene Data-Engineering-Aufgaben erfolgreich zu implementieren. Dabei stellte er die Übereinstimmung mit den Projektzielen sicher und sorgte für die Einhaltung hoher Qualitätsstandards durch regelmäßige Kommunikation, klare Dokumentation und effektive Aufgabendelegation;
- Überwacht die Verwaltung und Einhaltung der in BigQuery gespeicherten Daten und stellt die Einhaltung der britischen und EU GDPR-Vorschriften sicher;
- Durchführung von Datenschutz-Folgenabschätzungen (Data Privacy Impact Assessments, DPIA) für verschiedene Projekte bei Nissan UK Limited und Umsetzung der erforderlichen Maßnahmen zur Risikominderung;
- Aufbau und Pflege von Data Warehouses, Data Lakes und Data Lake Houses auf GCP unter Verwendung von Diensten wie BigQuery, Google Cloud Storage (GCS) und Bigtable;
- Integration von Daten aus verschiedenen Quellen in GCP unter Verwendung von Diensten wie Cloud Storage, Cloud Pub/Sub und Cloud SQL;
- Implementierung angemessener Data Governance und Sicherheitsmaßnahmen unter Verwendung von GCP Identity and Access Management (IAM) und Data Loss Prevention (DLP) zur Gewährleistung der Compliance;
- Aufbau von Datenpipelines mit Google Dataflow zur effizienten Verarbeitung großer Datenmengen;
- Implementierung von ETL/ELT-Prozessen, um Daten aus verschiedenen Quellen zu extrahieren und sie in Data Warehouses oder Data Lakes zu laden;
- Entwicklung von Streaming-Pipelines für Echtzeit-Dateneingabe unter Verwendung von Kafka und Kafka Connect;
- Implementierung von Python-basierten Transformationen und BigQuery-Prozeduren und nahtlose Orchestrierung ihrer Ausführung mit Google Cloud Composer;
- Entwickelte Datentransformationen mit Apache Beam, optimiert für Spitzenleistung auf Google DataProc-Clustern.
Technologien:
- Technologien:
- Fact Data Modeling
ETL
- Unix shell
- Performance Testing
- Unit Testing
AWS S3
- Data Analytics
Looker
Snowflake
BigQuery
Pandas
MySQL
- Data Modeling
- Database testing
Apache ZooKeeper
AWS Athena
Redshift
Python
SQL
Apache Kafka
Apache Airflow
Apache Spark
Hadoop
Google Cloud
- Data Engineering
Data Engineer
Technovert - 2 jahre 7 monate
- Entwicklung von ETL-Prozessen unter Verwendung von Python und SQL, um Rohdaten in brauchbare Formate umzuwandeln und sie zur Analyse in BigQuery zu laden;
- Aufbau und Architektur mehrerer Datenpipelines, Verwaltung von End-to-End-ETL- und ELT-Prozessen für die Datenaufnahme und -umwandlung in GCP sowie Koordinierung von Aufgaben innerhalb des Teams;
- Entwurf und Implementierung von Datenpipelines mit GCP-Diensten wie Dataflow, Dataproc und Pub/Sub;
- Migriert Oracle DSR zu BigQuery mit Dataproc, Python, Airflow und Looker;
- Entwurf und Entwicklung eines Python-Ingestion-Frameworks zum Laden von Daten aus verschiedenen Quellsystemen, einschließlich AR-Modulen, Bestandsmodulen, Dateien und Webservices, in BigQuery;
- Entwicklung von Pipelines zum Laden von Daten aus vom Kunden in Google Drive abgelegten manuellen Dateien in GCS und anschließend in BigQuery unter Verwendung von BigQuery Stored Procedures;
- Teilnahme an Code-Reviews und Mitwirkung an der Entwicklung von Best Practices für Data Engineering auf GCP;
- Implementierung von Datensicherheit und Zugriffskontrollen unter Verwendung des Identitäts- und Zugriffsmanagements (IAM) von GCP und des Cloud Security Command Center.
Technologien:
- Technologien:
Databricks
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
AWS S3
Oracle
Salesforce
- Data Analytics
Microsoft Power BI
-
Snowflake
-
BigQuery
-
Pandas
-
MySQL
- Data Modeling
- Database testing
-
Apache ZooKeeper
Azure
Azure Data Factory
Azure Synapse
-
Python
-
SQL
-
Apache Kafka
-
Apache Airflow
-
Apache Spark
-
Hadoop
-
Google Cloud
- Data Engineering
Data Engineer
Accenture - 1 jahr 8 monate
- Entwurf und Implementierung von Snowflake Data Warehouses, Entwicklung von Schemata, Tabellen und Ansichten, die für Leistung und Datenzugriff optimiert sind;
- Extrahieren von Daten aus Oracle-Datenbanken, Umwandeln in CSV-Dateien und Laden dieser Dateien in eine Snowflake-Data-Warehouse-Stufe, die auf AWS S3 gehostet wird, um eine sichere und effiziente Datenübertragung und -speicherung zu gewährleisten;
- Erstellte und nutzte virtuelle Lager in Snowflake auf der Grundlage von Geschäftsanforderungen, verfolgte effektiv die Kreditnutzung, um Geschäftseinblicke und Ressourcenzuweisung zu verbessern;
- Entwarf und konfigurierte Snowpipe-Pipelines für nahtloses und nahezu Echtzeit-Datenladen, wodurch manuelle Eingriffe reduziert und die Datenaktualität verbessert wurden;
- Parsing von XML-Daten und deren Organisation in strukturierten Snowflake-Tabellen für eine effiziente Datenspeicherung und nahtlose Datenanalyse;
- Entwurf und Implementierung von Pipelines zur Aufnahme von JSON-Daten unter Nutzung der Fähigkeiten von Snowflake zur Verarbeitung verschachtelter und komplexer JSON-Strukturen;
- Entwurf und Bereitstellung von Amazon Redshift-Clustern, Optimierung von Schemadesign, Verteilungsschlüsseln und Sortierschlüsseln für optimale Abfrageleistung;
- Nutzung von AWS Lambda-Funktionen und Step Functions zur Orchestrierung von ETL-Workflows zur Gewährleistung der Datengenauigkeit und zeitgerechten Verarbeitung;
- Erstellung und Pflege von Datenvisualisierungen und Berichten mit Amazon QuickSight zur Erleichterung von Datenanalysen und -einblicken.
Technologien:
- Technologien:
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
Oracle
- Data Analytics
Tableau
- Data Modeling
- Database testing
-
Python
-
SQL
- Data Engineering
BI Consultant, General Electric
Tech Mahindra - 2 jahre 7 monate
- Entwicklung und Implementierung von Teradata-Paketen zur Erleichterung nahtloser Datenextraktion, -transformation und -ladung (ETL) aus verschiedenen Quellen in Data Warehouses;
- Entwicklung interaktiver und dynamischer Berichte mit SSRS, die den Beteiligten zeitnahe und aufschlussreiche Datenvisualisierungen für fundierte Entscheidungen liefern;
- Strenge Datenvalidierung und Qualitätskontrollen, um die Integrität und Genauigkeit der verarbeiteten Daten zu gewährleisten;
- Optimierte ETL-Leistung durch den Einsatz fortschrittlicher Techniken, was zu einer Reduzierung der Verarbeitungszeit um 25 % führte;
- Entwickelte die Ingestion-Strategie für das Laden von Daten aus mehreren Quellsystemen in die operative Schicht im Data Warehouse unter Verwendung von Python, SQL und gespeicherten Prozeduren;
- Verstehen und entwickeln von Designdokumenten als Ergebnis des Projekts;
- Implementierte SCD Typ 1 und Typ 2 Funktionalität und entwickelte benutzerdefinierte Skripte in Teradata für die Integration und Funktionsentwicklung für verschiedene Module wie Primavera P6 und Oracle Project Modul;
- Sie haben als DWH-Analyst Probleme verwaltet und behoben, um den reibungslosen Ablauf der Geschäftsvorgänge zu gewährleisten;
- Vorbereitung von Unit-Testfällen und Durchführung von End-to-End-Integrationstests;
- Aktive Teilnahme an Design-Diskussionen und Überprüfung von Lösungen;
- Teilnahme an Peer-Review-Diskussionen zur Entwicklung vor dem Wechsel in höhere Umgebungen;
- Laden von Daten aus mehreren Dateien in eine einzige Zieltabelle unter Verwendung von ODI-Variablen;
- Konfigurierte und entwickelte ETL-Mappings zum Laden von Daten aus XML und komplexen (unstrukturierten/halbstrukturierten) Dateien;
- Sie haben Power BI genutzt, um aufschlussreiche Visualisierungen und interaktive Dashboards zu entwerfen und zu entwickeln, um datengestützte Entscheidungen für die Beteiligten zu ermöglichen und die gesamten Data-Engineering-Lösungen zu verbessern.
Technologien:
- Technologien:
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
Oracle
- Data Analytics
-
Tableau
- Data Modeling
-
SQL
- Data Engineering
Ausbildung
MSc.Computer Software Engineering
University of West London · 2022 - 2023
MSc.Electronics and Communications
Jawaharlal university of Hyderabad · 2012 - 2016
Finden Sie Ihren nächsten Entwickler innerhalb von Tagen, nicht Monaten
In einem kurzen 25-minütigen Gespräch würden wir gerne:
- Auf Ihren Bedarf bezüglich des Recruitments von Software-Entwicklern eingehen
- Unseren Prozess vorstellen und somit wie wir Sie mit talentierten und geprüften Kandidaten aus unserem Netzwerk zusammenbringen können
- Die nächsten Schritte besprechen, um den richtigen Kandidaten zu finden - oft in weniger als einer Woche