English
Svenska
Dansk
Dutch
Deutsch
Norsk
Suomi
Gopal G.
Data Engineer
Gopal est un ingénieur de données avec plus de huit ans d'expérience dans des secteurs réglementés tels que l'automobile, la technologie et l'énergie. Il excelle dans GCP, Azure, AWS et Snowflake, avec une expertise dans le développement du cycle de vie complet, la modélisation des données, l'architecture des bases de données et l'optimisation des performances.
Il est notamment fier d'avoir créé et optimisé des pipelines ETL/ELT dans des environnements multicloud. Les certifications Google Cloud, AWS, Microsoft Azure et Snowflake de Gopal soulignent son engagement en faveur de la formation continue et de l'excellence professionnelle.
Il est titulaire d'une maîtrise en ingénierie informatique.
Principale expertise
- Fact Data Modeling 8 ans
- ETL 8 ans
- Unix shell 7 ans
Autres compétences
- Pandas 4 ans
- MySQL 4 ans
- Apache ZooKeeper 4 ans
Expérience sélectionnée
Emploi
Data Engineer
Nissan Motor Corporation - 1 an 10 mois
- Concevoir et mettre en œuvre des pipelines de données efficaces et évolutifs sur Google Cloud Platform (GCP) pour collecter, traiter et transformer des données brutes dans des formats utilisables pour l'analyse et la consommation ;
- Diriger et gérer des équipes offshore pour mettre en œuvre avec succès diverses tâches d'ingénierie des données, en veillant à l'alignement sur les objectifs du projet et au maintien de normes de haute qualité grâce à une communication régulière, une documentation claire et une délégation efficace des tâches ;
- Superviser la gouvernance et la conformité des données stockées dans BigQuery, en veillant au respect des réglementations GDPR du Royaume-Uni et de l'UE ;
- Conduite d'évaluations de l'impact sur la confidentialité des données (DPIA) pour divers projets chez Nissan UK Limited et mise en œuvre des mesures nécessaires à l'atténuation ou à la réduction des risques ;
- Construire et maintenir des entrepôts de données, des lacs de données et des maisons de lacs de données sur GCP en utilisant des services tels que BigQuery, Google Cloud Storage (GCS), et Bigtable ;
- Intégration de données provenant de diverses sources dans GCP à l'aide de services tels que Cloud Storage, Cloud Pub/Sub et Cloud SQL ;
- Mise en œuvre d'une gouvernance des données et de mesures de sécurité appropriées à l'aide de GCP Identity and Access Management (IAM) et de Data Loss Prevention (DLP) pour garantir la conformité ;
- Construire des pipelines de données en utilisant Google Dataflow pour traiter efficacement de grands volumes de données ;
- Mise en œuvre de processus ETL/ELT pour extraire des données de diverses sources et les charger dans des entrepôts de données ou des lacs de données ;
- Développement de pipelines de streaming pour l'ingestion de données en temps réel en utilisant Kafka et Kafka Connect ;
- Mise en œuvre de transformations basées sur Python et de procédures BigQuery, orchestrant leur exécution de manière transparente à l'aide de Google Cloud Composer ;
- Transformations de données à l'aide d'Apache Beam, optimisées pour des performances maximales sur les clusters Google DataProc.
Les technologies:
- Les technologies:
- Fact Data Modeling
ETL
- Unix shell
- Performance Testing
- Unit Testing
AWS S3
- Data Analytics
Looker
Snowflake
BigQuery
Pandas
MySQL
- Data Modeling
- Database testing
Apache ZooKeeper
AWS Athena
Redshift
Python
SQL
Apache Kafka
Apache Airflow
Apache Spark
Hadoop
Google Cloud
- Data Engineering
Data Engineer
Technovert - 2 années 7 mois
- Développé des processus ETL en utilisant Python et SQL pour transformer les données brutes en formats utilisables et les charger dans BigQuery pour l'analyse ;
- Vous avez construit et architecturé de multiples pipelines de données, géré des processus ETL et ELT de bout en bout pour l'ingestion et la transformation de données dans GCP, et coordonné des tâches au sein de l'équipe ;
- Conception et mise en œuvre de pipelines de données à l'aide de services GCP tels que Dataflow, Dataproc et Pub/Sub ;
- Migration d'Oracle DSR vers BigQuery en utilisant Dataproc, Python, Airflow, et Looker ;
- Conception et développement d'un cadre d'ingestion Python pour charger dans BigQuery des données provenant de divers systèmes sources, y compris des modules AR, des modules d'inventaire, des fichiers et des services web ;
- Développement de pipelines pour charger des données à partir de fichiers manuels placés par le client dans Google Drive vers GCS et ensuite vers BigQuery en utilisant des procédures stockées BigQuery ;
- Participation aux revues de code et contribution au développement des meilleures pratiques pour l'ingénierie des données sur GCP ;
- Mise en œuvre de la sécurité des données et des contrôles d'accès à l'aide de la gestion de l'identité et de l'accès (IAM) de GCP et du Cloud Security Command Center.
Les technologies:
- Les technologies:
Databricks
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
AWS S3
Oracle
Salesforce
- Data Analytics
Microsoft Power BI
-
Snowflake
-
BigQuery
-
Pandas
-
MySQL
- Data Modeling
- Database testing
-
Apache ZooKeeper
Azure
Azure Data Factory
Azure Synapse
-
Python
-
SQL
-
Apache Kafka
-
Apache Airflow
-
Apache Spark
-
Hadoop
-
Google Cloud
- Data Engineering
Data Engineer
Accenture - 1 an 8 mois
- Conception et mise en œuvre d'entrepôts de données Snowflake, développement de schémas, de tables et de vues optimisés pour la performance et l'accessibilité des données ;
- Extraire des données des bases de données Oracle, les transformer en fichiers CSV, et charger ces fichiers dans un entrepôt de données Snowflake hébergé sur AWS S3, en assurant un transfert et un stockage de données sûrs et efficaces ;
- Création et utilisation d'entrepôts virtuels dans Snowflake en fonction des besoins de l'entreprise, suivi efficace de l'utilisation des crédits pour améliorer la compréhension de l'entreprise et l'allocation des ressources ;
- Conception et configuration de pipelines Snowpipe pour un chargement de données transparent et en temps quasi réel, réduisant les interventions manuelles et améliorant la fraîcheur des données ;
- Analyse des données XML et organisation en tableaux structurés Snowflake pour un stockage efficace des données et une analyse transparente des données ;
- Conception et mise en œuvre de pipelines d'ingestion de données JSON, en tirant parti des capacités de Snowflake à gérer des structures JSON imbriquées et complexes ;
- Conception et déploiement de clusters Amazon Redshift, optimisation de la conception des schémas, des clés de distribution et des clés de tri pour une performance optimale des requêtes ;
- Lever les fonctions AWS Lambda et Step Functions pour orchestrer les flux de travail ETL, en assurant l'exactitude des données et le traitement en temps opportun ;
- Création et mise à jour de visualisations de données et de rapports à l'aide d'Amazon QuickSight pour faciliter l'analyse et la compréhension des données.
Les technologies:
- Les technologies:
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
Oracle
- Data Analytics
Tableau
- Data Modeling
- Database testing
-
Python
-
SQL
- Data Engineering
BI Consultant, General Electric
Tech Mahindra - 2 années 7 mois
- Conception et mise en œuvre de progiciels Teradata pour faciliter les opérations d'extraction, de transformation et de chargement de données (ETL) à partir de diverses sources vers des entrepôts de données ;
- Développement de rapports interactifs et dynamiques à l'aide de SSRS, fournissant aux parties prenantes des visualisations de données opportunes et perspicaces pour une prise de décision éclairée ;
- Validation rigoureuse des données et contrôles de qualité pour garantir l'intégrité et l'exactitude des données traitées ;
- Optimisation des performances de l'ETL par l'utilisation de techniques avancées, ce qui a permis de réduire le temps de traitement de 25 % ;
- Développement de la stratégie d'ingestion pour le chargement des données à partir de systèmes sources multiples vers la couche opérationnelle de l'entrepôt de données en utilisant Python, SQL et des procédures stockées ;
- Comprendre et développer les documents de conception en tant que produits livrables pour le projet ;
- Implémentation des fonctionnalités SCD Type 1 et Type 2 et développement de scripts personnalisés dans Teradata pour l'intégration et le développement de fonctionnalités pour différents modules tels que Primavera P6 et Oracle Project ;
- En tant qu'analyste DWH, j'ai géré et résolu des problèmes afin d'assurer le bon déroulement des opérations commerciales ;
- Préparer des cas de tests unitaires et effectuer des tests d'intégration de bout en bout ;
- Participation active aux discussions sur la conception et examen des solutions ;
- Participation à des discussions d'évaluation par les pairs sur le développement avant de passer à des environnements plus élevés ;
- Chargement de données à partir de plusieurs fichiers vers une seule table cible à l'aide de variables ODI ;
- Configurer et développer des mappings ETL pour charger des données à partir de fichiers XML et complexes (non structurés/semi-structurés) ;
- Utilisation de Power BI pour concevoir et développer des visualisations perspicaces et des tableaux de bord interactifs, permettant aux parties prenantes de prendre des décisions fondées sur des données et améliorant les solutions globales d'ingénierie des données.
Les technologies:
- Les technologies:
- Fact Data Modeling
-
ETL
- Unix shell
- Performance Testing
- Unit Testing
-
Oracle
- Data Analytics
-
Tableau
- Data Modeling
-
SQL
- Data Engineering
Éducation
Maîtrise ès sciencesComputer Software Engineering
University of West London · 2022 - 2023
Maîtrise ès sciencesElectronics and Communications
Jawaharlal university of Hyderabad · 2012 - 2016
Trouvez votre prochain développeur en quelques jours et non sur plusieurs mois
Dans un court appel de 25 minutes, nous voulons:
- Comprendre vos besoins en développement
- Vous expliquez comment nous allons vous mettre en relation avec le développeur le mieux qualifié pour votre projet, sélectionné avec soin
- Vous indiquez nos prochaines démarches afin de vous trouver le meilleur développeur, souvent en moins d'une semaine