English
Svenska
Dansk
Dutch
Deutsch
Norsk
Suomi
Dean N.
Data Engineer
Dean est ingénieur en données et possède cinq ans d'expérience commerciale. Son expertise principale réside dans la conception, la construction et la maintenance de pipelines et d'infrastructures de données robustes.
Il est très compétent dans le traitement de grands ensembles de données, l'optimisation des flux de données et la garantie de l'exactitude et de la fiabilité des données pour l'analyse et le rapport.
Il est capable de travailler de manière autonome, mais il excelle également dans les environnements d'équipe collaboratifs.
La passion de Dean pour la technologie le pousse à améliorer continuellement ses compétences, en adoptant de nouveaux outils et de nouvelles méthodologies qui contribuent à une gestion et une analyse plus efficaces des données.
Principale expertise
- Terraform 4 ans
- ETL 4 ans
- Python 4 ans
Autres compétences
- Bash 4 ans
- Shell 4 ans
- Linux 4 ans
Expérience sélectionnée
Emploi
Data Engineer
King - 3 années 1 mois
- Utilisation d'Airflow pour développer des pipelines ETL, transformant les données à partir de formats bruts en formes facilement utilisables pour les aperçus.
- Vous avez utilisé les fonctions Cloud, Scheduler, et Sheets pour construire des pipelines ETL qui ont permis l'apport de parties prenantes moins techniques.
- Amélioration de la qualité des données et réduction des erreurs de pipeline par la création de tableaux de bord de surveillance et d'alerte à l'aide de GCP Cloud Monitoring.
- Concevoir des tables d'entrepôt de données en mettant l'accent sur l'efficacité et la rentabilité des requêtes, en utilisant des techniques de partitionnement et de regroupement.
- Amélioration de la maintenabilité de la base de code en appliquant les principes DRY et en utilisant Jinja le cas échéant.
- Amélioration du pipeline CI/CD en intégrant des tests pour les scripts SQL.
- Utilisation de Terraform pour créer et gérer des ressources GCP de manière programmatique.
Les technologies:
- Les technologies:
Terraform
ETL
Python
SQL
Google Cloud
Bash
Shell
Linux
Apache Airflow
Dataflow
- Data Engineering
Data Engineer
Inmarsat - 6 mois
- J'ai utilisé une combinaison d'instances EC2 et de ligne de commande pour SSH dans des machines sur site et transférer des CSV vers des buckets S3.
- Remplacement d'Airflow par Prefect pour transformer les données et optimiser le processus de gestion du flux de travail.
- J'ai utilisé DBT et Jinja pour créer des scripts de test et construire l'entrepôt de données.
- Utilisation de Terraform pour le déploiement programmatique de ressources GCP.
Les technologies:
- Les technologies:
-
Terraform
-
Python
-
SQL
AWS
-
Bash
Data Engineer
LADbible Group - 1 an 1 mois
- Utilisation d'Apache Beam / Google Dataflow pour construire des pipelines de traitement par lots.
- Vous avez été en charge de la mise en place d'un système de gestion de l'information et d'un système de contrôle de la qualité, de la sécurité et de l'environnement.
- S'assurer que le code est testable à l'unité en utilisant Pytest et en appliquant une approche de développement piloté par les tests (TDD).
- Création de tableaux de bord dans Google Data Studio (GDS) et mise en place d'alertes dans GCP pour surveiller les pipelines de données.
- Utilisation de Terraform pour provisionner des ressources sur GCP.
Les technologies:
- Les technologies:
-
Terraform
-
ETL
-
Python
-
SQL
-
Google Cloud
-
AWS
-
Bash
-
Shell
-
Linux
-
Apache Airflow
-
Dataflow
- Data Engineering
Data Analyst
Publicis Media - 6 mois
- Rédaction de requêtes SQL pour la modélisation de données dimensionnelles dans Power BI.
- Utilisation de Python (Pandas) pour manipuler des ensembles de données en vue de les exporter dans Excel.
- Création de rapports Power BI sur mesure afin de fournir des informations claires et concises sur les données.
- Utilisation du langage DAX dans Power BI pour transformer et calculer des données.
- Effectuer l'ETL de données provenant de diverses sources pour construire des modèles de données, généralement sous forme de schéma Star.
- Tirer des données de diverses sources, créer des relations entre les ensembles de données et modéliser les données.
Les technologies:
- Les technologies:
-
Python
-
SQL
Pandas
Microsoft Power BI
Data Analyst
Veolia - 1 an 5 mois
- Utilisation d'une combinaison de Power BI et de SQL pour créer des modèles de données et développer des visualisations de rapports perspicaces.
- Vous avez créé et pris en charge des applications Power BI, en surveillant et en garantissant l'accès à des parties prenantes importantes.
- Application de DAX dans Power BI pour créer des calculs et des mesures dans les tableaux de bord.
- Développement de rapports KPI et de tableaux de bord dans Excel en utilisant des données importées et rafraîchies à partir de bases de données SQL.
- Extraction de données à partir de SQL et analyse dans Excel à l'aide de formules et de fonctions avancées.
- Création d'applications web intelligentes pour les opérateurs à l'aide de données importées dans Esri ArcGIS.
- Rédaction de requêtes SQL efficaces et complexes intégrant des pivots, des jointures et des requêtes imbriquées.
Les technologies:
- Les technologies:
-
SQL
- Data Engineering
- Data Analytics
-
Microsoft Power BI
Éducation
License ès sciencesBusiness Administration, Management and Operations
De Montfort University · 2009 - 2011
Trouvez votre prochain développeur en quelques jours et non sur plusieurs mois
Dans un court appel de 25 minutes, nous voulons:
- Comprendre vos besoins en développement
- Vous expliquez comment nous allons vous mettre en relation avec le développeur le mieux qualifié pour votre projet, sélectionné avec soin
- Vous indiquez nos prochaines démarches afin de vous trouver le meilleur développeur, souvent en moins d'une semaine