English
Svenska
Dansk
Dutch
Deutsch
Norsk
Suomi
Himanshu S.
Data Engineer
Himanshu est un ingénieur données chevronné qui bénéficie d’une longue expérience et d’une excellente maîtrise de SQL, Snowflake et AWS. Il a travaillé dans différents secteurs, parmi lesquels la santé, le retail, l’industrie automobile et la finance.
Depuis cinq ans, Himanshu développe ses compétences et se positionne en tant que consultant en données full-stack, compte tenu de son expertise dans le machine learning et la data science.
Pendant son parcours chez Knowledge Foundry et ZS Associates, Himanshu a apporté des contributions notables aux équipes techniques. Ses compétences très variées et son implication font de lui un développeur fiable dans le domaine du data engineering.
Principale expertise
- OpenCV 4 ans
- Linux 5 ans
- LangChain 2 ans
Autres compétences
- Docker 3 ans
- FastAPI 2 ans
- ChatGPT API 2 ans
Expérience sélectionnée
Emploi
Data Engineer
InfoGain - 10 mois
- Création d'une solution d'entrepôt de données utilisant AWS Redshift et AWS Glue, migration d'une base de données OLAP à partir de MS SQL Server.
- Mise en place d'un pipeline DBT pour les processus ETL, transfert de données entre un entrepôt MySQL et une base de données d'activité vers une base de données graphique Neo4j en utilisant la programmation native Python. La configuration a été mise en œuvre sur une boîte Linux AWS avec Neo4j fonctionnant comme un conteneur Docker.
- Développement d'un pipeline ETL pour effectuer des analyses de panier de marché et d'autres statistiques marketing sur des millions de lignes de données transactionnelles. Utilisé Redshift comme base de données transactionnelle et l'a alimenté de manière serverless à l'aide de fonctions Amazon Lambda en temps réel.
Les technologies:
- Les technologies:
Python
ETL
- Data Engineering
AWS
Data Engineer
ZS Associates - 6 mois
- Développement d'un pipeline pour convertir les données dans un format structuré, permettant de servir à Prodigy pour l'étiquetage lié au ML. L'ensemble du pipeline a été construit de manière modulaire à l'aide de Python et de scripts shell.
- Mise en œuvre de transformations de données en Python et stockage des données traitées dans un seau Amazon S3 pour le stockage et l'accessibilité.
Les technologies:
- Les technologies:
-
Python
Data Engineer
KnowledgeFoundry - 6 années 3 mois
- Automatiser le processus d'écriture des requêtes Hive pour l'ETL de plusieurs tables (à la fois unique et incrémentiel) en générant des scripts automatisés.
- Lire des fichiers CSV à partir de dossiers, créer des tables et effectuer des chargements incrémentaux de manière séquentielle.
- Mise en place de Snowflake comme solution de stockage principale pour les données structurées et utilisation de DBT pour les processus ETL. Vous avez créé des modèles basés sur SQL pour définir la logique de transformation, en assurant la flexibilité avec le chargement incrémental et le contrôle de la version à l'aide de DBT.
- Préparer les données transformées pour l'analyse à l'aide d'outils de veille stratégique, en facilitant la découverte d'informations sans effort. Effectuer des contrôles réguliers dans Snowflake et DBT pour maintenir l'intégrité des données et la fonctionnalité du pipeline.
- Concevoir et développer des pipelines de données pour extraire, transformer et charger des données à partir de diverses sources dans un entrepôt de données centralisé.
Les technologies:
- Les technologies:
-
ETL
SQL
- Data Engineering
Éducation
License ès sciencesInformation Technology
Dharmsinh Desai University · 2015 - 2019
Trouvez votre prochain développeur en quelques jours et non sur plusieurs mois
Dans un court appel de 25 minutes, nous voulons:
- Comprendre vos besoins en développement
- Vous expliquez comment nous allons vous mettre en relation avec le développeur le mieux qualifié pour votre projet, sélectionné avec soin
- Vous indiquez nos prochaines démarches afin de vous trouver le meilleur développeur, souvent en moins d'une semaine