English
Svenska
Dansk
Dutch
Français
Norsk
Suomi
Himanshu S.
Data Engineer
Himanshu Surana ist ein erfahrener Data Engineer mit umfassender Erfahrung und professionellen Kenntnissen in SQL, Snowflake und AWS. Er war in verschiedenen Branchen tätig, unter anderem im Gesundheitswesen, im Einzelhandel, in der Automobilindustrie und im Finanzwesen.
In den letzten fünf Jahren hat Surana seine Fähigkeiten weiterentwickelt und sich dank seiner Expertise in den Bereichen maschinelles Lernen und Data Science als Full-Stack Data Consultant etabliert.
Während seiner Zeit bei KnowledgeFoundry und ZS Associates leistete Himanshu einen bedeutenden Beitrag zu den technischen Teams. Mit seinen vielfältigen Fähigkeiten und seinem Engagement gilt er als zuverlässiger Entwickler auf dem Gebiet des Data Engineering.
Hauptkompetenz
- OpenCV 4 Jahre
- Linux 5 Jahre
- LangChain 2 Jahre
Andere Fähigkeiten
- Docker 3 Jahre
- FastAPI 2 Jahre
- ChatGPT API 2 Jahre
Ausgewählte Erfahrung
Beschäftigung
Data Engineer
InfoGain - 10 monate
- Erstellung einer Data Warehouse-Lösung unter Verwendung von AWS Redshift und AWS Glue, Migration einer OLAP-Datenbank von MS SQL Server.
- Einrichtung einer DBT-Pipeline für ETL-Prozesse, die Daten zwischen einem MySQL-Warehouse und einer Aktivitätsdatenbank in eine Neo4j-Graphdatenbank unter Verwendung nativer Python-Programmierung überträgt. Das Setup wurde auf einer AWS-Linux-Box implementiert, auf der Neo4j als Docker-Container läuft.
- Entwicklung einer ETL-Pipeline zur Durchführung von Warenkorb-Analysen und anderen Marketing-Statistiken auf Millionen von Zeilen mit Transaktionsdaten. Nutzt Redshift als transaktionale Datenbank und befüllt sie auf serverlose Weise mit Amazon Lambda-Funktionen in Echtzeit.
Technologien:
- Technologien:
Python
ETL
- Data Engineering
AWS
Data Engineer
ZS Associates - 6 monate
- Entwicklung einer Pipeline zur Konvertierung von Daten in ein strukturiertes Format, das die Weitergabe an Prodigy für ML-bezogenes Tagging ermöglicht. Die gesamte Pipeline wurde auf modulare Weise unter Verwendung von Python und Shell-Skripting aufgebaut.
- Implementierung von Datentransformationen in Python und Speicherung der verarbeiteten Daten in einem Amazon S3 Bucket zur Speicherung und Zugänglichkeit.
Technologien:
- Technologien:
-
Python
Data Engineer
KnowledgeFoundry - 6 jahre 3 monate
- Automatisierter Prozess des Schreibens von Hive-Abfragen für die ETL mehrerer Tabellen (sowohl einmalig als auch inkrementell) durch die Erstellung automatisierter Skripte.
- Lesen von CSV-Dateien aus Ordnerspeicherorten, Erstellen von Tabellen und sequentielles Laden.
- Einrichtung von Snowflake als primäre Speicherlösung für strukturierte Daten und Nutzung von DBT für ETL-Prozesse. Erstellung von SQL-basierten Modellen zur Definition der Transformationslogik, Gewährleistung von Flexibilität durch inkrementelles Laden und Versionskontrolle mit DBT.
- Bereitet transformierte Daten für die Analyse mit Business-Intelligence-Tools vor und erleichtert die mühelose Entdeckung von Erkenntnissen. Durchführung regelmäßiger Überprüfungen in Snowflake und DBT zur Aufrechterhaltung der Datenintegrität und Pipeline-Funktionalität.
- Entwurf und Entwicklung von Datenpipelines zum Extrahieren, Transformieren und Laden von Daten aus verschiedenen Quellen in ein zentralisiertes Data Warehouse.
Technologien:
- Technologien:
-
ETL
SQL
- Data Engineering
Ausbildung
BSc.Information Technology
Dharmsinh Desai University · 2015 - 2019
Finden Sie Ihren nächsten Entwickler innerhalb von Tagen, nicht Monaten
In einem kurzen 25-minütigen Gespräch würden wir gerne:
- Auf Ihren Bedarf bezüglich des Recruitments von Software-Entwicklern eingehen
- Unseren Prozess vorstellen und somit wie wir Sie mit talentierten und geprüften Kandidaten aus unserem Netzwerk zusammenbringen können
- Die nächsten Schritte besprechen, um den richtigen Kandidaten zu finden - oft in weniger als einer Woche