Himanshu S.

Data Engineer

Himanshu är en Data Engineer med gedigen erfarenhet och hög kompetens inom SQL, Snowflake och AWS. Han har arbetat inom flera olika branscher, däribland hälsovård, detaljhandel, fordonsindustrin och finans.

Under de senaste fem åren har Himanshu finslipat sina färdigheter och etablerat sig som en Full-stack Data Consultant med djupgående expertis inom både maskininlärning och data science.

Under sin tid på KnowledgeFoundry och ZS Associates gjorde Himanshu betydande bidrag till de tekniska teamen på båda företagen. Hans omfattande kompetens och starka engagemang har etablerat honom som en pålitlig och respekterad utvecklare inom data engineering.

Huvudsaklig expertis

OpenCV 4 år
Linux 5 år
LangChain 2 år

Andra kompetenser

Docker 3 år
FastAPI 2 år
ChatGPT API 2 år

Himanshu S.

Germany

Hitta en utvecklare

Utvald erfarenhet

Anställningar

Data Engineer

InfoGain - 10 månader
- Skapade en Data Warehouse-lösning med hjälp av AWS Redshift och AWS Glue och migrerade en OLAP-databas från MS SQL Server.
- Etablerade en DBT-pipeline för ETL-processer, överförde data mellan ett MySQL-lager och en aktivitetsdatabas till en Neo4j-grafdatabas med hjälp av inbyggd Python-programmering. Installationen genomfördes på en AWS Linux-box med Neo4j som kördes som en Docker-container.
- Utvecklade en ETL-pipeline för att genomföra marknadskorgsanalys och annan marknadsföringsstatistik på miljontals rader med transaktionsdata. Använde Redshift som en transaktionsdatabas och fyllde den på ett serverlöst sätt med hjälp av Amazon Lambda-funktioner i realtid.
Teknologier:
- Teknologier:
- Python
- ETL
- Data Engineering
- AWS
Data Engineer

ZS Associates - 6 månader
- Utvecklat en pipeline för att konvertera data till ett strukturerat format, vilket möjliggör servering till Prodigy för ML-relaterad taggning. Hela pipelinen konstruerades på ett modulärt sätt med hjälp av ren Python och shell-skript.
- Implementerade datatransformationer i Python och lagrade den bearbetade datan i en Amazon S3-bucket för lagring och tillgänglighet.
Teknologier:
- Teknologier:
- Python
Data Engineer

KnowledgeFoundry - 6 år 3 månader
- Automatiserad process för att skriva Hive-frågor för ETL av flera tabeller (både engångs- och inkrementella) genom att generera automatiserade skript.
- Läste CSV-filer från mappplatser, skapade tabeller och utförde inkrementella belastningar sekventiellt.
- Ställde in Snowflake som den primära lagringslösningen för strukturerad data och använde DBT för ETL-processer. Skapade SQL-baserade modeller för att definiera transformationslogik, vilket säkerställde flexibilitet med inkrementell laddning och versionskontroll med DBT.
- Förberedde transformerade data för analys med hjälp av business intelligence-verktyg, vilket underlättade upptäckt av insikter utan ansträngning. Genomförde regelbundna kontroller i Snowflake och DBT för att upprätthålla dataintegritet och pipelinefunktionalitet.
- Utformade och utvecklade datapipelines för att extrahera, transformera och ladda data från olika källor till ett centraliserat datalager.
Teknologier:
- Teknologier:
- ETL
- SQL
- Data Engineering