Dean N.

Data Engineer

Dean är dataingenjör med fem års kommersiell erfarenhet. Hans främsta expertis ligger i att utforma, bygga och underhålla robusta datapipelines och infrastruktur.

Han är mycket skicklig på att hantera stora datamängder, optimera dataarbetsflöden och säkerställa att data är korrekta och tillförlitliga för analys och rapportering.

Han är en självgående person som kan arbeta självständigt, men han utmärker sig lika bra i team med god samarbetsförmåga.

Deans passion för teknik driver honom att ständigt förbättra sina färdigheter och ta till sig nya verktyg och metoder som bidrar till effektivare datahantering och analys.

Huvudsaklig expertis

Terraform 4 år
ETL 4 år
Python 4 år

Andra kompetenser

Bash 4 år
Shell 4 år
Linux 4 år

Dean N.

United Kingdom

Hitta en utvecklare

Utvald erfarenhet

Anställningar

Data Engineer

King - 3 år 1 månad
- Använde Airflow för att utveckla ETL-pipelines och omvandla data från råformat till lättanvända former för insikter.
- Använde Cloud Functions, Scheduler och Sheets för att bygga ETL-pipelines som möjliggjorde input från mindre tekniska intressenter.
- Förbättrad datakvalitet och minskade pipelinefel genom att skapa instrumentpaneler för övervakning och varning med hjälp av GCP Cloud Monitoring.
- Utformade datalagertabeller med fokus på effektivitet och kostnadseffektiva frågor, med hjälp av partitionerings- och klustertekniker.
- Förbättrad underhållbarhet av kodbasen genom att tillämpa DRY-principer och använda Jinja där det är tillämpligt.
- Förbättrade CI/CD-pipelinen genom att integrera testning för SQL-skript.
- Använde Terraform för att programmatiskt skapa och hantera GCP-resurser.
Teknologier:
- Teknologier:
- Terraform
- ETL
- Python
- SQL
- Google Cloud
- Bash
- Shell
- Linux
- Apache Airflow
- Dataflow
- Data Engineering
Data Engineer

Inmarsat - 6 månader
- Använde en kombination av EC2-instanser och kommandorad för att SSH till lokala maskiner och överföra CSV-filer till S3-hinkar.
- Ersatte Airflow med Prefect för att transformera data och optimera processen för arbetsflödeshantering.
- Använde DBT och Jinja för att bygga testskript och konstruera datalagret.
- Använde Terraform för att programmatiskt distribuera GCP-resurser.
Teknologier:
- Teknologier:
- Terraform
- Python
- SQL
- AWS
- Bash
Data Engineer

LADbible Group - 1 år 1 månad
- Använde Apache Beam / Google Dataflow för att bygga pipelines för batchbehandling.
- Automatiserade flera ETL-pipelines som extraherade data från olika källor, inklusive molnlagring, Google Sheets och API: er, specifikt inriktade på Snapchat och Ad Revenue-data med utgångar till BigQuery-tabeller eller instrumentpaneler.
- Säkerställde att koden var enhetstestbar genom att använda Pytest och tillämpa en testdriven utvecklingsstrategi (TDD).
- Skapade instrumentpaneler i Google Data Studio (GDS) och ställde in varningar i GCP för att övervaka datapipelines.
- Använde Terraform för att tillhandahålla resurser på GCP.
Teknologier:
- Teknologier:
- Terraform
- ETL
- Python
- SQL
- Google Cloud
- AWS
- Bash
- Shell
- Linux
- Apache Airflow
- Dataflow
- Data Engineering
Data Analyst

Publicis Media - 6 månader
- Skrev SQL-frågor för dimensionell datamodellering i Power BI.
- Använde Python (Pandas) för att manipulera dataset för export till Excel.
- Skapade skräddarsydda Power BI-rapporter för att ge tydliga och koncisa insikter i data.
- Använde DAX-språk inom Power BI för att omvandla och beräkna data.
- Utförde ETL av data från olika källor för att bygga datamodeller, vanligtvis i Star schema-form.
- Hämtade data från olika källor, skapade relationer mellan dataset och modellerade data.
Teknologier:
- Teknologier:
- Python
- SQL
- Pandas
- Microsoft Power BI
Data Analyst

Veolia - 1 år 5 månader
- Använde en kombination av Power BI och SQL för att skapa datamodeller och utveckla insiktsfulla rapporteringsvisualiseringar.
- Byggde och tog ägandeskap för Power BI-appar, övervakade och säkerställde åtkomst för viktiga intressenter.
- Tillämpade DAX inom Power BI för att skapa beräkningar och mätningar på instrumentpaneler.
- Utvecklade KPI-rapporter och instrumentpaneler i Excel med hjälp av data som importerats och uppdaterats från SQL-databaser.
- Extraherade data från SQL och utförde analyser i Excel med hjälp av avancerade formler och funktioner.
- Skapade intelligenta webbapplikationer för operatörer med hjälp av data som importerats till Esri ArcGIS.
- Skrev effektiva och komplexa SQL-frågor som innehöll pivoter, sammanfogningar och kapslade frågor.
Teknologier:
- Teknologier:
- SQL
- Data Engineering
- Data Analytics
- Microsoft Power BI