Dean N.

Data Engineer

Dean er en dataingeniør med fem års forretningsbakgrunn. Hans primære ekspertise ligger i å designe, bygge og vedlikeholde robuste datarørledninger og infrastruktur.

Han er svært dyktig i å håndtere store datasett, optimalisere dataarbeidsflyter, og sikre nøyaktigheten og påliteligheten av data for analyse og rapportering.

Han er en selvstarter, i stand til å arbeide selvstendig, men han utmerker seg like godt i samarbeidende teammiljøer.

Deans lidenskap for teknologi driver ham til kontinuerlig å forbedre sine ferdigheter, omfavne nye verktøy og metoder som bidrar til mer effektiv databehandling og analyse.

Hovedekspertise

  • Terraform
    Terraform 4 år
  • ETL
    ETL 4 år
  • Python
    Python 4 år

Andre kunnskaper

  • Bash
    Bash 4 år
  • Shell
    Shell 4 år
  • Linux
    Linux 4 år
Dean

Dean N.

United Kingdom

Kom i gang

Utvalgt opplevelse

Arbeidserfaring

  • Data Engineer

    King - 3 years 1 month

    • Brukt Airflow til å utvikle ETL-pipelines, og transformert data fra råformat til lett anvendelige former for innsikt.
    • Brukte Cloud Functions, Scheduler og Sheets til å bygge ETL-rørledninger som tillot innspill fra mindre tekniske interessenter.
    • Forbedret datakvalitet og reduserte pipelinefeil ved å opprette overvåkings- og varslingsdashboards ved hjelp av GCP Cloud Monitoring.
    • Utformet datalagertabeller med fokus på effektivitet og kostnadseffektiv spørring, ved hjelp av partisjonerings- og klyngeteknikker.
    • Forbedret vedlikehold av kodebasen ved å anvende DRY-prinsipper og bruke Jinja der det er aktuelt.
    • Forbedret CI/CD-pipelinen ved å integrere testing av SQL-skript.
    • Brukt Terraform til å programmatisk opprette og administrere GCP-ressurser.

    Teknologier:

    • Teknologier:
    • Terraform Terraform
    • ETL ETL
    • Python Python
    • SQL SQL
    • Google Cloud Google Cloud
    • Bash Bash
    • Shell Shell
    • Linux Linux
    • Apache Airflow Apache Airflow
    • Dataflow Dataflow
    • Data Engineering
  • Data Engineer

    Inmarsat - 6 months

    • Brukte en kombinasjon av EC2-instanser og kommandolinje for å SSH inn på lokale maskiner og overføre CSV-filer til S3-bøtter.
    • Erstattet Airflow med Prefect for å transformere data og optimalisere prosessen for arbeidsflytstyring.
    • Brukt DBT og Jinja til å bygge testskript og konstruere datavarehuset.
    • Brukt Terraform til å programmatisk distribuere GCP-ressurser.

    Teknologier:

    • Teknologier:
    • Terraform Terraform
    • Python Python
    • SQL SQL
    • AWS AWS
    • Bash Bash
  • Data Engineer

    LADbible Group - 1 year 1 month

    • Brukt Apache Beam / Google Dataflow til å bygge batchbehandlingsrørledninger.
    • Automatiserte flere ETL-rørledninger som hentet ut data fra forskjellige kilder, inkludert skylagring, Google Sheets og API-er, spesielt rettet mot Snapchat- og annonseinntektsdata med utganger til BigQuery-tabeller eller dashbord.
    • Sørget for at koden kunne enhetstestes ved hjelp av Pytest og en testdrevet utviklingstilnærming (TDD).
    • Opprettet dashbord i Google Data Studio (GDS) og satt opp varsling i GCP for å overvåke datapipelines.
    • Brukt Terraform til å klargjøre ressurser på GCP.

    Teknologier:

    • Teknologier:
    • Terraform Terraform
    • ETL ETL
    • Python Python
    • SQL SQL
    • Google Cloud Google Cloud
    • AWS AWS
    • Bash Bash
    • Shell Shell
    • Linux Linux
    • Apache Airflow Apache Airflow
    • Dataflow Dataflow
    • Data Engineering
  • Data Analyst

    Publicis Media - 6 months

    • Skrev SQL-spørringer for dimensjonal datamodellering i Power BI.
    • Brukt Python (Pandas) til å manipulere datasett for eksport til Excel.
    • Laget skreddersydde Power BI-rapporter for å gi klar og tydelig innsikt i data.
    • Brukt DAX-språk i Power BI for å transformere og beregne data.
    • Utført ETL av data fra ulike kilder for å bygge datamodeller, vanligvis i Star-skjemaform.
    • Hentet data fra ulike kilder, skapte relasjoner mellom datasett og modellerte dataene.

    Teknologier:

    • Teknologier:
    • Python Python
    • SQL SQL
    • Pandas Pandas
    • Microsoft Power BI Microsoft Power BI
  • Data Analyst

    Veolia - 1 year 5 months

    • Brukt en kombinasjon av Power BI og SQL til å lage datamodeller og utvikle innsiktsfulle rapporteringsvisualiseringer.
    • Bygget og tok eierskap til Power BI-apper, overvåket og sikret tilgang for viktige interessenter.
    • Anvendt DAX i Power BI for å lage beregninger og målinger på dashbord.
    • Utviklet KPI-rapporter og dashbord i Excel ved hjelp av data som importeres og oppdateres fra SQL-databaser.
    • Hentet ut data fra SQL og utførte analyser i Excel ved hjelp av avanserte formler og funksjoner.
    • Laget intelligente webapplikasjoner for operatører ved hjelp av data importert til Esri ArcGIS.
    • Skrev effektive og komplekse SQL-spørringer med pivoter, sammenføyninger og nestede spørringer.

    Teknologier:

    • Teknologier:
    • SQL SQL
    • Data Engineering
    • Data Analytics
    • Microsoft Power BI Microsoft Power BI

Utdannelse

  • BSc.Business Administration, Management and Operations

    De Montfort University · 2009 - 2011

Finn din neste utvikler innen dager, ikke måneder

I løpet av en kort 25-minutters samtale ønsker vi å:

  • Forstå dine utviklingsbehov
  • Forklare prosessen vår der vi matcher deg med kvalifiserte, evaluerte utviklere fra vårt nettverk
  • Dele de neste stegene for å finne riktig match, ofte på mindre enn en uke

La oss ta en prat