Dean N.

Data Engineer

Dean on datasuunnittelija, jolla on viiden vuoden kokemus kaupallisesta toiminnasta. Hänen ensisijainen asiantuntemuksensa on vankkojen dataputkistojen ja infrastruktuurin suunnittelu, rakentaminen ja ylläpito.

Hän on erittäin taitava käsittelemään suuria tietokokonaisuuksia, optimoimaan tietojen työnkulkuja ja varmistamaan tietojen tarkkuuden ja luotettavuuden analyysejä ja raportointia varten.

Hän on oma-aloitteinen, itsenäiseen työskentelyyn kykenevä henkilö, mutta hän menestyy yhtä hyvin yhteistyöhön perustuvissa tiimiympäristöissä.

Deanin intohimo teknologiaa kohtaan saa hänet jatkuvasti kehittämään taitojaan ja omaksumaan uusia työkaluja ja menetelmiä, jotka edistävät tehokkaampaa tiedonhallintaa ja analysointia.

Tärkein asiantuntemus

  • Terraform
    Terraform 4 vuotta
  • ETL
    ETL 4 vuotta
  • Python
    Python 4 vuotta

Muut taidot

  • Bash
    Bash 4 vuotta
  • Shell
    Shell 4 vuotta
  • Linux
    Linux 4 vuotta
Dean

Dean N.

United Kingdom

Aloita tästä

Valittu kokemus

Työllisyys

  • Data Engineer

    King - 3 years 1 month

    • Hyödynsi Airflow'ta ETL-putkistojen kehittämisessä, tietojen muuntamisessa raakamuodoista helposti käytettäviin muotoihin oivalluksia varten.
    • Käytti Cloud Functionsia, Scheduleria ja Sheetsia rakentaakseen ETL-putkia, jotka mahdollistivat vähemmän teknisten sidosryhmien panoksen.
    • Parannetaan tietojen laatua ja vähennetään putkistovikoja luomalla seuranta- ja hälytysnäyttötauluja GCP Cloud Monitoring -palvelun avulla.
    • Suunnitellut tietovaraston taulukoita keskittyen tehokkuuteen ja kustannustehokkaaseen kyselyyn hyödyntäen osiointi- ja klusterointitekniikoita.
    • Parannetaan koodipohjan ylläpidettävyyttä soveltamalla DRY-periaatteita ja käyttämällä tarvittaessa Jinjaa.
    • Parannettu CI/CD-putkea integroimalla SQL-skriptien testaus.
    • Käyttänyt Terraformia GCP-resurssien ohjelmalliseen luomiseen ja hallintaan.

    Tekniikat:

    • Tekniikat:
    • Terraform Terraform
    • ETL ETL
    • Python Python
    • SQL SQL
    • Google Cloud Google Cloud
    • Bash Bash
    • Shell Shell
    • Linux Linux
    • Apache Airflow Apache Airflow
    • Dataflow Dataflow
    • Data Engineering
  • Data Engineer

    Inmarsat - 6 months

    • Hyödynsi EC2-instanssien ja komentorivin yhdistelmää SSH:n käyttämiseen tiloissa oleviin koneisiin ja CSV-tiedostojen siirtämiseen S3-ämpäreihin.
    • Korvasimme Airflow'n Prefectillä tietojen muuntamiseksi, mikä optimoi työnkulun hallintaprosessin.
    • Käytti DBT:tä ja Jinjaa testiskriptien rakentamiseen ja tietovaraston rakentamiseen.
    • Käyttänyt Terraformia GCP-resurssien ohjelmalliseen käyttöönottoon.

    Tekniikat:

    • Tekniikat:
    • Terraform Terraform
    • Python Python
    • SQL SQL
    • AWS AWS
    • Bash Bash
  • Data Engineer

    LADbible Group - 1 year 1 month

    • Käyttänyt Apache Beamia / Google Dataflowta eräkäsittelyputkien rakentamiseen.
    • Automatisoit useita ETL-putkia, jotka poimivat tietoja eri lähteistä, mukaan lukien pilvitallennukset, Google Sheets ja API:t, erityisesti kohdistamalla Snapchat- ja mainostulotiedot, joiden tuotokset ovat BigQuery-taulukoita tai kojelautoja.
    • Varmistit, että koodi oli yksikkötestattavissa käyttämällä Pytestiä ja soveltamalla testivetoista kehitystapaa (TDD).
    • Luonut Google Data Studiossa (GDS) kojelautoja ja määrittänyt GCP:ssä hälytykset dataputkien seuraamiseksi.
    • Käyttänyt Terraformia resurssien tarjoamiseen GCP:ssä.

    Tekniikat:

    • Tekniikat:
    • Terraform Terraform
    • ETL ETL
    • Python Python
    • SQL SQL
    • Google Cloud Google Cloud
    • AWS AWS
    • Bash Bash
    • Shell Shell
    • Linux Linux
    • Apache Airflow Apache Airflow
    • Dataflow Dataflow
    • Data Engineering
  • Data Analyst

    Publicis Media - 6 months

    • Kirjoitti SQL-kyselyitä Power BI:ssä tapahtuvaa dimensiotietojen mallintamista varten.
    • Hyödynsi Pythonia (Pandas) käsitelläkseen tietokokonaisuuksia Exceliin vientiä varten.
    • Luotu räätälöityjä Power BI -raportteja, joiden avulla saadaan selkeä ja ytimekäs näkemys tiedoista.
    • Käyttänyt DAX-kieltä Power BI:ssä tietojen muuntamiseen ja laskemiseen.
    • Suorittanut eri lähteistä peräisin olevien tietojen ETL:ää tietomallien rakentamiseksi, tyypillisesti Star-skeeman muodossa.
    • Hain tietoja eri lähteistä, loin tietokokonaisuuksien välisiä suhteita ja mallinsin tietoja.

    Tekniikat:

    • Tekniikat:
    • Python Python
    • SQL SQL
    • Pandas Pandas
    • Microsoft Power BI Microsoft Power BI
  • Data Analyst

    Veolia - 1 year 5 months

    • Hyödynsi Power BI:n ja SQL:n yhdistelmää tietomallien luomiseksi ja oivaltavien raportointivisualisointien kehittämiseksi.
    • Rakensi ja otti vastuun Power BI -sovelluksista, seurasi ja varmisti tärkeiden sidosryhmien pääsyn.
    • Soveltanut DAXia Power BI:ssä laskelmien ja mittausten luomiseksi kojelaudoissa.
    • Kehittänyt KPI-raportteja ja kojelautoja Excelissä käyttäen SQL-tietokannoista tuotuja ja päivitettyjä tietoja.
    • Otetut tiedot SQL:stä ja suoritettu analyysi Excelissä käyttäen kehittyneitä kaavoja ja funktioita.
    • Luotu älykkäitä verkkosovelluksia operaattoreille käyttäen Esri ArcGIS:iin tuotuja tietoja.
    • Kirjoitti tehokkaita ja monimutkaisia SQL-kyselyjä, jotka sisälsivät pivotteja, yhdistelmiä ja sisäkkäisiä kyselyjä.

    Tekniikat:

    • Tekniikat:
    • SQL SQL
    • Data Engineering
    • Data Analytics
    • Microsoft Power BI Microsoft Power BI

Koulutus

  • BSc.Business Administration, Management and Operations

    De Montfort University · 2009 - 2011

Löydä seuraava kehittäjäsi päivien, ei kuukausien sisällä

Kun otat yhteyttä, järjestämme lyhyen 25 minuuttia kestävän tapaamisen, jonka aikana:

  • Kartoitamme yrityksenne kehitystarvetta
  • Kertoa prosessimme, jolla löydämme teille pätevän, ennakkotarkastetun kehittäjän verkostostamme
  • Käymme läpi askeleet, joilla oikea ehdokas pääsee aloittamaan – useimmiten viikon sisällä

Keskustele kanssamme