Big Data Engineer

• Dirige les initiatives d'optimisation de ETL basées sur Spark, en réduisant l'empreinte des calculs et en assurant des ETA liées aux SLA pour les produits de données critiques.
• Propriétaire de l'architecture et de l'implémentation de pipelines à ingestion à haut volume fonctionnant sur les clusters AWS EMR et Databricks.
• Implémente le réglage des performances avancées, les stratégies de partitionnement, la mise en cache et le raffinement du plan d'exécution à travers les charges de travail PySpark et Scala Spark.
• Conception de DAGs Airflow pour des processus d’extraction, de transformation, de préparation de modèles et de livraison.
• Collabore avec des chercheurs de données et des équipes d'analyse pour normaliser la logique de transformation en cadres réutilisables.
• Assurer la fiabilité de la production en améliorant la surveillance, l’enregistrement et les alertes à travers les charges de travail EMR, Snowflake et GCP.
• Prise en charge de l’intégration entre équipes et forme des normes d’ingénierie pour les nouveaux produits de données.

• Conçu des emplois avancés de Spark à l'aide d'un cadre interne pour traiter les ensembles de données de détail multi-sources à l'échelle.
• Développer des pipelines ETL complets – de l'ingestion brute (S3, APIs, flux de fournisseurs) au nettoyage, à la préparation et aux sorties de datamart.
• Création d'algorithmes récursifs personnalisés pour optimiser une étape ETL goulot d'étranglement, améliorant la vitesse d'exécution et la stabilité.
• Réglage de l'utilisation du processeur et de la mémoire, des configurations de l'exécuteur et des formats de stockage pour répondre aux ETA strictes.
• Créé et entretenu par Airflow DAGs orchestrant des dizaines de tâches interdépendantes.
• Collaboré avec les équipes de produits, de données et de clients sur les modèles d'intégration et d'alignement des exigences.
• Une distribution sécurisée assurée des jeux de données finaux via les automations SFTP.

• Conception et optimisation de pipelines d’ingestion et de transformation soutenant l’analyse des marchés et les opérations de marque.
• Mise en œuvre de flux de travail basés sur Spark pour la prévision, l'analyse de la demande et la connaissance de la performance du produit.
• Création de DAGs Airflow pour orchestrer les étapes ETL et les vérifications de validation.
• Amélioration de la conception des schémas de Snowflake et des performances d'entrepôt pour la déclaration des cas d'utilisation.
• Préparation et qualité des données assurées pour les intégrations internes d'analyse et de marché externe.

• Construit des travaux sophistiqués de Spark sur un cadre interne personnalisé, exécuté sur des grappes de DME AWS.
• ETL conçu à partir de sources de données hétérogènes, de logique de nettoyage et de conservation appliquées, et de données finales livrées.
• Des algorithmes récursifs implémentés pour des transformations complexes, accélérant considérablement les travaux de goulot d’étranglement.
• Réalisation des performances de Spark et des DME, réduction des temps de travail pour répondre aux ETA fixes.
• Développer des DAGs de flux d'air pour orchestrer des pipelines multi-couches.
• Communiqué avec les clients et les équipes interfonctionnelles pour l’intégration des données et l’analyse des besoins.

En tant que chef de développement:

• Allocation de tâches avec des instructeurs, évaluation par les pairs et intégration pour les nouveaux ingénieurs.
• Fournir des conseils d'architecture et assurer l'alignement sur les normes d'ingénierie de l'entreprise.
• Équipes soutenues avec une assistance technique pratique à travers Spark, Airflow et AWS EMR.

• Contribution à la mise en œuvre de la Fonderie de Palantir pour la gouvernance, la modélisation et l'analyse des données de l'entreprise.
• Des ensembles de données organisés, des flux de travail opérationnels et des pipelines gérés au sein de Foundry.
• Développer des tables et des tableaux de bord prêts à l'analyse pour soutenir les opérations commerciales et réglementaires.
• Collaboré en étroite collaboration avec les équipes de science des affaires et des données pour structurer des ensembles de données de grande valeur.