Data Engineer Pyspark - Iceberg H/F

Profil Data Engineer PySpark / Iceberg - Optimisation des traitements de données de facturation électronique

Contexte

Traitement complexe à fort volume. Les données de facturation électronique sont préparées jusqu’à la couche Argent. Apache Iceberg arrive en production mi-décembre. La volumétrie cible est de plusieurs dizaines de milliards de factures. Le modèle compte près de 30 tables, certaines avec plusieurs enregistrements par facture ou par ligne de facture.

Mission principale

Data Engineer en renfort de l’équipe sur la conception du code, la conception logicielle des flux et l’optimisation du pipeline de transformation :

• apporter un regard complémentaire sur l’usage de la plateforme et confronter les approches avec l’équipe

• accompagner la transition des traitements en full vers des traitements incrémentaux fiables

• participer aux expérimentations, benchmarks et mesures de performance

Modélisation de données

• Challenger la structure du code et la conception des flux (règles métier, usages, performance)

• Caractériser les volumes et leur croissance par table

• Explorer une parallélisation maximale des traitements

• Passer à l’incrémental sur les cas complexes d’annulations et de rectifications : mises à jour en cascade ciblées, réconciliation des flux, justesse des indicateurs

• Proposer une revue des spécifications métier si nécessaire

Performance, optimisation et exploitation

• Analyser les traitements existants (plans d’exécution, métriques de production) et prioriser les optimisations

• Réaliser les modifications en PySpark en préservant les règles métier, la lisibilité et la maintenabilité

• Exploiter Iceberg : MERGE optimisés, Hidden Partitioning

• Optimiser la disposition physique des couches Bronze et Argent (Bucketing, Clustering, Z-Ordering)

• Garantir la qualité, la déduplication et la cohérence des données entrantes

• Mesurer les gains avant / après et transmettre les travaux à l’équipe

Environnement technique

Apache Spark, PySpark, Apache Iceberg, Hadoop, Hive, Python

Compétences techniques

• Apache Iceberg appliqué au code : optimisation des MERGE, Hidden Partitioning, transactions ACID

• Apache Spark / PySpark : conception de jobs, gestion des processeurs, optimisation mémoire, tuning des requêtes

• Python et Software Craftsmanship (Clean Code, refactoring)

• Bash et SQL analytique à l’échelle du milliard de lignes

Soft skills : vulgariser les choix de conception, documenter, transmettre (code reviews), Apache Iceberg appliqué au code : optimisation des MERGE, Hidden Partitioning, transactions ACID

• Apache Spark / PySpark : conception de jobs, gestion des processeurs, optimisation mémoire, tuning des requêtes

• Python et Software Craftsmanship (Clean Code, refactoring)

• Bash et SQL analytique à l’échelle du milliard de lignes

Apache spark Bash SQL Modélisation des données Hive Python