Data Engineer Databricks

En tant que Data Engineer, vous intervenez sur la conception, le développement et l?optimisation de pipelines de données robustes et scalables. Vous travaillez au c?ur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science.

Expérience attendue : 3 à 8+ ans en ingénierie Data.

Vous correspondez au/à la Data Engineer que nous recherchons si :

Vous évoluez efficacement au sein d?équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers, Vous disposez d?un bagage en software engineering, vous permettant d?écrire un code robuste, lisible, maintenable et testable, notamment en Python

Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage

Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d?intégration, revue de code)

Vous êtes à l?aise avec les outils de versioning (Git) et les workflows collaboratifs associés

Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l?évolutivité et de l?observabilité

Do you have experience in Spark?, Vous faites preuve d?un fort esprit analytique et d?une grande rigueur

Vous êtes autonome, proactif et doté d?un solide sens des responsabilités

Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques

Vous savez prioriser vos tâches, gérer les contraintes et respecter vos engagements

Vous disposez d?un bon esprit de synthèse et êtes orienté résultats et valeur métier

Vous avez une bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse

Vous avez déjà travaillé sur des plateformes Data modernes (Cloud)

Vous maîtrisez SQL comme langage d?interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile ?), Compétences techniques attendues autour de la plateforme Databricks :

Bonne maîtrise de la plateforme Databricks dans un contexte Data Engineering

Utilisation avancée d?Apache Spark via PySpark et Spark SQL pour le développement de pipelines Data

Connaissance de Delta Lake et de ses mécanismes clés (Delta log, ACID, schema evolution, time travel...)

Maîtrise des différentes méthodes d'ingestion de données de la plateforme

Connaissance et implémentation du framework Spark Declarative Pipelines

Mise en place de stratégies de tests automatisés pour les pipelines incluant :

Tests unitaires (ex. pytest),

Contrôles de qualité des données (DQX, SDP Expectations)

Certifications recommandées : Databricks Certified Data Engineer Associate (ou équivalent)