> Markdown version of [/jobs/ext/4114664-consultant-e-data-engineer-senior-lead-spark-scala-azure-databricks](https://www.wearedevelopers.com/jobs/ext/4114664-consultant-e-data-engineer-senior-lead-spark-scala-azure-databricks). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md). --- # Consultant·e Data Engineer Senior / Lead - Spark, Scala & Azure Databricks - **Company:** ANAFI CONSULTING - **Location:** France - **Experience:** Expert - **Contract:** Permanent contract - **Skills:** Java (Programming Language), Unit Testing, Microsoft Azure, Big Data, Cloud Computing, Code Review, Databases, Continuous Integration, DevOps, Github, Apache Oozie, Performance Tuning, Azure Data Lake, Software Deployment, SQL Databases, Delivery Pipeline, Apache Spark, Spring-boot, Data Lakes, AngularJS, Kubernetes, Azure AKS, Vertica, Jenkins, Databricks - **Published:** October 22, 2026 - **Apply:** https://www.indeed.com/viewjob?jk=3348cb6435ec51e9 ## About the Role Compétences techniquesExpérience confirmée en Data Engineering, idéalement dans un environnement bancaire ou financier. Excellente maîtrise de Scala et Apache Spark. Expérience significative sur Azure Databricks et Delta Lake. Bonne compréhension des architectures Data Lake et des traitements distribués. Solide maîtrise de SQL. Capacité à optimiser les performances des traitements Spark. Expérience dans l'industrialisation des pipelines Data. Bonne connaissance des environnements CI/CD et Kubernetes. Expérience dans la conception et la maintenance de traitements critiques. Compétences fonctionnelles appréciéesConnaissance des données de marché. Expérience des environnements banque de financement et d'investissement. Compréhension des enjeux de reporting réglementaire financier. Connaissance des reportings NSFR / COREP. Expérience des problématiques de rapprochement et de qualité des données financières. Soft SkillsForte capacité d'analyse et de résolution de problèmes. Autonomie et rigueur. Capacité à prendre du recul sur les choix techniques. Sens de la qualité et de la performance. Capacité à accompagner des profils moins expérimentés. Bon relationnel et esprit collaboratif. Capacité à travailler dans des environnements techniques complexes. ## Description Votre rôleDans le cadre de projets stratégiques de transformation Data au sein d'un environnement bancaire international, nous recherchons un(e) Data Engineer Senior / Lead spécialisé(e) dans les technologies Apache Spark, Scala et Azure Databricks. Vous interviendrez sur la conception, le développement et l'optimisation de plateformes de traitement de données à grande échelle, notamment autour des données de marché et des reportings financiers réglementaires. Votre rôle couvrira l'ensemble du cycle de vie des traitements Data : ingestion, transformation, contrôle qualité, optimisation des performances, industrialisation et mise en production. Vous contribuerez également aux choix d'architecture et à l'accompagnement technique des équipes. Vos missions principales Data Engineering & Traitement de donnéesConcevoir et développer des pipelines de traitement de données avec Apache Spark et Scala. Collecter, transformer et consolider des données issues de sources multiples. Développer des traitements distribués pour des volumes importants de données financières. Mettre en ?uvre des contrôles de qualité et de cohérence des données. Automatiser les traitements de rapprochement et les calculs financiers. Garantir la fiabilité et la traçabilité des données produites. Architecture Data Lake & AzureParticiper à la conception et à l'évolution d'architectures Data Lake sur Microsoft Azure. Mettre en ?uvre des solutions Delta Lake selon une architecture médaillon Bronze / Silver / Gold. Développer et maintenir des traitements sur Azure Databricks. Contribuer à l'optimisation du stockage et de l'exploitation des données sur Azure Data Lake Storage Gen2. Participer aux projets de modernisation et de migration des plateformes Data. Performance & Optimisation SparkOptimiser les performances des traitements Spark. Analyser les plans d'exécution et améliorer les stratégies de partitionnement. Réduire les temps de traitement grâce à l'optimisation des opérations de shuffle et des agrégations. Participer aux migrations et montées de version des environnements Spark. Identifier les axes d'amélioration de la performance, de la stabilité et de la maintenabilité des pipelines. Données financières & Reporting réglementaireDévelopper des traitements de calcul et d'agrégation de données financières. Contribuer à la production de reportings réglementaires tels que NSFR et COREP. Participer à la fiabilisation des données de marché et des référentiels financiers. Développer des mécanismes de rapprochement entre différentes sources de données. Garantir la qualité et la non-régression des calculs. Industrialisation & DevOpsIndustrialiser les traitements Data à travers des pipelines CI/CD. Automatiser les tests unitaires et d'intégration. Participer au déploiement des applications sur Kubernetes / AKS. Utiliser Helm pour la gestion des déploiements. Contribuer à l'amélioration continue des pratiques de développement et de livraison. Expertise technique & AccompagnementParticiper aux choix d'architecture et aux orientations techniques. Accompagner les ingénieurs Data dans leur montée en compétence. Réaliser des revues de code et promouvoir les bonnes pratiques de développement. Collaborer avec les équipes métiers, Data Analysts et équipes IT. Animer des ateliers techniques dans le cadre des évolutions et migrations technologiques. Environnement techniqueData Engineering & Big Data Scala Apache Spark Azure Databricks Delta Lake SQL Cloud & Stockage Microsoft Azure Azure Data Lake Storage Gen2 (ADLS) Architecture Data Lake Architecture médaillon Bronze / Silver / Gold Bases de données & Restitution ClickHouse OpenSee DevOps & Industrialisation Jenkins GitHub, Spring Boot Angular Qualité & Performance Tests unitaires et d'intégration Optimisation Spark Partitionnement et shuffle Monitoring des traitements Qualité et fiabilité des données