Expert Azure Databricks & Azure Batch - Data Engineering - DevOps H/F

Dans le cadre de l’accélération des projets Data & IA sur Microsoft Azure, nous recherchons un expert confirmé capable de concevoir, industrialiser et maintenir des plateformes de traitement de données à grande échelle. Le consultant interviendra sur des environnements Cloud Azure exigeants, avec un fort niveau d’automatisation, de performance et de fiabilité.

L’expertise Azure Databricks et Azure Batch est au coeur de la mission, associée à de solides compétences en développement Python et en pratiques DevOps., Concevoir et développer des pipelines de traitement de données robustes et performants.

• Industrialiser les traitements batch et distribués sur Azure.
• Automatiser les déploiements et l’exploitation des plateformes Data.
• Garantir la scalabilité, la résilience et la sécurité des solutions mises en oeuvre.
• Contribuer aux bonnes pratiques d’architecture Cloud et Data Engineering.
• Accompagner les équipes projet dans l’adoption des standards DevOps.

Responsabilités principales

Azure Databricks

• Concevoir et développer des traitements de données distribués sous Azure Databricks.
• Développer des notebooks et workflows Python/PySpark.
• Optimiser les performances des jobs Databricks.
• Mettre en place les mécanismes de monitoring et d’observabilité.
• Concevoir des architectures Lakehouse basées sur Delta Lake.
• Gérer les clusters et les stratégies d’optimisation des coûts.

Azure Batch

• Concevoir et orchestrer des traitements massifs sur Azure Batch.
• Mettre en place les pools de calcul et stratégies d’exécution.
• Industrialiser les traitements à forte volumétrie ou forte consommation CPU/GPU.
• Optimiser les mécanismes de parallélisation et de distribution de charge.
• Assurer la supervision et la gestion des incidents.

Développement Python

• Développer des composants applicatifs et techniques en Python.
• Créer des librairies réutilisables et maintenables.
• Réaliser les tests unitaires, d’intégration et de performance.
• Participer aux revues de code et à l’amélioration continue.

DevOps & Automatisation

• Mettre en oeuvre des pipelines CI/CD.
• Automatiser les déploiements d’infrastructures et d’applications.
• Développer les Infrastructure as Code (Terraform/Bicep).
• Gérer les environnements de développement, recette et production.

• Assurer la qualité, la sécurité et la conformité des déploiements., Data Engineering

• Architecture Lakehouse
• Delta Lake
• Optimisation des traitements distribués
• Gestion de données volumineuses
• Data Quality et Data Governance

Azure Databricks (expert)

• Azure Batch (expert)
• Azure Data Lake Storage Gen2
• Azure Key Vault
• Azure Monitor / Log Analytics
• Azure Event Hub (apprécié)
• Azure Data Factory (apprécié)

Développement

• Python avancé
• PySpark
• SQL avancé
• API REST
• Développement orienté objet

DevOps

• Azure DevOps
• Git
• Terraform
• Bicep
• YAML Pipelines
• Docker

• Kubernetes / AKS (apprécié), Expérience attendue

• Minimum 5 ans d’expérience sur des projets Data Engineering ou Cloud Azure.
• Minimum 3 ans d’expérience significative sur Azure Databricks.
• Expérience démontrée sur Azure Batch dans des contextes de calcul distribué.
• Forte expérience en développement Python.
• Expérience des environnements DevOps et CI/CD.
• Connaissance des enjeux de performance, de sécurité et de maîtrise des coûts Cloud.

Expert Azure Databricks / Azure Batch disposant d’une forte culture Cloud et DevOps, capable d’intervenir aussi bien sur les problématiques d’architecture, de développement Python, d’industrialisation que d’exploitation des plateformes Data à grande échelle. Une expérience dans des environnements critiques et fortement automatisés constitue un atout majeur., Profil recherchéAnglais courantMinimum 5 ans d’expérience sur des projets Data Engineering ou Cloud AzureMinimum 3 ans d’expérience significative sur Azure DatabricksExpérience démontrée sur Azure Batch dans des contextes de calcul distribuéForte expérience en développement PythonExpérience des environnements DevOps et CI/CDConnaissance des enjeux de performance, de sécurité et de maîtrise des coûts CloudCompétences techniques en Microsoft Azure, Azure Databricks, Azure Batch, Azure Data Lake Storage Gen2, Azure Key Vault, Azure Monitor / Log AnalyticsCompétences en développement : Python avancé, PySpark, SQL avancé, API REST, développement orienté objetCompétences DevOps : Azure DevOps, Git, Terraform, Bicep, YAML Pipelines, Docker, Kubernetes / AKS (apprécié)Connaissance en architecture Lakehouse, Delta Lake, optimisation des traitements distribués, gestion de données volumineuses, Data Quality et Data GovernanceProfil expert disposant d’une forte culture Cloud et DevOps, capable d’intervenir sur l’architecture, le développement Python, l’industrialisation et l’exploitation des plateformes Data à grande échelleUne expérience dans des environnements critiques et fortement automatisés constitue un atout majeur, 2. Minimum 5 ans d’expérience sur des projets Data Engineering ou Cloud Azure

1. Minimum 3 ans d’expérience significative sur Azure Databricks
2. Expérience démontrée sur Azure Batch dans des contextes de calcul distribué
3. Forte expérience en développement Python
4. Expérience des environnements DevOps et CI/CD
5. Connaissance des enjeux de performance, de sécurité et de maîtrise des coûts Cloud
6. Compétences techniques en Microsoft Azure, Azure Databricks, Azure Batch, Azure Data Lake Storage Gen2, Azure Key Vault, Azure Monitor / Log Analytics
7. Compétences en développement : Python avancé, PySpark, SQL avancé, API REST, développement orienté objet
8. Compétences DevOps : Azure DevOps, Git, Terraform, Bicep, YAML Pipelines, Docker, Kubernetes / AKS (apprécié)
9. Connaissance en architecture Lakehouse, Delta Lake, optimisation des traitements distribués, gestion de données volumineuses, Data Quality et Data Governance
10. Profil expert disposant d’une forte culture Cloud et DevOps, capable d’intervenir sur l’architecture, le développement Python, l’industrialisation et l’exploitation des plateformes Data à grande échelle
11. Une expérience dans des environnements critiques et fortement automatisés constitue un atout majeur

EUR

Microsoft Azure Cluster Anglais SQL Gestion des données Git Batching Kubernetes Python Gouvernance des données Terraform API REST Monitoring Docker

Cloud & Data

• Microsoft Azure (expert), Taux journalier :Salaire selon profil

False

EducationalOccupationalCredential postgraduate degree EducationalOccupationalCredential bachelor degree EducationalOccupationalCredential