Data Engineer Databricks TJM max 600

Craftman data
Paris, France
16 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French
Experience level
Intermediate

Job location

Paris, France

Tech stack

API
Amazon Web Services (AWS)
Data analysis
Azure
Cloud Computing
Code Review
Continuous Integration
Data Validation
ETL
Github
Hive
DataOps
Data Streaming
Google Cloud Platform
GIT
Data Lake
PySpark
Kafka
Machine Learning Operations
Databricks

Job description

MissionsDéveloppement & Architecture DataConcevoir et développer des pipelines de données sur Databricks (PySpark, Spark SQL, Delta Live Tables).

Mettre en place des architectures Lakehouse basées sur Delta Lake.

Industrialiser les workflows ETL/ELT avec Databricks Workflows.

Administration de la plateforme DatabricksAdministrer les environnements Databricks (workspaces, clusters, permissions).

Optimiser les coûts via la configuration, l'autoscaling et le monitoring des clusters.

Mettre en ?uvre les bonnes pratiques de sécurité (Unity Catalog, gestion des accès, lineage).

Gouvernance & Qualité des donnéesDéployer des mécanismes de contrôle qualité et de validation des données (expectations, tests).

Documenter les modèles de données et les flux.

Garantir la fiabilité, la disponibilité et la fraîcheur des données.

CollaborationCollaborer avec les équipes Data, Analytics, IA et les métiers.

Accompagner les utilisateurs dans l'adoption de la plateforme Databricks.

Participer aux revues de code, à la standardisation des développements et au partage des bonnes pratiques.

Requirements

Do you have experience in Unity?, Compétences techniques requisesExcellente maîtrise de PySpark et/ou Spark SQL.

Expérience significative sur Databricks (pipelines, notebooks, clusters, Unity Catalog).

Bonne connaissance des architectures Lakehouse.

Solides compétences en ETL/ELT, modélisation de données et ingestion batch/streaming.

Expérience sur un environnement Cloud (Azure, AWS ou GCP).

Maîtrise de Git et des outils de CI/CD (Azure DevOps, GitHub Actions ou équivalent).

Compétences appréciéesConnaissances de MLflow et des pratiques MLOps.

Sensibilité aux approches DataOps, à l'optimisation des coûts et au monitoring.

Expérience avec les APIs et les flux temps réel (Kafka ou technologies similaires).

Profil recherchéBac+5 en informatique, data ou équivalent.

2 à 5 ans d'expérience en Data Engineering, avec une expertise sur Databricks.

Esprit d'équipe, autonomie, rigueur, bonnes capacités de communication et goût pour la documentation., Profil recherchéBac+5 en informatique, data ou équivalent.

2 à 5 ans d'expérience en Data Engineering, avec une expertise sur Databricks.

Esprit d'équipe, autonomie, rigueur, bonnes capacités de communication et goût pour la documentation.

Apply for this position