Architecte Data (Databricks) F/H

Votre rôle ? Concevoir l'architecture globale de ce Data Lakehouse, en alignement avec les

besoins métiers, les contraintes techniques et les standards d'excellence. Vous serez le

garant de la cohérence, de la scalabilité et de la sécurité de l'écosystème data, tout en

collaborant avec des équipes pluridisciplinaires pour livrer une solution robuste et

innovante.

Conception de l'Architecture Data

• Définir l'architecture cible du Data Lakehouse sur Databricks, en intégrant :

o Sources de données : Bases SQL/NoSQL, APIs, fichiers (CSV, JSON,

Parquet), flux temps réel (Kafka, Kinesis).o Stockage : Delta Lake (optimisé avec Z-ordering, partitionnement, Delta

Cache).

o Transformation : Spark (PySpark/Scala) avec des patterns modulaires et

réutilisables.

o Exposition : Databricks SQL Warehouses, Unity Catalog, et intégration avec

des outils BI (Tableau, Power BI).

o Gouvernance : Unity Catalog (RBAC, lineage, data quality, masking).

• Proposer des solutions pour l'ingestion :

o Batch : Auto Loader, dbt, Airflow.

o Streaming : Structured Streaming, Delta Live Tables.

• Optimiser les coûts : Stratégies de stockage (tiering), auto-scaling, et gestion des

ressources.

Gouvernance et Sécurité des Données

• Implémenter une gouvernance unifiée avec Unity Catalog :

o RBAC (rôles et permissions granulaires).

o Data lineage (traçabilité des données).

o Data quality (détection des anomalies, validation des schémas).

o Masquage des données sensibles (dynamic data masking).

• Garantir la conformité :

o RGPD, HIPAA (selon le secteur), ou autres réglementations sectorielles.

o Audit et logging des accès aux données.

• Documenter les politiques et former les équipes à leur utilisation.

Industrialisation et Performance

• Définir des bonnes pratiques pour :

o L'ingestion : Gestion des schémas évolutifs, déduplication, gestion des

erreurs.

o Le stockage : Optimisation des tables Delta (compaction, vacuum,

OPTIMIZE).

o Les transformations : Utilisation de Delta Live Tables pour des pipelines

déclaratifs.

o L'exposition : Création de vues matérialisées, caches, et optimisation des

requêtes SQL.

• Mettre en place des mécanismes de monitoring :

o Alertes en temps réel (Datadog, Prometheus).

o Tableaux de bord de performance (Grafana).

o Revue régulière des coûts et des performances. Collaboration et Leadership Technique

• Travailler en étroite collaboration avec :

o Les Data Engineers pour implémenter les pipelines.

o Les Data Scientists pour fournir des données exploitables.

o Les équipes métiers pour comprendre les besoins et prioriser les

fonctionnalités.

o Les équipes DevOps/SRE pour l'automatisation des déploiements (Terraform,

CI/CD).

• Piloter les revues techniques et proposer des améliorations continues.

• Former et accompagner les équipes internes sur les outils et bonnes pratiques.

Innovation et Veille Technologique

• Rester à la pointe des évolutions

o Nouveautés Databricks (ex : Delta Lake 3.0, Unity Catalog avancé, MLflow

Pipelines).

Soft Skills

• Leadership technique : Capacité à guider une équipe et à prendre des décisions

architecturales éclairées.

• Esprit d'équipe : Collaboration avec des profils variés (techniques, métiers,

management).

• Résolution de problèmes : Aptitude à diagnostiquer et résoudre des problèmes

complexes d'architecture.

• Communication : Capacité à expliquer des concepts techniques à des non-

techniciens (ex : métiers, direction).

• Proactivité et innovation : Recherche active d'améliorations et de solutions

innovantes.

Bonus

• Certifications Databricks : Data Architect, Data Engineer Associate.

• Expérience dans le secteur : mobilités

• Connaissance des frameworks : Delta Sharing, Databricks Partner Connect, Data

Mesh.

• Expérience en MLOps : Intégration avec MLflow pour le déploiement de modèles.

• Veille technologique : Participation à des conférences (Databricks Data + AI Summit,

Spark Summit).