Architecte Data Azure - Databricks - Snowflake - Part-Time Puis Full-Time
Role details
Job location
Tech stack
Job description
Trois enjeux simultanés :
- Recadrer diplomatiquement la direction technique actuelle - identifier les problèmes, les formuler de façon constructive, convaincre de changer de cap sans détruire la relation
- Concevoir et industrialiser une plateforme data robuste - architecture cible, pipelines ETL/ELT, CI/CD, IaC, gouvernance, RGPD
- Coacher et faire monter en compétences l'équipe data interne - transfert de connaissance, standards, patterns, sans créer de dépendance
MISSIONS PRINCIPALES
Audit & Recadrage Diplomatique de l'Architecture Existante
- Analyser l'architecture data actuelle : identifier les problèmes structurels, les anti-patterns, les risques opérationnels
- Formuler les recommandations de façon constructive
- Convaincre le management et les équipes de changer de direction : argumentation technique, démonstration par les risques, roadmap de transition réaliste
- Conduire des revues d'architecture régulières pour maintenir la cohérence dans la durée
Définition de l'Architecture Cible
- Concevoir l'architecture data cible : zones medallion (raw/processed/curated), formats (Delta Lake / Snowflake selon les cas d'usage), partitionnement, clés de distribution
- Définir les patterns d'intégration entre Databricks et Snowflake pour éviter les silos
- Produire le DAT complet, défendable en comité de direction
- Définir la stratégie de gouvernance : Unity Catalog, RBAC, RLS, Data Lineage, catalogue de données
Industrialisation des Pipelines & DataOps
- Concevoir et implémenter les pipelines ETL/ELT sur Databricks et Snowflake (Snowpipe, Streams & Tasks)
- Mettre en place les pipelines CI/CD Azure DevOps (YAML) avec Terraform pour l'infrastructure as code
- Tests automatisés data : qualité, contrats, régression - culture DataOps production réelle
- Structurer les environnements dev/staging/prod avec isolation et promotion contrôlée
Sécurité & Conformité
- IAM Azure, RBAC Unity Catalog, RLS Snowflake, Key Vault
- Conformité RGPD : pseudonymisation, chiffrement, audit trail, droit à l'oubli
Coaching & Transfert de Compétences
- Revues de code, revues d'architecture, sessions de formation sur les patterns et standards
- Documentation des décisions (ADR) et bonnes pratiques pour assurer la continuité sans dépendance
- Montée en compétences sur Unity Catalog, Delta Live Tables, optimisation Snowflake, Terraform
Stratégie Data à 3 ans
- Roadmap data : quick wins, transformations structurelles, jalons, dépendances
- Veille technologique : évolutions Databricks/Snowflake/Azure, data mesh, data fabric
- Cadrage des POCs nécessaires avant l'implémentation à grande échelle, Snowflake - Must Have (++) :
- Administration réelle : virtual warehouses, sizing, Snowpipe, Streams & Tasks
- Sécurité : RBAC, RLS, masking policies, encryption
- Tuning performance : clustering keys, materialized views, query profiling
- ACCOUNT_USAGE monitoring, optimisation des coûts
Azure Data & IaC - Must Have (++) :
- Azure Data Factory / Synapse, Event Hub / Service Bus, Azure Monitor, Key Vault
- Terraform - modules, state management, multi-comptes : critère central
- Azure DevOps YAML pipelines : CI/CD data, tests automatisés, promotion d'environnements
Requirements
PROFIL RECHERCHÉ10 à 15 ans, dont 5 ans en architecture data et 3 ans sur plateformes Azure/Databricks/Snowflake en production réelle - pas de sandbox, pas de POC uniquementExpérience en mission de conseil ou de transformation : l'influence sans autorité hiérarchique s'apprend dans ce contexteExpérience de coaching ou mentoring d'équipes data : transfert sans créer de dépendanceSOFT SKILLS CLÉSDiplomatie et influence (critère n°1) : convainc un client de changer de direction par la démonstration et la confiance, pas par l'autoritéPédagogie : valorise l'existant avant de proposer des changementsHumilité technique : écoute le contexte avant de prescrirePrésentation et communication : à l'aise en comité de direction, en revue d'architecture, en présentation de roadmapPatienceCOMPÉTENCES REQUISESDatabricks - Must Have (++) :Delta Lake : optimisation, Z-ordering, vacuum, Data Skipping, liquid clusteringUnity Catalog : mise en place en production, RBAC, Data LineageDelta Live Tables, MLflow appréciéIntégration ADF / Azure DevOps / TerraformSnowflake - Must Have (++) :Administration réelle : virtual warehouses, sizing, Snowpipe, Streams & TasksSécurité : RBAC, RLS, masking policies, encryptionTuning performance : clustering keys, materialized views, query profilingACCOUNT_USAGE monitoring, optimisation des coûtsAzure Data & IaC - Must Have (++) :Azure Data Factory / Synapse, Event Hub / Service Bus, Azure Monitor, Key VaultTerraform - modules, state management, multi-comptes : critère centralAzure DevOps YAML pipelines : CI/CD data, tests automatisés, promotion d'environnementsDataOps & Code - Must Have :PySpark / Python / SQL avancé - écrire, auditer et optimiser du code dataTests automatisés data : Great Expectations, dbt tests ou équivalentMedallion architecture, lakehouse patterns, data mesh conceptsNice-to-have :MLflow, Azure MLRPA : connaissance fonctionnelle (Power Automate, UiPath)dbt, data contracts, * 10 à 15 ans, dont 5 ans en architecture data et 3 ans sur plateformes Azure/Databricks/Snowflake en production réelle - pas de sandbox, pas de POC uniquement
- Expérience en mission de conseil ou de transformation : l'influence sans autorité hiérarchique s'apprend dans ce contexte
- Expérience de coaching ou mentoring d'équipes data : transfert sans créer de dépendance
SOFT SKILLS CLÉS
- Diplomatie et influence (critère n°1) : convainc un client de changer de direction par la démonstration et la confiance, pas par l'autorité
- Pédagogie : valorise l'existant avant de proposer des changements
- Humilité technique : écoute le contexte avant de prescrire
- Présentation et communication : à l'aise en comité de direction, en revue d'architecture, en présentation de roadmap
- Patience, * PySpark / Python / SQL avancé - écrire, auditer et optimiser du code data
- Tests automatisés data : Great Expectations, dbt tests ou équivalent
- Medallion architecture, lakehouse patterns, data mesh concepts
