Lead Data engineer - H/F

Intégré(e) à l'équipe Data & IA, vous contribuerez aux projets de création et d'industrialisation de pipeline de traitement de la donnée depuis les systèmes source (IOT, base de données internes, etc…) vers les zones bronze, silver et gold du data lake. A cet effet, vous serez chargé de :

· Concevoir et construire des processus ETL/ELT pour l'ingestion et le traitement de grands ensembles de données en utilisant Azure Data Factory, Databricks, Synapse et d'autres services Azure comme eventhub.et ADX.

· Gérer, surveiller et optimiser les solutions de stockage de données telles que Azure SQL Database, Azure Synapse Analytics et Azure Data Lake Storage.

· Créer et maintenir des modèles de données évolutifs qui prennent en charge les besoins en matière d'analyse et d'apprentissage automatique.

· Intégrer diverses sources et formats de données, en assurant la qualité et la cohérence des données pour obtenir des informations commerciales fiables.

· Mettre en œuvre les meilleures pratiques en matière de sécurité et de conformité des données, y compris le cryptage des données, la gestion des identités et la gouvernance des données dans Azure.

· Optimiser les pipelines de données et les solutions de stockage pour obtenir des performances élevées et une bonne rentabilité.

· Travailler en étroite collaboration avec des équipes interfonctionnelles, notamment des data scientists, des architectes et des développeurs, afin de comprendre et de satisfaire les exigences en matière de données.

· Maintenir une documentation complète des architectures de données, des flux de données et des configurations de pipeline pour la transparence et le partage des connaissances.

· Utiliser des outils qui renforcent les pratiques DevOps : Git et Azure DevOps pour le versionnage, le contrôle des sources et le déploiement.

L'environnement de développement sera le cloud Azure avec la plateforme interne CoDAI

Ingénieur ou Diplômé(e) d'un BAC+5 avec une spécialisation dans un domaine technique (computer science, statistiques, mathématiques), vous possédez au moins 5 ans d'expériences dans le déploiement des pipelines de traitement des données et des modèles d'intelligence artificielle.

Compétences techniques :

· Maîtrise d'Azure Data Factory, Azure Databricks, Azure SQL Database et Azure Synapse Analytics. · Solide connaissance de SQL, Python et Spark. · Bonne compréhension des technologies de streaming de données comme (EventHub, Kafka etc…) · Familiarité avec Data Lake Storage et Blob Storage pour le stockage et la transformation des données. · Expérience pratique du développement ETL/ELT et de l'orchestration de pipelines de données. · Expérience dans les concepts de modélisation de données et d'entreposage de données. · Expérience des pipelines Azure DevOps/github et CI/CD. · La connaissance d'autres technologies cloud comme (AWS, GCP) serait un plus · Connaissance de Terraform, docker, Ansible et command bash seraient un plus

Autres compétences : · Capacité d'écoute et à comprendre les besoins et les attentes de l'entreprise · Capacité à communiquer clairement des concepts techniques à un public non technique · Capacité à analyser et à résumer · Un état d'esprit agile et collaboratif · Curiosité et veille sur les problématiques de virtualisation et de conteneurisation

Le poste est basé à Paris La défense et vous serez rattaché hiérarchiquement au Head of Data Science au sein de la direction digitale du groupe SUEZ.

Levier de différenciation du Groupe, SUEZ Digital Solutions propose à ses clients publics et privés des solutions digitales visant réduire leur empreinte environnementale et améliorer la performance de leur patrimoine. Grâce à son réseau d'experts digitaux y compris en matière de Data et d'intelligence artificielle, SUEZ Digital Solutions accompagne les collectivités et les entreprises dans leurs transitions environnementales et circulaire, ainsi que les citoyens pour leur faciliter l'accès à une consommation plus durable. Notre ambition : accélérer le développement et le déploiement de solutions digitales à fort impact environnemental pour relever nos défis de demain comme la préservation de la ressource en eau et la valorisation de nos déchets.