Data Engineer
Role details
Job location
Tech stack
Job description
- Assurer la continuité et la fiabilité des pipelines Talend existants
- Maintenir et superviser le Data Warehouse PostgreSQL - performance, qualité des données
- Garantir la disponibilité des reportings Power BI à destination des équipes métiers
- Monitorer les flux via Grafana + Prometheus - alertes, incidents, résolution
BUILD
- Faire évoluer et enrichir les pipelines d'ingestion - Airbyte (batch/CDC) et Kafka (streaming)
- Gérer et optimiser le Data Lake Iceberg - partitionnement, time travel, schema evolution, compaction
- Développer et maintenir les modèles dbt - transformations, tests de qualité, documentation
- Orchestrer les flux via Dagster - scheduling, monitoring, gestion des dépendances
- Optimiser les requêtes Trino sur le Data Lake
- Contribuer aux projets IA via Qdrant - alimentation de la base vectorielle, feature engineering
Transverse
- Intégrer de nouvelles sources de données - applications CBA, outils internes
- Travailler en lien avec le DPO/RJ sur la conformité des données de santé - HDS, RGPD
- Documenter les flux et maintenir la documentation à jour
Requirements
Formation & expérience Bac+5 en Informatique, Data Engineering ou équivalent Vous avez à minima 3 années d'expérience en Data Engineering dans un environnement SaaS Expérience sur une architecture lakehouse - Iceberg, Delta Lake ou équivalent Connaissance du secteur santé ou des contraintes HDS appréciée Compétences techniques - indispensables Maîtrise d'Iceberg - tables, partitionnement, time travel, schema evolution Maîtrise de dbt - modélisation, tests, documentation Maîtrise de SQL avancé et de Python Expérience sur un orchestrateur - Dagster, Airflow ou équivalent Bonne connaissance des moteurs de requêtes distribués Expérience sur un outil d'ingestion batch/CDC - Airbyte, Fivetran ou équivalent Compétences techniques - appréciées Connaissance de Kafka ou d'un système de streaming équivalent Sensibilité aux bases vectorielles et à l'IA - Qdrant ou équivalent Connaissance de Grafana + Prometheus Connaissance des contraintes HDS et ISO 27001 Savoir-être Rigoureux et fiable - données de santé, la qualité n'est pas négociable Bâtisseur - vous aimez construire autant que maintenir Pédagogue - vous documentez et expliquez vos choix Collaboratif - DSI, Data, Produit, Métiers, ... Compétences talend Iceberg PostgreSql APACHE KAFKA