> Markdown version of [/jobs/ext/2233190-senior-data-engineer-cdi](https://www.wearedevelopers.com/jobs/ext/2233190-senior-data-engineer-cdi). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md). --- # Senior Data Engineer - CDI - **Company:** Collective - **Location:** Brussel, Belgium - **Experience:** Expert - **Contract:** Permanent contract - **Skills:** Microsoft Windows, Application Programming Interfaces (APIs), Airflow, Apache HTTP Server, Data Architecture, Data Governance, Extract Transform Load (ETL), Data Security, Data Warehousing, Linux, Apache Hive, Python (Programming Language), PostgreSQL, Metadata, Microsoft SQL Server, OpenShift, Windows PowerShell, Power BI, Standard Sql, SQL Databases, Beeline, Apache Spark, Pandas, Data Lakes, Apache Kafka - **Published:** August 26, 2026 - **Apply:** https://www.adzuna.be/details/5856193828 ## About the Role Maitrise Linguistique * Maîtrise du Français * Connaissance active (B1++/B2) en Anglais * Connaissance active (B1++/B2) en Néerlandais Compétences techniques requises * Maîtrise de Python * Maîtrise du SQL * Expérience confirmée avec dbt-core (modèles, snapshots, macros, tests, profils). * Bonne connaissance de DuckDB comme moteur de requête analytique embarqué. * Expérience avec Delta Lake (transactions ACID, time travel, OPTIMIZE/VACUUM, ...). * Connaissance des bases relationnelles : MSSQL, PostgreSQL (SQL avancé, CDC). * Expérience avec un orchestrateur de données : Dagster, Airflow ou équivalent. * À l'aise sur Linux/OpenShift et ing PowerShell (Windows dev environment). * Familiarité avec les outils de gouvernance : DataHub, OpenMetadata ou équivalent. * Expérience dans le développement BI. * Connaissances des outils suivants: + Dagster + Data acquisition (ETL, ELT, ...) + Data architecture + Data engineering + Data Governance + DataHub + Datalake + dbt + Kafka + Metadata management + POWER BI + Python (from a Data Engineer perspective), Pandas & Apache Spark + SPARK + SQL, * Expérience Kafka/Debezium pour la capture de données en temps réel. * Connaissance de Spark (Spark SQL, Thrift Server, Beeline). * Expérience avec Power BI Report Server (PBIRS) ou Apache Superset. * Sensibilité à la sécurité des données dans des environnements à accès restreint. * Avoir des connaissance des concepts Lakehouse (architecture Medallion), DWH et Datalake Savoir-être * Rigueur et autonomie dans la gestion de pipelines complexes multi-domaines. * Capacité à documenter les décisions techniques et à vulgariser pour des interlocuteurs non-techniques. * Esprit d'équipe. * Etre curieux et avoir un esprit orienté solution ## Description Dans le cadre du programme DEP (Data Exchange Platform), le client construit une plateforme de données on-premise pour le un ministère. La plateforme doit répondre à des exigences strictes de sécurité, de gouvernance et de souveraineté des données. Vous rejoindrez une équipe en interne et travaillerez aux côtés d'un Data Architect, d'un Solution Architect et un BI developer. Vos missions principales Ingestion & pipelines de données * Concevoir et déployer des pipelines d'ingestion depuis des sources hétérogènes : fichiers , APIs, bases relationnelles. * Implémenter des pipelines pour l'ingestion incrémentale et en streaming. * Assurer la fiabilité, l'idempotence et la traçabilité de chaque pipeline. Transformation & couche sémantique * Développer les modèles de transformation sur les couches Bronze, Silver et Gold. (Architecture medallion) * Implémenter les bonnes pratiques d'historisations de données (ex: SCD2, upsert, append only,...). * Développer les exports vers Delta Lake Transactions ACID & Time Travel * Gérer et maintenir les tables Delta Lake. * Garantir la cohérence transactionnelle des données dans un environnement multi-domaines. Orchestration * Implémenter et maintenir les assests à orchestrer. * Monitorer les runs, gérer les erreurs et automatiser les alertes. Gouvernance & lignage * Pousser les métadonnées techniques et business vers la plateforme de data. * Maintenir le lignage de bout en bout. * Contribuer à la rédaction des DUA, SLA et documents de gouvernance associés. Exposition des données * Développer des endpoints pour exposer la couche Gold aux Dashboards BI. * Collaborer avec les équipes reporting pour l'alimentation des dashboards BI ## Related Videos - [Enjoying SQL data pipelines with dbt](https://www.wearedevelopers.com/videos/823-enjoying-sql-data-pipelines-with-dbt) - [From Messy Queries to Scalable Systems - How Data Engineering actually works](https://www.wearedevelopers.com/videos/100203-from-messy-queries-to-scalable-systems-how-data-engineering-actually-works) - [Advanced Typing in TypeScript](https://www.wearedevelopers.com/videos/496-advanced-typing-in-typescript) - [Docker network without Docker](https://www.wearedevelopers.com/videos/1418-docker-network-without-docker) - [Data Science on Software Data](https://www.wearedevelopers.com/videos/162-data-science-on-software-data) - [AI Model Management Life Circles: ML Ops For Generative AI Models From Research to Deployment](https://www.wearedevelopers.com/videos/1152-ai-model-management-life-circles-ml-ops-for-generative-ai-models-from-research-to-deployment) ## Related Articles - [Data Engineer Salary UK](https://www.wearedevelopers.com/magazine/253-data-engineer-salary-uk) - [Top Big Data Technologies That You Need to Know](https://www.wearedevelopers.com/magazine/108-top-big-data-technologies-that-you-need-to-know) - [The Most Popular IT Jobs on the Market](https://www.wearedevelopers.com/magazine/376-the-most-popular-it-jobs-on-the-market) - [Making Data Warehouses Fast: A Developer’s Story](https://www.wearedevelopers.com/magazine/107-making-data-warehouses-fast-a-developer-s-story) - [Best Coding Boot Camps in Germany](https://www.wearedevelopers.com/magazine/237-best-coding-boot-camps-in-germany) - [7 Most Popular Web Developer Jobs in Europe](https://www.wearedevelopers.com/magazine/163-7-most-popular-web-developer-jobs-in-europe)