Smals - Data Engineer H/F
Role details
Job location
Tech stack
Job description
En tant que Data Engineer, vous faites partie de l'équipe chargée de l'implémentation de la plateforme de données commune chez un client qui est un acteur important de la sécurité sociale pour les domaines du chômage, de l'interruption de carrière et du crédit-temps. Vous combinez une approche analytique et une expertise technique pour concevoir, construire et maintenir des pipelines de transformation. Vous participez activement à la phase d'ingestion du cycle de vie des données - depuis divers systèmes sources vers la Data Platform, qui utilise l'architecture en médaillon - et au traitement des données dans les deux premières zones du lakehouse. En collaboration avec les Data Analytics Engineers de l'équipe, vous veillez à l'orchestration afin que les données soient précises, accessibles et adaptées aux besoins de l'organisation. Vous travaillez de manière pragmatique et Agile., * Développer une logique de transformation stratifiée avec DBT, axée sur la maintenabilité, les performances et la rentabilité.
- Configurer le source-to-target mapping pour convertir les données brutes en composants Data Vault (y compris les hubs, les liens, les satellites et les tables Pit).
- Générer automatiquement des structures Data Vault avec Vaultspeed
- Mettre en place une orchestration des flux de données avec Dagster pour une livraison fiable et ponctuelle.
- Réaliser des tests de validation afin de garantir la qualité et l'utilisabilité des jeux de données.
- Résoudre les problèmes et les goulots d'étranglement liés aux performances afin d'optimiser les pipelines de données.
- Collaborer via GIT et les pipelines CI/CD pour la gestion des versions et l'intégration continue.
Requirements
- Vous êtes titulaire d'un diplôme de master en informatique ou pouvez démontrer un niveau équivalent grâce à une expérience pertinente.
- Vous possédez une connaissance avancée de SQL, DBT, Python, GIT et CI/CD, ce qui vous permet de mettre en place des processus de données structurés, de qualité et reproductibles.
- Vous possédez une connaissance de base de Airbyte, Dagster, Databricks et Data Vault, vous permettant de vous intégrer facilement dans notre infrastructure de données et de la développer sous la supervision de collègues expérimentés.
- En outre, vous avez une connaissance de base de Power BI, qui facilité la collaboration avec les équipes BI et analytiques.
- La connaissance de la modélisation dimensionnelle (Kimball) est considérée comme un atout et vous aide à concevoir des modèles de données efficaces qui répondent aux besoins de l'entreprise.
- Vous savez travailler de manière autonome et efficace, mais vous appréciez également le travail en équipe.
- Vous avez le sens des responsabilités, faites preuve de flexibilité et savez prendre des initiatives dans un environnement de travail dynamique.
- Vous avez le don de la communication, savez échanger des idées et appréciez la concertation.
- Vous maîtrisez parfaitement le français, tant à l'oral qu'à l'écrit. Enfin, vous possédez une connaissance passive du néerlandais et une bonne connaissance de l'anglais., * Français (atout)
- Comprendre : Expérimenté - (C1)
- Écrire : Expérimenté - (C1)
- Lire : Expérimenté - (C1)
- Parler : Expérimenté - (C1)
- Anglais (atout)
- Comprendre : Indépendant - (B1)
- Écrire : Indépendant - (B1)
- Lire : Indépendant - (B1)
- Parler : Indépendant - (B1)
- Néérlandais (atout)
- Comprendre : Expérimenté - (C1)
- Écrire : Expérimenté - (C1)
- Lire : Expérimenté - (C1)
- Parler : Expérimenté - (C1)