Data Engineer Senior H/F
- Discuss this with your agent
- Open in Claude
- Open in ChatGPT
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Role details
Tech stack
+5 more
Job description
Vous interviendrez sur la conception, l’industrialisation et l’évolution des solutions Data, avec un rôle clé dans les choix d’architecture et le développement des infrastructures de traitement des données.
Vous contribuerez notamment à la stratégie Lakehouse de l’entreprise, en veillant à la performance, à la fiabilité et à la qualité des flux de données., Concevoir, développer et optimiser des pipelines de données à grande échelle ;
- Mettre en oeuvre des flux de données batch, streaming et des mécanismes d’ingestion via API ;
- Structurer les transformations de données selon le modèle Médaillon (Bronze / Silver / Gold) ;
- Développer et industrialiser les pipelines avec DBT, Spark et Apache Iceberg ;
- Participer à la conception et à l’évolution de l’architecture Lakehouse ;
- Déployer et maintenir les pipelines dans un environnement Cloud AWS ;
- Orchestrer les workflows ETL/ELT avec Airflow ;
- Mettre en oeuvre l’Infrastructure as Code avec Terraform ;
- Exécuter et superviser les traitements dans des environnements conteneurisés (Docker, Kubernetes) ;
- Garantir la disponibilité, la supervision et l’observabilité des traitements ;
- Définir et appliquer les règles de qualité des données : tests, contrôles et validations automatisées ;
- Participer à la gestion des incidents et à l’amélioration continue ;
- Documenter les architectures, les pipelines et les règles métier ;
- Veiller à la conformité des flux de données, notamment au regard du RGPD.
Requirements
Vous justifiez d’au moins 8 ans d’expérience en Data Engineering et disposez d’une solide expertise dans les architectures Big Data et Lakehouse.
Vous maîtrisez impérativement les technologies suivantes :
- DBT
- Apache Iceberg
- AWS : Glue, EMR, S3…
- Python
- Apache Spark
- Modélisation Médaillon (Bronze / Silver / Gold)
Vous avez également des connaissances sur les environnements et outils suivants :
- Terraform
- Datadog
- Airflow
- Trino / Starburst
- Docker et Kubernetes
Au-delà de vos compétences techniques, vous êtes reconnu(e) pour votre capacité d’analyse, votre autonomie et votre rigueur. Vous savez comprendre les enjeux métiers, prendre du recul sur les choix d’architecture et être force de proposition dans une démarche d’amélioration continue., Apache spark ETL Force de proposition API AWS Gestion des données Gestion des incidents Batching Kubernetes Big data Python Autonomie Terraform Amélioration continue Docker Esprit d’analyse
About the company
Dans le cadre de l’accompagnement de notre client, nous recherchons un Data Engineer Senior pour rejoindre le pôle Data Services.
Apply for this position
This job is hosted externally. Click below to view the full posting and apply.
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Good distractions
Loading talks and stories from around this role…