Data Engineer AWS
Role details
Job location
Tech stack
Job description
L'un des principaux objectifs du plan de transformation DATA du groupe est de développer des applications DATA qui enrichissent l'expérience de leurs abonnés et permettent aux équipes métiers (pilotage, marketing, commerce, etc.) de devenir autonomes dans l'analyse des données et des KPI.
Dans ce cadre, Le groupe a déployé les outils : AWS, Dataiku, Gitlab, Terraform, Snowflake, Braze, AI, Spark, Python, POWERBI, .etc. pour mettre en place des architectures sophistiquées pour ingérer plus de 100To de données par jours: Datalake, Event-driven, Streaming, etc., En tant que Data Engineer, tes principales missions sont :
- De concevoir, développer et maintenir des pipelines de réplication et de traitement de données issues des sources hétérogènes, dans un contexte international, vers une plateforme de données centralisée sur AWS., Développement de pipelines ETL/ELT avec Airflow, Python, SQL
- Connexion aux bases sources (Exadata, Oracle, etc.)
- Intégration des données dans AWS (S3, Kinesis, DMS, Lambda...)
- Nettoyage, mapping, déduplication et enrichissement des données
- Collaboration avec les architectes pour appliquer les modèles cibles
- Documentation technique et référentiels
- Concevoir et mettre en oeuvre les flux de réplication
- Harmoniser et transformer les données
- Automatiser les pipelines de données
- Développer des Pipelines Gitlab CI/CD
- Développer d'IaC pour des architectures sophistiquées full AWS avec Terraform, Ansible et Python.
- Contribuer au FinOps
Requirements
Tu justifies d'au moins 4ans d'expérience en tant que Data Engineer ou Ingénieur Intégration Data dans des environnements dans un environnement similaire.Tu es dynamique, proactif, autonome, et ouvert d'esprit, bon communicant avec une grande curiosité scientifiqueTu as une très bonne maîtrise de l'écosystème AWS (S3, Kinesis, DMS, Lambda...)Tu as une très bonne maîtrise des bases des données et des Data warehouses (Exadata, Oracle, SQL Server, Snowflake, etc.)Tu as une maîtrise des langages : SQL, PythonTu as une maîtrise des outils de traitement et d'orchestration (Apache Airflow, dbt, Python, SQL)Tu as une bonne expérience en Terraform pour l'IaCTu as une connaissance de GitLab CI/CD pour l'automatisation des déploiementsTu as une expérience avec des CRMTu as une connaissance des problématiques de data quality, modélisation, monitoring et alertingTu as une ou plusieurs certifications (AWS, Snwoflake, Terraform, etc.) sont fortement appréciéesTu maîtrises l'anglais courant, * Tu justifies d'au moins 4ans d'expérience en tant que Data Engineer ou Ingénieur Intégration Data dans des environnements dans un environnement similaire.
- Tu es dynamique, proactif, autonome, et ouvert d'esprit, bon communicant avec une grande curiosité scientifique
- Tu as une très bonne maîtrise de l'écosystème AWS (S3, Kinesis, DMS, Lambda...)
- Tu as une très bonne maîtrise des bases des données et des Data warehouses (Exadata, Oracle, SQL Server, Snowflake, etc.)
- Tu as une maîtrise des langages : SQL, Python
- Tu as une maîtrise des outils de traitement et d'orchestration (Apache Airflow, dbt, Python, SQL)
- Tu as une bonne expérience en Terraform pour l'IaC
- Tu as une connaissance de GitLab CI/CD pour l'automatisation des déploiements
- Tu as une expérience avec des CRM
- Tu as une connaissance des problématiques de data quality, modélisation, monitoring et alerting
- Tu as une ou plusieurs certifications (AWS, Snwoflake, Terraform, etc.) sont fortement appréciées
- Tu maîtrises l'anglais courant