Data Engineer - Aws - Databricks H/F

Centraliser et industrialiser les flux de données (data ingestion, transformation, exposition)

• Accélérer les usages métiers (reporting, analytics…)
• Garantir la gouvernance et la qualité des données à l’échelle du groupe

La mission s’inscrit au sein de l’équipe Data Platform, avec un fort enjeu de :

• Mise à l’échelle des pipelines
• Industrialisation des pratiques Data Engineering
• Intégration des usages IA, Développer un outil dans Databricks permettant de filtrer les clients selon des critères définis par le client
• Livrer une interface permettant d’activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour

• Développer un ETL en utilisant les services AWS les plus adaptés, notamment :

• AWS Step Functions pour l’orchestration / moteur de workflow
• AWS Lambda pour des traitements légers
• AWS Aurora ou RDS comme base de données relationnelle transactionnelle
• Eventuellement Databricks pour des charges de traitements / transformations lourdes
• Récupérer les données entrantes via des API ou des fichiers plats
• Envoyer les données sélectionnées et transformées dans une vingtaine d’API

Outils & Environnement

• Cloud : services AWS
• Data Platform : Databricks (Lakehouse)
• Streaming : Kafka
• Data Governance : Unity Catalog, Collibra
• CI/CD : GitHub
• Visualisation : Power BI
• APIs

Profil recherchéExpérience significative en Data Engineering dans un environnement cloudTrès bonne maîtrise des environnements Databricks / Spark / Service AWS pour construction d’ETLCapacité à travailler dans un environnement agile et industrialiséConnaissance des enjeux de data governance et qualitéBonne capacité à documenter et structurer les développementsEsprit collaboratif et orienté deliveryAutonomieAtouts supplémentaires : expérience dans le secteur de l’énergie, avoir déjà construit un ETL, utilisation des services AWS, connaissance de Databricks, expérience sur des programmes de transformation à grande échelle, connaissance des architectures data modernes (Data Mesh, Data Platform, Lakehouse), construction/modification/amélioration de la performance d’API, expérience en anglais, 1. Expérience significative en Data Engineering dans un environnement cloud

1. Très bonne maîtrise des environnements Databricks / Spark / Service AWS pour construction d’ETL
2. Capacité à travailler dans un environnement agile et industrialisé
3. Connaissance des enjeux de data governance et qualité
4. Bonne capacité à documenter et structurer les développements
5. Esprit collaboratif et orienté delivery
6. Autonomie
7. Atouts supplémentaires : expérience dans le secteur de l’énergie, avoir déjà construit un ETL, utilisation des services AWS, connaissance de Databricks, expérience sur des programmes de transformation à grande échelle, connaissance des architectures data modernes (Data Mesh, Data Platform, Lakehouse), construction/modification/amélioration de la performance d’API, expérience en anglais

EUR

Anglais ETL API AWS Power BI Git Autonomie Gouvernance des données KAFKA

Taux journalier :Salaire selon profil

False

EducationalOccupationalCredential postgraduate degree EducationalOccupationalCredential bachelor degree

Dans le cadre du programme de transformation, une grande entreprise du secteur de l’énergie met en oeuvre une plateforme Data moderne basée sur des technologies cloud (AWS) et orientée Data Platform industrielle et scalable. La plateforme vise à