Data Engineer - Spark Scala/AWS/Daitaiku F/H
- Discuss this with your agent
- Open in Claude
- Open in ChatGPT
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Role details
Tech stack
+7 more
Requirements
Descriptif du poste:\n\n \nDans le cadre du renforcement de son équipe Data, notre client recherche un Senior Data Engineer H/F pour contribuer au développement et à l’exploitation de sa plateforme Data sur AWS.\nVous intégrerez une équipe Core Data en charge d’un Data Lake centralisé, sécurisé et performant, ainsi que de traitements Big Data développés en Scala / Spark et de la plateforme Dataiku.\nVous évoluerez dans un environnement transverse, en collaboration avec les équipes Data, BI, Data Science et les directions métiers, selon une méthodologie Agile SAFe.\nMissions\n* \nConcevoir, développer et optimiser des pipelines de données (ingestion, transformation, export).\n* \nDévelopper des traitements Big Data avec Spark Scala, Python et SQL.\n* \nExploiter et faire évoluer les architectures Data Lake sur AWS.\n* \nDévelopper et maintenir des Flows et WebApps sur Dataiku.\n* \nMettre en œuvre des flux batch et streaming avec Kafka.\n* \nOrchestrer les traitements et leurs dépendances avec Airflow.\n* \nGarantir la qualité, la performance et la fiabilité des données.\n* \nAssurer le maintien en condition opérationnelle de la plateforme : supervision, analyse des anomalies et résolution des incidents.\n* \nParticiper aux tests, revues de code, déploiements et pratiques CI/CD.\n* \nMaintenir la documentation technique et collaborer avec les équipes métiers et techniques.\n \n\nProfil recherché:\n\nProfil recherché\nVous justifiez d’une expérience en Data Engineering, idéalement dans des environnements Big Data à forte volumétrie.\nVous maîtrisez :\n* \nSpark Scala, Python et SQL.\n* \nAWS : S3, EMR, EKS, EC2, Lambda, Athena.\n* \nDataiku DSS : Flows et WebApps.\n* \nKafka / MSK et Airflow.\n* \nGitLab, CI/CD, Maven et Terraform.\nVous êtes rigoureux(se), autonome et doté(e) d’un excellent esprit d’équipe. Vous savez communiquer avec des interlocuteurs techniques et métiers, comprendre leurs enjeux et contribuer à l’amélioration continue des pratiques Data.\nUne expérience des méthodologies Agile Scrum / SAFe est appréciée.
About the company
nNous sommes le premier industriel de la donnée en Europe. Notre métier est de créer, manager et exploiter le patrimoine data de nos clients. Nous avons la conviction que chaque entreprise peut adopter une démarche innovante de gestion de la donnée et créer des cas d’usage disruptifs en réduisant l’impact écologique et en diminuant la dette technique.
Nous comptons plus de 900 collaborateurs en mission chez nos clients grands comptes dans tout secteur d’activité
Apply for this position
This job is hosted externally. Click below to view the full posting and apply.
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Good distractions
Loading talks and stories from around this role…