Data Engineer - Spark Scala/AWS/Daitaiku F/H

JEMS Group
Paris, France
1 day ago
Apply on candidat.francetravail.fr
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Experienced
Experience required
4 years minimum
Compensation
€55,000 - €58,000
Working hours
Regular working hours

Tech stack

Agile Methodology Airflow Amazon Web Services Amazon Elastic Compute Cloud Amazon S3 Big Data Code Review Continuous Integration Python (Programming Language) Apache Maven Scrum Methodology SQL Databases
+7 more
Web Applications Apache Spark Data Lakes Core Data Apache Kafka Dataiku Terraform

Requirements

Descriptif du poste:\n\n \nDans le cadre du renforcement de son équipe Data, notre client recherche un Senior Data Engineer H/F pour contribuer au développement et à l’exploitation de sa plateforme Data sur AWS.\nVous intégrerez une équipe Core Data en charge d’un Data Lake centralisé, sécurisé et performant, ainsi que de traitements Big Data développés en Scala / Spark et de la plateforme Dataiku.\nVous évoluerez dans un environnement transverse, en collaboration avec les équipes Data, BI, Data Science et les directions métiers, selon une méthodologie Agile SAFe.\nMissions\n* \nConcevoir, développer et optimiser des pipelines de données (ingestion, transformation, export).\n* \nDévelopper des traitements Big Data avec Spark Scala, Python et SQL.\n* \nExploiter et faire évoluer les architectures Data Lake sur AWS.\n* \nDévelopper et maintenir des Flows et WebApps sur Dataiku.\n* \nMettre en œuvre des flux batch et streaming avec Kafka.\n* \nOrchestrer les traitements et leurs dépendances avec Airflow.\n* \nGarantir la qualité, la performance et la fiabilité des données.\n* \nAssurer le maintien en condition opérationnelle de la plateforme : supervision, analyse des anomalies et résolution des incidents.\n* \nParticiper aux tests, revues de code, déploiements et pratiques CI/CD.\n* \nMaintenir la documentation technique et collaborer avec les équipes métiers et techniques.\n \n\nProfil recherché:\n\nProfil recherché\nVous justifiez d’une expérience en Data Engineering, idéalement dans des environnements Big Data à forte volumétrie.\nVous maîtrisez :\n* \nSpark Scala, Python et SQL.\n* \nAWS : S3, EMR, EKS, EC2, Lambda, Athena.\n* \nDataiku DSS : Flows et WebApps.\n* \nKafka / MSK et Airflow.\n* \nGitLab, CI/CD, Maven et Terraform.\nVous êtes rigoureux(se), autonome et doté(e) d’un excellent esprit d’équipe. Vous savez communiquer avec des interlocuteurs techniques et métiers, comprendre leurs enjeux et contribuer à l’amélioration continue des pratiques Data.\nUne expérience des méthodologies Agile Scrum / SAFe est appréciée.

About the company

nNous sommes le premier industriel de la donnée en Europe. Notre métier est de créer, manager et exploiter le patrimoine data de nos clients. Nous avons la conviction que chaque entreprise peut adopter une démarche innovante de gestion de la donnée et créer des cas d’usage disruptifs en réduisant l’impact écologique et en diminuant la dette technique.

Nous comptons plus de 900 collaborateurs en mission chez nos clients grands comptes dans tout secteur d’activité

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on candidat.francetravail.fr
Prepare application

Good distractions

Loading talks and stories from around this role…