Data Engineer Spark Scala Confirmé H/F

Maintien en conditions opérationnelles d’un datalake AWS

• Développement de pipelines de transformation de données à grande volumétrie

Stack technique

Nous recherchons un Data Engineer confirmé / senior (5 ans d’expérience minimum) pour le Data Office d’une entreprise du secteur des jeux au sein de l’équipe Core Data. Le poste est mi-run, mi-build : maintien en conditions opérationnelles d’un datalake AWS et développement de pipelines de transformation en grande volumétrie., Spark en Scala (maîtrise avancée, coeur du besoin)

• Python
• SQL
• AWS (S3, EMR, EKS, Lambda, Athena)
• GitLab / GitLab CI
• Maven

Outils complémentaires appréciés

• Dataiku (flows et webapp)
• Kafka / MSK
• Airflow
• Terraform
• Méthodologie Scrum/SAFe

Qualités attendues

• Bon relationnel avec des interlocuteurs variés (métiers, techniques)
• Rigueur (documentation, traçabilité)
• Capacité à vulgariser, 5 ans d’expérience minimum en Data EngineeringMaîtrise avancée de Spark en ScalaCompétences en Python, SQL et AWS (S3, EMR, EKS, Lambda, Athena)Maîtrise de GitLab / GitLab CI et MavenUn plus : connaissance de Dataiku (flows et webapp), Kafka / MSK, Airflow, Terraform, et méthodologie Scrum/SAFeQualités relationnelles : bon relationnel avec interlocuteurs métiers et techniquesRigueur dans la documentation et la traçabilitéCapacité à vulgariser, 1. 5 ans d’expérience minimum en Data Engineering 2. Maîtrise avancée de Spark en Scala 3. Compétences en Python, SQL et AWS (S3, EMR, EKS, Lambda, Athena) 4. Maîtrise de GitLab / GitLab CI et Maven 5. Un plus : connaissance de Dataiku (flows et webapp), Kafka / MSK, Airflow, Terraform, et méthodologie Scrum/SAFe 6. Qualités relationnelles : bon relationnel avec interlocuteurs métiers et techniques 7. Rigueur dans la documentation et la traçabilité 8. Capacité à vulgariser

EUR

Maven Scala SQL AWS Git Sens du relationnel Python Scrum KAFKA