Data Engineer AWS / Spark / Scala /Python

Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client !

Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme,

Assurer la communication avec les utilisateurs de la plateforme,

Répondre aux demandes de données (données ad hoc, analyses d?anomalies),

Développer les correctifs et évolutions nécessaires,

Contribuer à la qualité des données et à l?industrialisation de leur exploitation.

Concevoir et développer des services et pipelines de données fiables et performants :

Mettre en place des flux de données (acquisition, transformation, export),

Concevoir et modéliser les données,

Développer et optimiser les pipelines de transformation,

Réaliser les tests unitaires et d?intégration,

Garantir la qualité des développements via les revues de code,

Ordonnancer et gérer les dépendances entre traitements,

Déployer sur l?ensemble des environnements,

Enrichir et maintenir la documentation de la plateforme.

Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données,

Capacité à collaborer avec une pluralité d'interlocuteurs en même temps,

Excellent esprit d?équipe,

Capacité d'adaptation,

Maitrise impérative de : Spark Scala, Python et SQL,

Expérience significative sur AWS.

Apprécié : Connaissance de Dataiku,

Méthodologie Scrum/Safe,

Airflow