Data Engineer Big Data H/F
Role details
Job location
Tech stack
Job description
Au sein de nos équipes d'ingénierie Data, vous serez au coeur de la construction d'écosystèmes Big Data scalables :
- Conception & Industrialisation : Développer et maintenir des pipelines de données robustes (Batch et Real-Time) pour traiter de larges volumes de données.
- Traitement Distribué : Optimiser les algorithmes et les jobs de calcul de masse en utilisant Spark (Scala/Python).
- Gestion du Streaming : Mettre en place et configurer des architectures d'ingestion et de messagerie distribuée en temps réel avec Kafka.
- Maintenance du Stockage : Collaborer à la gestion, au requêtage et à l'évolution des clusters de stockage de l'écosystème Hadoop (HDFS, Hive, HBase...).
- Performance & Optimisation : Monitorer les flux, identifier les goulots d'étranglement techniques et optimiser les temps de traitement et les coûts d'infrastructure (DataOps).
Requirements
Expérience : Vous justifiez d'une expérience significative de minimum 4 ans en Data Engineering dans des environnements de production Big Data à forte volumétrie.Écosystème Big Data : Maîtrise incontournable du framework Hadoop et de ses composants associés.Calcul Distribué & Streaming : Expertise technique sur Apache Spark et maîtrise d'Apache Kafka pour la gestion des flux d'événements en continu.Langages : Solide maîtrise de Python, Scala ou Java, ainsi qu'une excellente maîtrise du langage SQL.Soft Skills : Rigueur méthodologique, esprit d'équipe, curiosité technique pour les nouvelles architectures distribuées et forte capacité d'adaptation., * Expérience : Vous justifiez d'une expérience significative de minimum 4 ans en Data Engineering dans des environnements de production Big Data à forte volumétrie.
- Écosystème Big Data : Maîtrise incontournable du framework Hadoop et de ses composants associés.
- Calcul Distribué & Streaming : Expertise technique sur Apache Spark et maîtrise d'Apache Kafka pour la gestion des flux d'événements en continu.
- Langages : Solide maîtrise de Python, Scala ou Java, ainsi qu'une excellente maîtrise du langage SQL.
- Soft Skills : Rigueur méthodologique, esprit d'équipe, curiosité technique pour les nouvelles architectures distribuées et forte capacité d'adaptation., Scala Python Java