Data Engineer H/F
Role details
Job location
Tech stack
Job description
Développer des traitements massifs en Spark (Java / Python) en batch et en streaming.
-
Réaliser des analyses de données avancées via Spark SQL, Elasticsearch/Kibana et Python.
-
Concevoir, développer et optimiser les pipelines de données : ingestion (Kafka, MQ, CFT), transformation, exposition et supervision.
-
Participer à la définition et à l'évolution de l'architecture des flux.
-
Challenger les besoins, anticiper les problématiques techniques et proposer des améliorations.
-
Renforcer la robustesse, la sécurité, les performances et l'industrialisation des traitements.
-
Contribuer aux déploiements automatisés via GitLab CI/CD, Docker, Artifactory, Ansible.
-
Participer aux déploiements sur Kubernetes (IBM Cloud).
-
Assurer la qualité logicielle : revues de code, tests unitaires, normes de sécurité, SonarQube.
-
Rédiger la documentation technique.
-
Assurer le support des solutions mises en production et le suivi opérationnel.
Requirements
Vous êtes issu(e) d'une formation Bac+5 (École d'ingénieur, Université ou équivalent ...) en informatique
-
Vous justifiez d'une expérience minimale de 2 ans dans un environnement similaire.
-
Vous accordez de l'importance (et du temps) à la veille Quelles compétences pour le poste :
-
Solide expérience en Data Engineering dans un environnement Big Data exigeant.
-
Maîtrise de Spark, Kafka, MongoDB, Python/Java, Kubernetes, CI/CD.
-
Capacité à analyser, proposer, challenger et optimiser.
-
Aisance dans les environnements réglementaires, data governance et sécurité.
-
Bon relationnel, autonomie, rigueur et sens de la collaboration transverse.