Data engineer senior
Role details
Job location
Tech stack
Job description
Le/la consultant(e) travaillera en étroite collaboration avec les équipes de développement et de production afin de garantir la qualité et la performance des solutions mises en place.
Solide expérience en développement avec des langages comme Java, et une compréhension approfondie des concepts de programmation fonctionnelle.
Compétences avérées dans l'utilisation de plateformes de streaming de données comme Apache Kafka, et de frameworks de traitement de données distribuées comme Apache Spark.
Requirements
Expérience significative dans le domaine de la Data et du Cloud (GCP ou AWS), en particulier les services tels que Cloud Storage, BigQuery, Dataproc, Kubernetes, et d'autres outils pertinents pour la gestion et le traitement de données à grande échelle
Bonne maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de gros volumes de données.
Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l'automatisation des workflows data.
Bonne connaissance de l'environnement Linux et des outils de ligne de commande.
Connaissance approfondie des concepts d'architecture microservices et des bonnes pratiques de développement.
Expérience dans l'écriture de tests unitaires et d'intégration pour garantir la qualité du code.
Excellente communication écrite et orale : Aptitude à produire des livrables et des reportings de haute qualité.
Connaissance sur Kafka-stream, spring boot,
Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des
équipes pluridisciplinaires
