Data Engineering Java / Scala Expérimenté

Intégré(e) dans les équipes Plateforme Data le/la consultant(e) aura pour mission de concevoir, développer et maintenir des solutions de traitement de données à grande échelle, en utilisant des technologies telles que BigQuery, BigTable, Apache Kafka et Apache Spark. Mais aussi contribuer à des projets Data en apportant son expertise sur les tâches suivantes : montée en compétence sur l'ETL BigL, participation à la réalisation de projets métier dans le cadre de la solution offline ELT in-House Big Loader et BDI/DBT,[Saut de retour à la ligne]Le/la consultant(e) travaillera en étroite collaboration avec les équipes de développement et de production afin de garantir la qualité et la performance des solutions mises en place.[Saut de retour à la ligne]

Livrables : Accompagner techniquement les autres membres de l'équipe (juniors)

Active participation aux choix d'architecture technique

Livrer les composants, MÉTHODES, ORGANISATIONS ET INTERACTIONS : Communiquer clairement et efficacement à l?écrit et à l?oral en français pour des interactions fluides avec le métier et les équipes :

Analyser les situations et proposer des solutions adaptées tout en identifiant les axes d?amélioration

Respecter les délais tout en maintenant des standards élevés de qualité et d?excellence

Collaborer activement avec les membres de l?équipe, partager les connaissances et favoriser un esprit collectif pour atteindre les objectifs communs

Appliquer un esprit d?amélioration continue pour optimiser les pratiques et les résultats

ENVIRONNEMENT TECHNIQUE ET EXPERTISES NÉCESSAIRES

Solide expérience en développement avec des langages comme Scala et/ou Java, et une compréhension approfondie des concepts de programmation fonctionnelle.

Compétences avérées dans l'utilisation de plateformes de streaming de données comme Apache Kafka, et de frameworks de traitement de données distribuées comme Apache Spark.

Expérience significative dans le domaine de la Data et du Cloud, notamment sur Google Cloud Platform (GCP).

Très bonne maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de gros volumes de données.

Maîtrise de SQL pour la manipulation, l?analyse et la valorisation de données.

Connaissance approfondie de DBT (Data Build Tool) pour la gestion et l?orchestration de pipelines de données.

Expérience avec Pubsub pour la gestion de flux de données en temps réel.

Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l?automatisation des workflows data.

Bonne connaissance de l?environnement Linux et des outils de ligne de commande.

Expérience solide avec les systèmes de gestion de version (Git).

Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des équipes pluridisciplinaires., Formation Bac+5 (école d?ingénieur ou université) orientée informatique, ou expérience équivalente.

Expérience de 3 à 7 ans en Data Engineering Java / Scala.

Une expérience dans le secteur du retail / grande distribution constituerait un avantage.