Technical Lead - Data Engineering

• Définir une architecture de donnée avec des systèmes de traitement de données en temps réel et en batch, en utilisant Kafka, Spark, Hudi et Postgres.
• Gérer les flux de données entre les différents systèmes, en utilisant Kafka et Spark pour le traitement des données en temps réel et en batch.
• Développer des pipelines de données pour traiter les données en utilisant Spark, Hudi et Airflow pour orchestrer les taches dans un cluster kubernetes.
• Assurer la qualité des données en créant des traitements de validation et de nettoyage des données avec Spark et Hudi.
• Développer des applications de données en utilisant Spark, Hudi et Postges.
• Gérer les performances des systèmes de traitement de données en utilisant des outils de monitoring SparkUI.

Votre futur impact Dans 6 mois vous :

• Aurez une bonne compréhension de l'architecture technique des systèmes de données d'OVHcloud, notamment en ce qui concerne les outils de gestion de données tels qu'Airflow, Spark et S3.
• Comprendrez les besoins et les défis des clients internes de finance, d'industrie, etc. et comment les systèmes de données peuvent répondre à ces besoins.
• Développerez des solutions de données pour répondre aux besoins des clients internes et améliorer les processus de données existants.
• Connaitrez les principales équipes en interaction avec la vôtre, notamment les équipes de finance, d'industrie, etc.
• Aurez noué une bonne relation avec les membres des équipes de données et des clients internes.
• Prendrez de l'autonomie sur les sujets de développement de données et proposerez des solutions innovantes pour améliorer les processus de données.

Et dans 1 an vous :

• Aurez participé à des choix de conception liés aux projets de données de l'équipe, notamment en ce qui concerne l'utilisation d'Airflow, Spark et S3.
• Aurez réalisé un ou plusieurs Proof of Concepts ou contribué significativement aux livrables de projets de données, tels que la mise en place d'un système de gestion de données pour un client interne.
• Serez en capacité de proposer des pistes de réflexion à l'équipe pour améliorer les processus de données et répondre aux besoins des clients internes.
• Aurez une bonne compréhension du périmètre et des enjeux de la gestion des données à OVHcloud, notamment en ce qui concerne la sécurité, la qualité et la gouvernance des données.

• Vous avez une expérience solide en développement de données et en architecture de données (Python, Scala).
• Vous avez des connaissances approfondies en Spark, Hudi, Kafka, Postgres et Airflow.
• Vous êtes capable de communiquer efficacement avec les membres de l'équipe et les parties prenantes.
• Vous êtes capable de collaborer avec les autres équipes et les parties prenantes pour atteindre les objectifs.
• Vous avez une expérience en gestion de projets et en leadership d'équipe., * Vous avez déjà une expérience avec Kafka et Kubernetes.

NOTRE PARCOURS DE RECRUTEMENT 1. Échange avec notre Talent Acquisition Specialist: Arthur 2. Entretien avec le Manager: Angel 3. Cas pratique (si pertinent) 4. Rencontre avec un pair, un membre de l'équipe ou de la direction 5. Débriefing ensemble NOS AVANTAGES ET BÉNÉFICES ︎ Une politique de télétravail hybride ︎ Un plan d'actionnariat salarié ︎ Un programme de reconnaissance de l'ancienneté ︎ Des subventions vacances et sport ︎ Berceau et crèche d'entreprise (selon site) Mais aussi : ︎ Des équipes multiculturelles ︎ Des locaux bien équipés ︎ Une plateforme de formation et de certification en ligne ︎ Une offre d'accompagnement médical et social digitalisée pour vous et votre famille REJOINDRE L'AVENTURE OVHCLOUD OVHcloud valorise la diversité des personnes qu'elle embauche et accompagne. La diversité pour nous, c'est favoriser un milieu de travail où les différences individuelles sont reconnues, appréciées et respectées de façon à développer le plein potentiel et les forces de chacune et chacun. Soyez libre d'être vous-même ! L'IA DANS L'ADN L'intelligence artificielle réinvente nos métiers au quotidien. Rejoignez-nous pour explorer ses immenses possibilités et coconstruire l'avenir ! LE DÉVELOPPEMENT DURABLE CHEZ OVHCLOUD, UN ENGAGEMENT PROFOND Vous voulez contribuer à des projets uniques pour construire ensemble le cloud libre ? Allons-y ! Chez OVHcloud, nous sommes animés par la même volonté, celle de construire l'avenir ensemble pour défendre la liberté d'innover. Découvrez l'acteur majeur du cloud libre et responsable Technical Lead - Data Engineering H/F/N Au sein de votre équipe #OneTeam * Vous rejoindrez notre équipe de Data Engineering qui a pour mission de fournir des données fiables et accessibles à l'ensemble des métiers. * Nous recherchons un(e) Tech Lead Data Engineering pour guider l'équipe, définir notre vision technique et construire les fondations d'une plateforme data robuste, scalable et conforme aux meilleurs standards de l'industrie.