Tech Lead Data Engineer Databricks

Starclay
Canton of Courbevoie-2, France
7 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French
Experience level
Senior

Job location

Canton of Courbevoie-2, France

Tech stack

Amazon Web Services (AWS)
Azure
Big Data
Cloud Computing
Code Review
Continuous Integration
DevOps
Electronic Data Interchange (EDI)
Python
Data Streaming
Spark
Gitlab
Gitlab-ci
Integration Tests
Kafka
Terraform
Jenkins
Databricks

Job description

En tant que leader technique au sein de la direction Data, vous portez la vision technologique et garantissez l'excellence opérationnelle des pipelines d'ingestion sous Databricks. Vous agissez comme le référent technique principal pour l'écosystème Data et guidez les choix d'architecture de l'équipe Plateforme.

Vos Missions :

  • Leadership Technique : Piloter la cohérence technique des développements, assurer les revues de code et définir les standards de qualité pour l'équipe Plateforme
  • Ingénierie Databricks de pointe : Concevoir, développer et optimiser des pipelines de données complexes (Batch et Streaming) exclusivement sous l'environnement Databricks
  • Architecture et Expertise : Intervenir en support expert pour la résolution d'incidents complexes et assurer le mentorat technique des profils plus juniors
  • Culture DevOps et Outillage : Superviser l'opérationnalisation des traitements (CI/CD, tests d'intégration) et faire évoluer les outils d'automatisation
  • Performance et FinOps : Piloter l'optimisation de la consommation des ressources Cloud et la rapidité des traitements Databricks

Requirements

Issu d'une formation Bac +5 (ingénieur ou école), vous avez plus de 7 ans d'expérience en tant que data engineer avec une expertise databricks.Expertise Technique : Développeur Senior avec une maîtrise approfondie de Python, Spark et ScalaEcosystème Data : Solides connaissances de l'écosystème Big Data, incluant notamment Kafka pour la gestion des échanges de données en temps réelMaîtrise Databricks : La certification Databricks Certified Data Engineer Professional est impérative pour ce niveau de leadership techniqueCloud et Infrastructure : Expérience confirmée sur AWS ou Azure, associée à une maîtrise des outils Terraform, Jenkins ou GitLab CIExpérience Tech Lead : Expérience probante dans l'encadrement technique d'une équipe et dans la définition d'architectures ciblesEngagement et Responsabilité : Sensibilité aux enjeux RGPD, Data Act et à l'optimisation environnementale des codesSoft Skills : Rigueur analytique, sens de l'organisation et excellente communication pour vulgariser des concepts techniques complexes, Issu d'une formation Bac +5 (ingénieur ou école), vous avez plus de 7 ans d'expérience en tant que data engineer avec une expertise databricks.

  • Expertise Technique : Développeur Senior avec une maîtrise approfondie de Python, Spark et Scala
  • Ecosystème Data : Solides connaissances de l'écosystème Big Data, incluant notamment Kafka pour la gestion des échanges de données en temps réel
  • Maîtrise Databricks : La certification Databricks Certified Data Engineer Professional est impérative pour ce niveau de leadership technique
  • Cloud et Infrastructure : Expérience confirmée sur AWS ou Azure, associée à une maîtrise des outils Terraform, Jenkins ou GitLab CI
  • Expérience Tech Lead : Expérience probante dans l'encadrement technique d'une équipe et dans la définition d'architectures cibles
  • Engagement et Responsabilité : Sensibilité aux enjeux RGPD, Data Act et à l'optimisation environnementale des codes
  • Soft Skills : Rigueur analytique, sens de l'organisation et excellente communication pour vulgariser des concepts techniques complexes

About the company

L'approche de Starclay au sein du Groupe Partenor se caractérise par une double compétence Métier et SI ; mettre les utilisateurs au centre de tous les projets depuis la formalisation des besoins jusqu'à la formation de ces derniers. Nous nous positionnons en tant qu'acteur clé dans les dispositifs d'amélioration continue notamment à travers l'IA générative.

Apply for this position