Senior Data Engineer Databricks - Pyspark H/F

Cenova
Lille, France
3 days ago
Apply on www.hellowork.com
Prepare application

Role details

Contract type
Contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Working hours
Regular working hours
Languages
English

Tech stack

Agile Methodology Airflow Amazon Web Services Software Quality Continuous Integration Data Governance Data Infrastructure Python (Programming Language) SQL Databases Git Pyspark Databricks

Job description

Concevoir, développer et maintenir des pipelines robustes et performants

  • Moderniser une stack legacy vers les nouveaux standards de la Data Platform
  • DĂ©velopper et optimiser les traitements en SQL et Python/PySpark
  • Industrialiser, documenter et tester les modĂšles avec dbt
  • Concevoir et monitorer des DAGs complexes avec Airflow ou Astro
  • Assurer un RUN de qualitĂ© selon le principe « You build it, you run it »
  • Contribuer aux choix techniques, Ă  la qualitĂ© du code et aux pratiques CI/CD
  • Garantir la qualitĂ©, la fiabilitĂ© et la gouvernance des donnĂ©es
  • Collaborer avec les Ă©quipes produit, mĂ©tier, Infra et OPS dans un environnement Agile

Outils & Environnement

  • Databricks
  • SQL avancĂ© et optimisation des traitements
  • Python et PySpark
  • dbt
  • Airflow ou Astro
  • Git et les pratiques CI/CD
  • RUN, monitoring et rĂ©solution d’incidents en production
  • Connaissance d’AWS et de Scala (un plus)

Requirements

Profil recherchĂ©Vous justifiez d’une expĂ©rience significative en Data EngineeringMaĂźtrise de DatabricksMaĂźtrise de SQL avancĂ© et optimisation des traitementsMaĂźtrise de Python et PySparkMaĂźtrise de dbtMaĂźtrise de Airflow ou AstroMaĂźtrise de Git et des pratiques CI/CDExpĂ©rience en RUN, monitoring et rĂ©solution d’incidents en productionUne connaissance d’AWS et de Scala constitue un plusÊtre autonome, proactif et engagĂ©, avec une forte appĂ©tence mĂ©tierSavoir proposer des solutions simples et efficaces, documenter les dĂ©veloppements et communiquer avec des interlocuteurs techniques et fonctionnelsUn anglais professionnel, notamment Ă  l’écrit, est demandĂ©, 1. Vous justifiez d’une expĂ©rience significative en Data Engineering

  1. MaĂźtrise de Databricks
  2. Maßtrise de SQL avancé et optimisation des traitements
  3. MaĂźtrise de Python et PySpark
  4. MaĂźtrise de dbt
  5. MaĂźtrise de Airflow ou Astro
  6. MaĂźtrise de Git et des pratiques CI/CD
  7. ExpĂ©rience en RUN, monitoring et rĂ©solution d’incidents en production
  8. Une connaissance d’AWS et de Scala constitue un plus
  9. Être autonome, proactif et engagĂ©, avec une forte appĂ©tence mĂ©tier
  10. Savoir proposer des solutions simples et efficaces, documenter les développements et communiquer avec des interlocuteurs techniques et fonctionnels, Anglais Scala SQL AWS Git Pro-activité Python

Benefits & conditions

Démarrage souhaité : ASAP

  • DurĂ©e : Mission longue, Taux journalier :Salaire selon profil

False

EducationalOccupationalCredential postgraduate degree EducationalOccupationalCredential bachelor degree EducationalOccupationalCredential, 12. Un anglais professionnel, notamment Ă  l’écrit, est demandĂ©

About the company

Pour accompagner un grand groupe international dans la modernisation de sa plateforme Data, nous recherchons un Senior Data Engineer hands-on. Vous intĂ©grerez une Ă©quipe produit composĂ©e d’un Product Manager, de Data Engineers et d’un Data Quality Manager. L’objectif est de garantir l’accessibilitĂ©, la fiabilitĂ© et la qualitĂ© de donnĂ©es Ă  fort enjeu mĂ©tier.

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.hellowork.com
Prepare application

Good distractions

Talks and stories from around this role — technically off-topic, practically not.

2:15 min

Empowering domain teams with an open data platform

Sandhya Menon Sandhya Menon · World Congress 2026 Europe

4:32 min

Harnessing Spark with Python using PySpark and Py4J

Ayon Roy · LIVE

6:21 min

Investigating push inefficiencies with upstream Git experts

Jonathan Creamer · Coffee With Developers

3:09 min

Balancing data science skillings alongside systems engineering rigor

Nico Schmidt · LIVE

3:37 min

Scaling machine learning pipelines from prototypes to petabytes

Julian Joseph · LIVE

3:05 min

Audience questions on AI agents and pipeline vectorization

Joy Joy · World Congress 2024

Videos

See all

Related articles

See all