Data Engineer Senior Python / Azure / Databricks H/F

Collective
Paris, France
2 months ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Working hours
Regular working hours
Languages
English
Job source

Tech stack

Clean Code Principles Agile Methodology Microsoft Azure Databases Relational Databases Python (Programming Language) Scrum Methodology Azure Data Lake Data Streaming Git Pandas Pytest
+2 more
Serverless Computing Databricks

Job description

Notre client dans le secteur Énergie et ressources naturelles recherche un Data Engineer Senior Python / Azure / Databricks H/F Descriptif de la mission:

Nous recherchons un Data Engineer Senior pour intervenir au sein d’un grand groupe international du secteur de l’énergie.

La mission consiste à concevoir, développer et industrialiser des pipelines de données complexes, en garantissant des solutions robustes, scalables, maintenables et conformes aux standards de production.

Le contexte technique repose principalement sur un environnement Azure / Python / Databricks, avec des flux de données à traiter en near real-time depuis Azure Event Hubs, ainsi que des données issues d’un Data Lake Azure., Le consultant interviendra sur les activités suivantes :

  • Concevoir et développer des pipelines de données robustes et performants
  • Récupérer et traiter des données métiers en near real-time depuis Azure Event Hubs
  • Exploiter des données froides depuis un Data Lake Azure
  • Développer des traitements de nettoyage, transformation et contextualisation en Python
  • Participer à la conception d’architectures data scalables et maintenables
  • Industrialiser les flux data dans un environnement cloud Azure
  • Garantir la qualité du code via les bonnes pratiques : Clean Code, tests, peer reviews, Git
  • Contribuer à l’observabilité des flux : monitoring, alerting, logs
  • Optimiser les performances des traitements et les coûts d’infrastructure
  • Garantir la sécurité et la conformité des données manipulées
  • Échanger avec les équipes métier afin de traduire les besoins business en solutions techniques
  • Participer aux rituels Agile et contribuer aux bonnes pratiques de la communauté data

Requirements

Stack technique

Compétences attendues :

  • Python
  • Pandas
  • Azure Functions
  • Azure Data Lake Storage Gen2
  • Azure Event Hubs
  • Azure Databricks
  • Git / GitHub
  • Pytest
  • Ruff / Black
  • Bases de données relationnelles
  • Bases de données non relationnelles

Une expérience sur des pipelines near real-time, des problématiques de performance, d’industrialisation et de monitoring sera fortement appréciée.

Le consultant devra également être à l’aise dans un contexte Agile, avec une bonne capacité à communiquer avec les équipes produit, les interlocuteurs techniques et les métiers., * Soutenance technique prévue rapidement après sélection

Compétences / Qualités indispensables: Python, pandas, Azure Functions, Azure Data Lake Storage Gen2, Azure Event Hubs, Azure Databricks, Git / GitHub, Pytest, Ruff / Black

Compétences / Qualités qui seraient un +: Data science FinOps Data Monitoring / alerting / logging Clean Code DDD Environnement Agile / Scrum Expérience Digital Factory ou grand compte

Benefits & conditions

Taux journalier (TJM): 580, * Démarrage : mi-juin 2026

  • Localisation : Paris
  • Télétravail : 2 jours par semaine
  • Présence sur site : 3 jours par semaine obligatoire
  • Langue : anglais courant
  • Process : test technique Codingame proctoré à réaliser sous 72h pour les profils sélectionnés

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on indeed.com

Good distractions

Talks and stories from around this role — technically off-topic, practically not.

3:09 min

Balancing data science skillings alongside systems engineering rigor

Nico Schmidt · LIVE

6:21 min

Investigating push inefficiencies with upstream Git experts

Jonathan Creamer · Coffee With Developers

3:05 min

Tagging and organizing execution scenarios with pytest markers

Florian Bruhin · WWC 2021

2:03 min

Accelerating pandas dataframes using cudf module plugins

Ankit Patel Ankit Patel · WWC 2024

3:33 min

Refactoring data science workflows using Rapids QDF and Pandas

Paul Graham Paul Graham · LIVE

1:34 min

Bringing diverse skills to industrial data science roles

Katja Träumner

Videos

See all

Related articles

See all