Data Engineer Python / Azure

Craftman data
Paris, France
3 months ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Experience required
6 years minimum
Working hours
Regular working hours
Languages
English
Job source

Tech stack

Application Programming Interfaces (APIs) Automation of Tests Microsoft Azure Software Quality Continuous Integration Python (Programming Language) SQL Azure Parquet Data Processing Pandas Data Lakes Serverless Computing

Job description

Nous recherchons un Data Engineer expérimenté pour intervenir sur un nouveau projet au sein d?une Digital Factory d?un grand groupe international.

La mission consiste à concevoir, développer et industrialiser des pipelines de données dans un environnement Azure Cloud, avec une forte exigence en matière de qualité logicielle, d?architecture propre, de tests automatisés et d?industrialisation., Conception et développement de pipelines de données en Python Mise en place de traitements batch et d?orchestrations avec Azure Durable Functions Manipulation de données volumineuses, notamment au format Parquet Validation de schémas et contrôles qualité des données Intégration avec des APIs externes Modélisation et optimisation de bases Azure SQL Mise en place de l?observabilité : logs, traces, métriques Industrialisation des déploiements via CI/CD Garantie de la qualité et de la sécurité du code : tests automatisés, coverage, scans de code, Azure Functions / Durable Functions v2 Data Lake, Blob Storage, Azure DB Pandas, Polars, PyArrow Azure SQL Parquet CI/CD Tests automatisés Observabilité Bonnes pratiques de sécurité et qualité de code

Anglais courant requis.

Un test technique pourra être demandé aux profils sélectionnés, suivi d?une éventuelle soutenance technique.

Requirements

Data Engineer avec au moins 6 ans d?expérience, à l?aise dans un environnement cloud moderne et serverless.

Le profil doit être capable de travailler en équipe, de partager ses connaissances avec les autres membres de la squad et de contribuer à limiter le silotage entre les sujets data, software et ops., Python ? niveau expert Azure Cloud ? niveau expert, Python ? niveau expert Azure Cloud ? niveau expert Azure Functions / Durable Functions v2 Data Lake, Blob Storage, Azure DB Pandas, Polars, PyArrow Azure SQL Parquet CI/CD Tests automatisés Observabilité Bonnes pratiques de sécurité et qualité de code

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on indeed.com

Good distractions

Talks and stories from around this role — technically off-topic, practically not.

3:09 min

Balancing data science skillings alongside systems engineering rigor

Nico Schmidt · LIVE

2:03 min

Accelerating pandas dataframes using cudf module plugins

Ankit Patel Ankit Patel · WWC 2024

2:50 min

How Parquet metadata enables efficient data reading

Matthias Niehoff Matthias Niehoff · WWC Europe 2026

2:11 min

Evaluating application design patterns in microservices

Paweł Siwek Paweł Siwek · WWC 2025

3:33 min

Refactoring data science workflows using Rapids QDF and Pandas

Paul Graham Paul Graham · LIVE

6:08 min

Applying software engineering environments and testing to data pipelines

Matthias Niehoff Matthias Niehoff · WWC 2024

Videos

See all

Related articles

See all