Data Engineer Modern Data Stack H/F

Orange Group
Lyon, France
3 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French
Experience level
Senior

Job location

Lyon, France

Tech stack

Artificial Intelligence
Airflow
Amazon Web Services (AWS)
Azure
Google BigQuery
Cloud Computing
Continuous Integration
Data Warehousing
Github
Python
Azure
SQL Databases
Talend
Parquet
Amazon Web Services (AWS)
Google Cloud Platform
Azure
Large Language Models
Snowflake
Spark
Code Structure
HybridCloud
GIT
Data Lake
PySpark
Gitlab-ci
Bicep
Kafka
Apache Nifi
Machine Learning Operations
Terraform
Azure
Jenkins
Redshift
Databricks

Job description

Concevoir, développer et maintenir des pipelines d'ingestion et de transformation de données (batch et temps réel) en Python et SQL.

-Mettre en oeuvre des Modern Data Platforms sur le cloud (Azure, AWS, GCP) : Data Lake, Data Warehouse, zones raw / cleansed / business.

-Industrialiser les traitements : orchestration, CI/CD, tests, reprise sur erreur, déploiement via IaC.

-Mettre en place les contrôles de qualité de données et l'observabilité associée (fraîcheur, complétude, lineage, alerting).

-Contribuer aux projets liés à la donnée et à l'IA (LLM chatbot, RAG, Azure AI/ML services) en exposant des données fiables et exploitables.

-Optimiser les performances et les coûts des traitements (partitionnement, formats defichiers, dimensionnement, FinOps), y compris sur des architectures hybrides intégrant des environnements on-premise.

Requirements

Expérience : au moins 5 ans sur des projets de data engineering, dont une expérience significative sur la mise en production de pipelines en environnement cloud.

-Python : maîtrise confirmée (code structuré, testé, packagé), ainsi que SQL avancé.

-Intégration & transformation : dbt, Spark / PySpark, Talend, Kafka / Kafka Connect, Nifi, Airbyte ou équivalents - plusieurs outils du marché pratiqués.

-Orchestration : Airflow, Dagster, Prefect, Azure Data Factory.

-Cloud : maîtrise d'au moins une des plateformes (Azure, GCP, AWS) avec une expérience significative sur ses services data (BigQuery, Synapse, Databricks, Snowflake, Redshift...).

-IaC : Terraform, AWS CDK, Bicep.

-CI/CD : GitHub Actions, GitLab CI/CD, Jenkins.

-Data/AI (un plus) : connaissance des plateformes MLOps, services AI/ML cloud, formats et moteurs de table (Parquet, Delta Lake, Iceberg).

-Cloud hybride : expérience des déploiements et intégrations avec des infrastructures on-premise., Contrôle qualité SQL AWS Git Batching Jenkins Python KAFKA

About the company

Présente à Lyon, Grenoble, Marseille et Nice, l'agence Conseil & Expertise Grand Sud-Est intervient en synergie avec les agences sectorielles et géographiques d'Orange Business sur les périmètres suivants : Stratégie, Gouvernance & Trust, Architecture, Infrastructure, Services, et Acculturation., Orange Business est un intégrateur réseau et numérique qui comprend toute la chaîne de valeur du monde digital, permettant à nos clients de se concentrer sur les initiatives stratégiques qui font avancer leur business. Chaque jour, vous collaborerez avec une équipe dédiée à la livraison de solutions globales cohérentes et durables, peu importe où nos clients opèrent. Avec plus de 30 000 salariés en Europe, Asie, Amérique et Afrique, nous proposons un environnement dynamique et innovant permettant de développer et affiner vos compétences. Nous offrons des opportunités passionnantes dans la data et le digital, le cloud, l'IA, la cybersécurité, ou encore l'IoT et le digital workspace.

Apply for this position