Senior Data Engineer - Plateforme Analytics & Data

Job Description Dans le cadre de l'évolution de sa plateforme Analytics, un acteur majeur du secteur de l'énergie recherche un Senior Data Engineer afin d'accompagner l'industrialisation des cas d'usage Data et Intelligence Artificielle.

La plateforme, construite sur Databricks et AWS, permet aux équipes Data, Analytics et Métiers de développer, tester et déployer des solutions à forte valeur ajoutée.

L'objectif principal du poste est d'accélérer la transformation des prototypes Analytics et Machine Learning en solutions robustes, maintenables et industrialisées, tout en renforçant les standards de développement, la gouvernance des données et l'expérience utilisateur de la plateforme.

Le poste s'inscrit dans un environnement Agile et nécessite une collaboration étroite avec les équipes Data Engineering, Data Science, Analytics, Cloud et Produit.

Vos missions :

En tant que Senior Data Engineer, vous jouerez un rôle clé dans la structuration et l'industrialisation de la plateforme Analytics.

À ce titre, vous serez notamment amené à :

• Industrialiser les cas d'usage Analytics et Machine Learning développés sous Databricks.

• Concevoir, développer et maintenir des pipelines de données distribués à grande échelle.

• Définir et promouvoir les bonnes pratiques de développement, d'architecture et de qualité logicielle.

• Mettre en place des frameworks, templates et composants réutilisables afin d'accélérer les nouveaux développements.

• Réaliser des revues de code et accompagner les équipes dans l'amélioration continue de la qualité des développements.

• Optimiser les pipelines existants afin d'améliorer leurs performances, leur fiabilité et leur maintenabilité.

• Participer au déploiement en production des produits Analytics et IA.

• Administrer et faire évoluer l'environnement Databricks.

• Renforcer les mécanismes de gouvernance, de sécurité et de gestion des accès.

• Optimiser les coûts d'infrastructure et l'utilisation des ressources Cloud.

• Accompagner les utilisateurs de la plateforme et contribuer aux actions de formation et d'onboarding.

• Participer aux choix d'architecture et aux orientations techniques de la plateforme.

Les atouts du poste :

Ce poste dépasse le périmètre traditionnel du Data Engineering. Vous contribuerez directement à l'évolution d'une plateforme Analytics stratégique en participant à :

• l'industrialisation des solutions Data et IA ;

• la définition des standards de développement ;

• l'amélioration continue de la qualité logicielle ;

• la gouvernance de la plateforme ;

• l'accompagnement des équipes dans l'adoption des bonnes pratiques.

Vous interviendrez sur des problématiques à forte dimension technique, mêlant Data Engineering, Cloud, DevOps et architecture, avec un impact direct sur la performance et la pérennité des solutions déployées.

Environnement technique :

1. Cloud

• AWS (S3, ECS, Fargate...)

2. Data Platform

• Databricks

• Delta Lake

• Lakehouse Architecture

3. Data Engineering

• Apache Spark

• PySpark

• SQL

4. Analytics & Machine Learning

• MLflow

• scikit-learn

• TensorFlow

• PyTorch

5. Orchestration

• Apache Airflow

6. DevOps

• GitLab

• CI/CD

7. Infrastructure as Code

• Terraform

• Terragrunt

8. Conteneurisation

• Docker

9. Gouvernance

• Unity Catalog

• Gestion des accès

• Monitoring

• Optimisation des coûts Cloud

10. Méthodologie

• Agile Scrum

Expertise souhaitée

Expérience :

• Minimum 6 à 7 ans d'expérience en Data Engineering.

• Expérience significative sur Databricks (3 ans minimum souhaités).

• Expérience confirmée dans l'industrialisation de solutions Analytics ou Machine Learning.

• Solide expérience dans la conception et l'exploitation de pipelines distribués basés sur Apache Spark.

• Expérience des environnements Cloud AWS.

Compétences techniques :

• Excellente maîtrise de Python, PySpark et SQL.

• Forte expertise Databricks (administration, gouvernance, optimisation et industrialisation).

• Bonne maîtrise des architectures Lakehouse et de Delta Lake.

• Expérience des bonnes pratiques de développement logiciel (tests automatisés, revue de code, CI/CD, gestion de versions).

• Bonne maîtrise de Terraform et de l'Infrastructure as Code.

• Connaissance d'Airflow.

• Compréhension du cycle de vie des modèles de Machine Learning (MLflow).

• Capacité à concevoir des architectures robustes, évolutives et maintenables.

Qualités personnelles :

• Esprit d'analyse et capacité à challenger les solutions existantes.

• Excellentes capacités de communication.

• Goût pour le partage de connaissances et l'accompagnement des équipes.

• Autonomie, rigueur et sens du détail.

• Capacité à évoluer dans un environnement international et multidisciplinaire.

Mobilité

Non renseigné

Apache, SQL, Python

Delta Lake, Lakehouse Architecture

3. Data Engineering

• Apache Spark

• PySpark

• SQL

4. Analytics & Machine Learning

• MLflow

• scikit-learn

• TensorFlow

• PyTorch

5. Orchestration

• Apache Airflow

6. DevOps

• GitLab

• CI/CD

7., Infrastructure as Code

• Terraform

• Terragrunt

8. Conteneurisation

Dans le cadre de l'évolution de sa plateforme Analytics, un acteur majeur du secteur de l'énergie recherche un Senior Data Engineer afin d'accompagner l'industrialisation des cas d'usage Data et Intelligence Artificielle. La plateforme, construite sur Databricks et AWS, permet aux équipes Data, Analytics et Métiers de développer, tester et déployer des solutions à forte valeur ajoutée.