Data Engineer Full Remote (H/F)

HCube Conseil
Lyon, France
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French

Job location

Remote
Lyon, France

Tech stack

API
Airflow
Azure
Databases
Python
Power BI
Data Streaming
Spark
Data Lake
PySpark
Databricks

Job description

Dans le cadre de l'évolution d'une plateforme data à forte volumétrie, nous recherchons plusieurs Data Engineers seniors pour renforcer une équipe en charge de la conception et de l'industrialisation des flux de données. Vous interviendrez dans un environnement moderne orienté Lakehouse, avec Databricks au cœur des traitements., Intégré à une équipe data transverse, vous participerez à la mise en place de pipelines robustes, scalables et industrialisés :

  • Concevoir et développer des pipelines de données en PySpark, en batch et potentiellement en streaming
  • Structurer et optimiser des traitements complexes sur des volumes de données importants
  • Mettre en place des mécanismes d'ingestion fiables depuis des sources multiples (API, fichiers, bases de données)
  • Garantir la résilience des pipelines (gestion des erreurs, reprise sur incident, supervision)
  • Déployer des contrôles qualité afin d'assurer la fiabilité et la fraîcheur des données
  • Contribuer à la documentation des flux et à la mise en place de standards de développement
  • Participer activement à l'amélioration continue de la plateforme et des pratiques data

Requirements

  • Très bonne maîtrise de Databricks (gestion des clusters, jobs, notebooks, Delta Lake)
  • Excellente maîtrise de Python et PySpark
  • Expérience confirmée en Data Engineering sur des architectures distribuées
  • Bonne compréhension des modèles Data Lake et Lakehouse
  • Solides compétences en optimisation de performances sur Spark
  • Expérience avec des outils d'orchestration (Airflow, Data Factory ou équivalent)
  • Sensibilité aux problématiques de gouvernance et de qualité des données
  • Expérience dans l'exposition de données à destination d'outils BI (notamment Power BI), * Data Engineer senior avec une expertise avérée sur Databricks
  • Expérience sur des projets data à forte volumétrie
  • Capacité à concevoir des pipelines fiables, performants et industrialisés
  • Bonne maîtrise des environnements cloud, idéalement Azure
  • Approche rigoureuse sur les sujets de qualité, performance et gouvernance
  • Aisance dans un environnement collaboratif avec des équipes Data Science et BI

Benefits & conditions

  • Poste en full remote

About the company

Notre groupe est au service de la transformation digitale des entreprises depuis 20 ans. De l'étude à la réalisation en passant par le conseil, nous travaillons sur des projets de refonte d'infrastructure, de Cloud, d'Intelligence artificielle, de Cybersécurité, d'équipements « Endpoint », de Smartcity ou encore en développement web et applicatif. Nous sommes convaincus qu'il ne suffit pas de transformer l'IT et qu'il faut aussi être capable de digitaliser les produits, les services et plus généralement les métiers #DIGITALWAY La complémentarité de nos différents pôles et de leurs expertises respectives permet aujourd'hui à REEL IT de se distinguer par son hyper-compétence, sa polyvalence et son dynamisme. La cohésion entre nos différents pôles d'expertise constitue notre force pour faire face à la complexité et à l'ampleur de tous les projets que nous abordons.

Apply for this position