Data Engineer / Data Architect Senior (H/F)

Collective
Paris, France
3 months ago

Role details

Contract type
Temporary contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Working hours
Regular working hours
Job source

Tech stack

Airflow Amazon S3 Confluence JIRA Unit Testing Data Architecture Data Infrastructure Python (Programming Language) Machine Learning Oracle (Applications) Standard Sql Feature Engineering
+8 more
Informatica Powercenter Large Language Models Apache Spark Generative AI Git Pyspark Data Analytics Jenkins

Job description

La mission consiste à concevoir et mettre en œuvre une architecture Lakehouse moderne afin de remplacer et enrichir les solutions existantes.

Le consultant interviendra en collaboration avec les équipes Data, les métiers et les équipes transverses du groupe.

Missions

  • Concevoir l’architecture d’un Lakehouse sur S3
  • Développer des pipelines de collecte et de transformation de données
  • Mettre en place les systèmes de stockage et d’ordonnancement des traitements
  • Développer des traitements en Python / Spark / PySpark
  • Assurer la qualité des développements via les tests unitaires
  • Participer au monitoring et au suivi des traitements
  • Rédiger la documentation technique
  • Accompagner les phases de recette avec les utilisateurs et la MOA
  • Participer aux échanges avec les équipes métiers et techniques
  • Contribuer à l’amélioration continue des processus de développement

Environnement technique

  • Python
  • Spark / PySpark
  • SQL
  • Architecture Lakehouse sur S3
  • Dagster
  • Trino
  • Git
  • Jenkins
  • Jira
  • Confluence
  • Informatica
  • Oracle 19

Requirements

  • Expérience significative en Data Engineering et architecture data
  • Très bonne maîtrise de Python, Spark et PySpark
  • Expérience sur des architectures Lakehouse / Data Platform
  • Bonne compréhension des problématiques BI et data analytics
  • Expérience avec Informatica appréciée
  • Connaissances en Machine Learning / Feature Engineering
  • Intérêt pour les usages LLM / GenAI appliqués à la donnée
  • Bon relationnel et capacité à interagir avec les équipes métiers

Benefits & conditions

Taux journalier (TJM): 550

About the company

Dans le cadre de la modernisation d’une plateforme BI dédiée à l’épargne salariale et retraite, nous recherchons un(e) Data Engineer / Data Architect Senior pour intervenir au sein d’une équipe R&D Data.

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on indeed.com

Good distractions

Talks and stories from around this role — technically off-topic, practically not.

6:21 min

Investigating push inefficiencies with upstream Git experts

Jonathan Creamer · Coffee With Developers

3:05 min

Integrating an assistant application with Jira software

Felix Augenstein · LIVE

1:02 min

Applying an ETL methodology to infrastructure configuration management

Axel Barbier · WWC 2023

3:09 min

Balancing data science skillings alongside systems engineering rigor

Nico Schmidt · LIVE

56 sec

Favorite git commands and the importance of patch commits

Eileen Uchitelle Eileen Uchitelle +1 · Coffee With Developers

3:03 min

Career evolution in data engineering and AI platforms

Maria Apazoglou · Coffee With Developers

Videos

See all

Related articles

See all