Data Engineer / Data Architect Senior (H/F)
Collective
Paris, France
4 days ago
Role details
Contract type
Temporary contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
French Experience level
SeniorJob location
Remote
Paris, France
Tech stack
Airflow
Amazon Web Services (AWS)
Confluence
JIRA
Unit Testing
Data Architecture
Data Infrastructure
Python
Machine Learning
Oracle Applications
Standard Sql
Feature Engineering
Informatica Powercenter
Large Language Models
Spark
Generative AI
GIT
PySpark
Data Analytics
Jenkins
Job description
La mission consiste à concevoir et mettre en œuvre une architecture Lakehouse moderne afin de remplacer et enrichir les solutions existantes.
Le consultant interviendra en collaboration avec les équipes Data, les métiers et les équipes transverses du groupe.
Missions
- Concevoir l'architecture d'un Lakehouse sur S3
- Développer des pipelines de collecte et de transformation de données
- Mettre en place les systèmes de stockage et d'ordonnancement des traitements
- Développer des traitements en Python / Spark / PySpark
- Assurer la qualité des développements via les tests unitaires
- Participer au monitoring et au suivi des traitements
- Rédiger la documentation technique
- Accompagner les phases de recette avec les utilisateurs et la MOA
- Participer aux échanges avec les équipes métiers et techniques
- Contribuer à l'amélioration continue des processus de développement
Environnement technique
- Python
- Spark / PySpark
- SQL
- Architecture Lakehouse sur S3
- Dagster
- Trino
- Git
- Jenkins
- Jira
- Confluence
- Informatica
- Oracle 19
Requirements
- Expérience significative en Data Engineering et architecture data
- Très bonne maîtrise de Python, Spark et PySpark
- Expérience sur des architectures Lakehouse / Data Platform
- Bonne compréhension des problématiques BI et data analytics
- Expérience avec Informatica appréciée
- Connaissances en Machine Learning / Feature Engineering
- Intérêt pour les usages LLM / GenAI appliqués à la donnée
- Bon relationnel et capacité à interagir avec les équipes métiers
Benefits & conditions
Taux journalier (TJM): 550
About the company
Dans le cadre de la modernisation d'une plateforme BI dédiée à l'épargne salariale et retraite, nous recherchons un(e) Data Engineer / Data Architect Senior pour intervenir au sein d'une équipe R&D Data.