Data Engineer / Data Architect Senior (H/F)

Collective
Paris, France
4 days ago

Role details

Contract type
Temporary contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French
Experience level
Senior

Job location

Remote
Paris, France

Tech stack

Airflow
Amazon Web Services (AWS)
Confluence
JIRA
Unit Testing
Data Architecture
Data Infrastructure
Python
Machine Learning
Oracle Applications
Standard Sql
Feature Engineering
Informatica Powercenter
Large Language Models
Spark
Generative AI
GIT
PySpark
Data Analytics
Jenkins

Job description

La mission consiste à concevoir et mettre en œuvre une architecture Lakehouse moderne afin de remplacer et enrichir les solutions existantes.

Le consultant interviendra en collaboration avec les équipes Data, les métiers et les équipes transverses du groupe.

Missions

  • Concevoir l'architecture d'un Lakehouse sur S3
  • Développer des pipelines de collecte et de transformation de données
  • Mettre en place les systèmes de stockage et d'ordonnancement des traitements
  • Développer des traitements en Python / Spark / PySpark
  • Assurer la qualité des développements via les tests unitaires
  • Participer au monitoring et au suivi des traitements
  • Rédiger la documentation technique
  • Accompagner les phases de recette avec les utilisateurs et la MOA
  • Participer aux échanges avec les équipes métiers et techniques
  • Contribuer à l'amélioration continue des processus de développement

Environnement technique

  • Python
  • Spark / PySpark
  • SQL
  • Architecture Lakehouse sur S3
  • Dagster
  • Trino
  • Git
  • Jenkins
  • Jira
  • Confluence
  • Informatica
  • Oracle 19

Requirements

  • Expérience significative en Data Engineering et architecture data
  • Très bonne maîtrise de Python, Spark et PySpark
  • Expérience sur des architectures Lakehouse / Data Platform
  • Bonne compréhension des problématiques BI et data analytics
  • Expérience avec Informatica appréciée
  • Connaissances en Machine Learning / Feature Engineering
  • Intérêt pour les usages LLM / GenAI appliqués à la donnée
  • Bon relationnel et capacité à interagir avec les équipes métiers

Benefits & conditions

Taux journalier (TJM): 550

About the company

Dans le cadre de la modernisation d'une plateforme BI dédiée à l'épargne salariale et retraite, nous recherchons un(e) Data Engineer / Data Architect Senior pour intervenir au sein d'une équipe R&D Data.

Apply for this position