Data Engineer F/H

AP-HP
2 days ago

Role details

Contract type
Temporary contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French
Experience level
Intermediate

Job location

Tech stack

ETL
Data Mart
Data Warehousing
Relational Databases
Python
PostgreSQL
DataOps
Data Streaming

Job description

L'équipe Data de la BNDMR est en charge de l'exploitation et de la valorisation de l'Entrepôt de Données (EDS) de la BNDMR. Intégrée à une cellule opérationnelle pluridisciplinaire d'environ 40 personnes, elle est composée d'un Chief Data Officer, de 6 data scientists, de 3 data managers et d'un data engineer/dataops. Elle intervient sur l'ensemble de la chaîne de valeur de la donnée : structuration, qualité, appariement, analyses statistiques et valorisation. Dans un contexte d'évolution rapide de l'entrepôt de données (nouveaux jeux de données, appariement avec le SNDS, augmentation des projets de recherche), l'équipe oeuvre à l'industrialisation des processus data et au soutien des projets académiques et industriels, au service de la recherche, du pilotage du système de santé et de l'innovation dans le champ des maladies rares. MISSION GENERALE Concevoir, développer et opérer des chaînes de traitement de données, de l'ingestion à l'exposition, en garantissant la scalabilité, la performance, la traçabilité et la qualité des flux de données. MISSIONS PONCTUELLES OU SPECIFIQUES (liste non exhaustive) · Concevoir, développer et maintenir des pipelines de données (ETL/ELT) de l'Entrepôt de Données de Santé (EDS) à des fins de pilotage, d'analyse et de recherche. · Participer à la conception, l'évolution et l'optimisation des DataMarts et modèles de données, en lien étroit avec les Data Scientists et Data Managers. · Industrialiser et automatiser des traitements ponctuels ou manuels critiques de l'équipe Data (contrôles qualité, livraison de jeux de données, etc.)

Requirements

Diplôme : Master ou équivalent Niveau d'étude : Bac+5 Niveau d'expérience : 2 ans et + Compétences requises .Programmation orientée data engineering (Python indispensable) .Maîtrise des bases de données relationnelles, notam. PostgreSQL (modélisation, optimisation) .Expérience dans la conception, le développement de pipelines ETL/ELT et l'industrialisation des traitements .Capacité à comprendre et exploiter des architectures complexes et hétérogènes, y compris faiblement documentées .Pratique du travail collaboratif et versionnement de code .Capacité à travailler avec des volumes de données importants et des flux hétérogènes .Notions de tests appliqués aux données .Une expérience dans un environnement de données de santé, une connaissance du SNDS (PMSI, SNIIRAM, etc.) serait un plus .Bon niveau d'anglais technique Connaissances associées .Très bonne compréhension des principes d'architecture data (chaînes de traitement, séparation ETL) .Sensibilité aux enjeux de qualité, gouvernance et traçabilité des données .Connaissance ou intérêt pour les exigences réglementaires liées aux données de santé (RGPD, CNIL, sécurité) .Intérêt pour les usages analytiques et scientifiques des données Qualités requises .Capacité à travailler en équipe pluridisciplinaire .Rigueur, sens de la qualité et de la robustesse des solutions .Autonomie, capacité à prioriser .Aptitude à documenter et à vulgariser des sujets techniques .Sens des responsabilités et respect strict de la confidentialité des données

Apply for this position