Senior Data Engineer Dataiku Dss V14 Big Data & Eba Stress Testing H/F

Propertyvalue
Canton de Torcy, France
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French
Experience level
Senior

Job location

Canton de Torcy, France

Tech stack

Big Data
Data Integration
Data Transformation
Hadoop
Hadoop Distributed File System
Hive
Python
SQL Databases
Spark
GIT
PySpark
Data Lineage
Data Analytics
Data Management
Dataiku

Job description

Au sein de l'équipe Stress Testing and Data Analytics, la mission consiste à renforcer les capacités de développement et d'industrialisation des traitements de données utilisés dans les exercices de stress testing réglementaires. L'équipe est responsable de la collecte, de la structuration, de la transformation et de la mise à disposition des données nécessaires aux projections réglementaires, aux exercices de stress testing et aux productions associées. Dans le cadre de la préparation de l'EBA Stress Test 2027, le consultant interviendra sur le périmètre Credit Risk afin de contribuer à la fiabilisation des données, à l'automatisation des traitements et à la sécurisation des livrables réglementaires dans un environnement Big Data. La mission s'inscrit dans un contexte international impliquant une collaboration étroite avec les équipes Data, IT, Finance, Risque et Modèles.

  1. Développement et industrialisation des traitements de données_ _L'équipe est responsable du développement, de l'évolution et de la maintenance des pipelines de données nécessaires aux exercices réglementaires. Elle conçoit des traitements robustes et industrialisés sous Dataiku DSS v14, en s'appuyant sur Python, PySpark et SQL, afin d'assurer la production de données fiables, reproductibles et auditables. Les traitements développés doivent répondre à des exigences élevées de qualité, de performance et de traçabilité conformément aux principes BCBS 239.

  2. Intégration et contrôle de la qualité des données_ _L'équipe assure l'intégration de données provenant de différentes sources réglementaires et internes. Elle est responsable de la transformation des données, de la mise en oeuvre des contrôles de qualité, des contrôles de cohérence ainsi que des rapprochements entre les différentes sources. Les écarts détectés doivent être analysés puis faire l'objet d'actions de remédiation afin de garantir la fiabilité des livrables réglementaires.

  3. Contribution aux exercices réglementaires_ _L'équipe contribue directement à la construction du Credit Starting Point dans le cadre de l'EBA Stress Test 2027. Elle participe à la préparation des datasets réglementaires, à l'alimentation des templates attendus ainsi qu'à la sécurisation des différentes phases de production jusqu'aux livraisons. Une forte implication est attendue durant les périodes critiques de préparation, de validation, de re-run et de remédiation.

  4. Documentation et traçabilité_ _L'équipe est responsable de la documentation technique et fonctionnelle des traitements développés. Elle garantit la traçabilité complète des données, des règles de transformation et des contrôles mis en oeuvre afin de répondre aux exigences d'audit et de conformité réglementaire., La mission interviendra principalement sur les activités suivantes :

  • Développer et maintenir les pipelines de données sous Dataiku DSS v14.
  • Concevoir, optimiser et exécuter des traitements en Python, PySpark et SQL.
  • Contribuer à la construction du Credit Starting Point dans le cadre de l'EBA Stress Test 2027.
  • Intégrer, transformer et contrôler des données réglementaires et internes.
  • Automatiser les contrôles de qualité et les contrôles de cohérence des données.
  • Réaliser les analyses d'écarts et participer aux actions de remédiation.
  • Produire une documentation technique et fonctionnelle des traitements développés.
  • Garantir la traçabilité et l'auditabilité des données conformément aux principes BCBS 239.
  • Collaborer avec les équipes Data, IT, Finance, Risque, Modèles et les différentes parties prenantes du programme.
  • Participer aux phases de recette, validation, re-run et sécurisation des livrables réglementaires.

Expertises :

  • Data Engineering

  • Dataiku DSS v14

  • Développement de pipelines de données

  • Python

  • PySpark

  • SQL

  • Big Data

  • Data Quality

  • Data Lineage

  • Data Transformation

  • Data Remediation

  • Stress Testing

  • BCBS 239 Périmètre fonctionnel :

  • Développement de pipelines Dataiku

  • Data Preparation

  • Data Transformation

  • Data Quality

  • Contrôles de cohérence

  • Intégration de données réglementaires

  • Documentation technique

  • Traçabilité des données

  • Industrialisation des traitements, Conception de templates et maquettes Contrôle qualité Hadoop SQL Gestion des données Git Création d'une base documentaire Hive Big data Python

Requirements

BCBS 239

  • EBA Stress Testing
  • FINREP
  • COREP
  • IFRS9
  • CRR3

Solutions / Outils :

  • Dataiku DSS v14
  • Python
  • PySpark
  • Spark
  • SQL
  • Hive
  • Hadoop
  • HDFS
  • Git

Benefits & conditions

Taux journalier :TJM HT max 518 € (hors éventuels frais de mission, à discuter avec le client).css-11k7fwb{display:inline-block;white-space:nowrap;vertical-align:middle;-webkit-padding-start:var(--chakra-space-1-5);padding-inline-start:var(--chakra-space-1-5);-webkit-padding-end:var(--chakra-space-1-5);padding-inline-end:var(--chakra-space-1-5);text-transform:none;font-size:var(--chakra-fontSizes-xs);border-radius:var(--chakra-radii-md);font-weight:var(--chakra-fontWeights-semibold);background:var(--chakra-colors-success-200);color:var(--chakra-colors-success-700);box-shadow:var(--badge-shadow);padding:4px 6px;--badge-bg:var(--chakra-colors-success-100);--badge-color:colors.success.800;}.chakra-ui-dark .css-11k7fwb:not([data-theme]),[data-theme=dark] .css-11k7fwb:not([data-theme]),.css-11k7fwb[data-theme=dark]{--badge-bg:rgba(226, 243, 232, 0.16);--badge-color:var(--chakra-colors-success-200);}Cette offre est à 0% de commission .css-74lrwu{width:1em;height:1em;line-height:1em;-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;color:currentColor;font-size:16px;display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-transition:.1s ease-in-out color;transition:.1s ease-in-out color;}.css-74lrwu *{-webkit-transition:.1s ease-in-out fill;transition:.1s ease-in-out fill;fill:var(--chakra-colors-rythm-600);}

Apply for this position