Senior Data Engineer Dataiku Dss V14 Big Data & Eba Stress Testing H/F

Propertyvalue
France
26 days ago
Apply on www.hellowork.com
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Working hours
Regular working hours

Tech stack

Big Data Data Integration Data Transformation Apache Hadoop Hadoop Distributed File System Apache Hive Python (Programming Language) SQL Databases Apache Spark Git Pyspark Data Lineage
+3 more
Data Analytics Data Management Dataiku

Job description

Au sein de l’équipe Stress Testing and Data Analytics, la mission consiste à renforcer les capacités de développement et d’industrialisation des traitements de données utilisés dans les exercices de stress testing réglementaires. L’équipe est responsable de la collecte, de la structuration, de la transformation et de la mise à disposition des données nécessaires aux projections réglementaires, aux exercices de stress testing et aux productions associées. Dans le cadre de la préparation de l’EBA Stress Test 2027, le consultant interviendra sur le périmètre Credit Risk afin de contribuer à la fiabilisation des données, à l’automatisation des traitements et à la sécurisation des livrables réglementaires dans un environnement Big Data. La mission s’inscrit dans un contexte international impliquant une collaboration étroite avec les équipes Data, IT, Finance, Risque et Modèles.

  1. Développement et industrialisation des traitements de données_ _L’équipe est responsable du développement, de l’évolution et de la maintenance des pipelines de données nécessaires aux exercices réglementaires. Elle conçoit des traitements robustes et industrialisés sous Dataiku DSS v14, en s’appuyant sur Python, PySpark et SQL, afin d’assurer la production de données fiables, reproductibles et auditables. Les traitements développés doivent répondre à des exigences élevées de qualité, de performance et de traçabilité conformément aux principes BCBS 239.

  2. Intégration et contrôle de la qualité des données_ _L’équipe assure l’intégration de données provenant de différentes sources réglementaires et internes. Elle est responsable de la transformation des données, de la mise en oeuvre des contrôles de qualité, des contrôles de cohérence ainsi que des rapprochements entre les différentes sources. Les écarts détectés doivent être analysés puis faire l’objet d’actions de remédiation afin de garantir la fiabilité des livrables réglementaires.

  3. Contribution aux exercices réglementaires_ _L’équipe contribue directement à la construction du Credit Starting Point dans le cadre de l’EBA Stress Test 2027. Elle participe à la préparation des datasets réglementaires, à l’alimentation des templates attendus ainsi qu’à la sécurisation des différentes phases de production jusqu’aux livraisons. Une forte implication est attendue durant les périodes critiques de préparation, de validation, de re-run et de remédiation.

  4. Documentation et traçabilité_ _L’équipe est responsable de la documentation technique et fonctionnelle des traitements développés. Elle garantit la traçabilité complète des données, des règles de transformation et des contrôles mis en oeuvre afin de répondre aux exigences d’audit et de conformité réglementaire., La mission interviendra principalement sur les activités suivantes :

  • Développer et maintenir les pipelines de données sous Dataiku DSS v14.
  • Concevoir, optimiser et exécuter des traitements en Python, PySpark et SQL.
  • Contribuer à la construction du Credit Starting Point dans le cadre de l’EBA Stress Test 2027.
  • Intégrer, transformer et contrôler des données réglementaires et internes.
  • Automatiser les contrôles de qualité et les contrôles de cohérence des données.
  • Réaliser les analyses d’écarts et participer aux actions de remédiation.
  • Produire une documentation technique et fonctionnelle des traitements développés.
  • Garantir la traçabilité et l’auditabilité des données conformément aux principes BCBS 239.
  • Collaborer avec les équipes Data, IT, Finance, Risque, Modèles et les différentes parties prenantes du programme.
  • Participer aux phases de recette, validation, re-run et sécurisation des livrables réglementaires.

Expertises :

  • Data Engineering
  • Dataiku DSS v14
  • Développement de pipelines de données
  • Python
  • PySpark
  • SQL
  • Big Data
  • Data Quality
  • Data Lineage
  • Data Transformation
  • Data Remediation
  • Stress Testing
  • BCBS 239 Périmètre fonctionnel :

  • Développement de pipelines Dataiku
  • Data Preparation
  • Data Transformation
  • Data Quality
  • Contrôles de cohérence
  • Intégration de données réglementaires
  • Documentation technique
  • Traçabilité des données
  • Industrialisation des traitements, Conception de templates et maquettes Contrôle qualité Hadoop SQL Gestion des données Git Création d’une base documentaire Hive Big data Python

Requirements

BCBS 239

  • EBA Stress Testing
  • FINREP
  • COREP
  • IFRS9
  • CRR3

Solutions / Outils :

  • Dataiku DSS v14
  • Python
  • PySpark
  • Spark
  • SQL
  • Hive
  • Hadoop
  • HDFS
  • Git

Benefits & conditions

Taux journalier :TJM HT max 518 € (hors éventuels frais de mission, à discuter avec le client).css-11k7fwb{display:inline-block;white-space:nowrap;vertical-align:middle;-webkit-padding-start:var(–chakra-space-1-5);padding-inline-start:var(–chakra-space-1-5);-webkit-padding-end:var(–chakra-space-1-5);padding-inline-end:var(–chakra-space-1-5);text-transform:none;font-size:var(–chakra-fontSizes-xs);border-radius:var(–chakra-radii-md);font-weight:var(–chakra-fontWeights-semibold);background:var(–chakra-colors-success-200);color:var(–chakra-colors-success-700);box-shadow:var(–badge-shadow);padding:4px 6px;–badge-bg:var(–chakra-colors-success-100);–badge-color:colors.success.800;}.chakra-ui-dark .css-11k7fwb:not([data-theme]),[data-theme=dark] .css-11k7fwb:not([data-theme]),.css-11k7fwb[data-theme=dark]{–badge-bg:rgba(226, 243, 232, 0.16);–badge-color:var(–chakra-colors-success-200);}Cette offre est à 0% de commission .css-74lrwu{width:1em;height:1em;line-height:1em;-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;color:currentColor;font-size:16px;display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-transition:.1s ease-in-out color;transition:.1s ease-in-out color;}.css-74lrwu *{-webkit-transition:.1s ease-in-out fill;transition:.1s ease-in-out fill;fill:var(–chakra-colors-rythm-600);}

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.hellowork.com
Prepare application

Good distractions

Talks and stories from around this role — technically off-topic, practically not.

6:21 min

Investigating push inefficiencies with upstream Git experts

Jonathan Creamer · Coffee With Developers

4:32 min

Harnessing Spark with Python using PySpark and Py4J

Ayon Roy · LIVE

3:09 min

Balancing data science skillings alongside systems engineering rigor

Nico Schmidt · LIVE

3:37 min

Scaling machine learning pipelines from prototypes to petabytes

Julian Joseph · LIVE

56 sec

Favorite git commands and the importance of patch commits

Eileen Uchitelle Eileen Uchitelle +1 · Coffee With Developers

6:08 min

Applying software engineering environments and testing to data pipelines

Matthias Niehoff Matthias Niehoff · World Congress 2024

Videos

See all

Related articles

See all