Dev/Data engineer DataLake (IP) H/F

NEXTON
Paris, France
8 days ago
Apply on www.welcometothejungle.com
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Experienced
Experience required
3 years minimum
Working hours
Regular working hours

Tech stack

Big Data Continuous Integration Apache Hadoop Hadoop Distributed File System Apache Hive Python (Programming Language) SQL Databases Parquet Informatica Powercenter Delivery Pipeline Apache Spark Technical Debt
+6 more
Git Data Lakes Pyspark Bitbucket Jenkins Control M

Job description

Tu intègres l’équipe en tant que Dev/Data engineer pour l’un de nos clients grands comptes du secteur bancaire. Tu participeras directement aux développements et à la gestion de la plateforme DataLake (GTLake) pour accompagner les projets stratégiques CASH et Trade, dans un contexte fort d’industrialisation et de modernisation applicative., * Concevoir, développer et industrialiser de nouveaux pipelines de données DataLake sous Spark/PySpark

  • Piloter la phase de mutation et de migration des workflows Informatica DEI vers une architecture moderne en code Python/PySpark
  • Assurer la gestion de la production au quotidien, le suivi des batchs (Control-M) et le traitement de la dette technique
  • Revoir l’architecture actuelle du GTLake et proposer des évolutions structurantes pour la plateforme
  • Mettre en Å“uvre le stockage et l’interrogation de données à forte échelle (HDFS, Parquet, Iceberg, Hive/HQL, Starburst)
  • Traduire les exigences des projets CASH et Trade en architectures data fiables, robustes et sécurisées
  • Travailler en étroite collaboration avec les Product Owners, les chefs de projet, les experts data et les équipes SI
  • Automatiser les déploiements et intégrations via les pipelines CI/CD (Jenkins, Bitbucket, XLDeploy/XLRelease) et exploiter les outils d’IA pour accélérer les développements
  • Contribuer à l’amélioration continue des processus et à la documentation technique de la Squad

Requirements

Tu justifies de 3 à 6 ans d’expérience sur :

  • Python 3, Spark / PySpark, SQL / HQL
  • Les architectures Big Data distribuées On-Premise (Hadoop, HDFS, Parquet, Iceberg, Hive, Starburst)
  • Le développement, l’industrialisation et la migration de pipelines de données complexes (ex: migration Informatica vers Python/Spark)

Et tu as :

  • De solides compétences en automatisation, orchestration de production (Control-M) et CI/CD (Jenkins, Git, XLDeploy/XLRelease)
  • Une capacité à proposer des architectures simples, fiables et sécurisées à des problématiques Data complexes
  • Une vraie aisance dans l’utilisation au quotidien des outils d’IA pour optimiser et accélérer tes développements
  • Un excellent relationnel, de la rigueur et une bonne écoute des besoins métier (projets CASH & Trade), Nous te proposons des avantages et des opportunités pour enrichir ton expérience professionnelle et personnelle tout au long de l’année :

  • Des communautés dynamiques pour t’accompagner dans ton parcours.

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.welcometothejungle.com
Prepare application

Good distractions

Loading talks and stories from around this role…