Data Engineer Big Data - Aws - Secteur Bancaire H/F

SAPIENS GROUP
Canton de Torcy, France
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French
Experience level
Senior

Job location

Remote
Canton de Torcy, France

Tech stack

Airflow
Amazon Web Services (AWS)
Big Data
Continuous Integration
DevOps
Python
SQL Databases
SQLAlchemy
Data Streaming
Datadog
Spark
GIT
Data Lake
PySpark
Gitlab-ci
Kubernetes
Kafka
Dataiku
Terraform
Docker
Jenkins

Job description

Assurer le MCO de la plateforme Data sur AWS.

  • Concevoir et optimiser des pipelines de données batch et streaming.
  • Développer et administrer les flux Kafka (topics, producteurs, consommateurs).
  • Optimiser les traitements Spark / PySpark.
  • Garantir la qualité, la performance et la disponibilité des données.
  • Industrialiser les développements via les pratiques DevOps et CI/CD.
  • Participer à l'évolution des architectures Data (Data Lake, Event-Driven).

Environnement technique

Spark - PySpark - Kafka - Python - SQL - AWS - Datadog - Airflow - Dataiku - Docker - Kubernetes - Terraform - GitLab CI - Jenkins

Requirements

5 à 8 ans d'expérience en Data Engineering.

  • Solide maîtrise de Spark, PySpark, Kafka, Python, SQL et AWS.
  • Bonne connaissance des architectures Data Lake et Event-Driven.
  • Une expérience dans le secteur bancaire ou financier est fortement souhaitée.
  • Esprit d'analyse, autonomie et capacité à évoluer dans un environnement critique., Profil recherchéProfil recherché5 à 8 ans d'expérience en Data Engineering.Solide maîtrise de Spark, PySpark, Kafka, Python, SQL et AWS.Bonne connaissance des architectures Data Lake et Event-Driven.Une expérience dans le secteur bancaire ou financier est fortement souhaitée.Esprit d'analyse, autonomie et capacité à évoluer dans un environnement critique., * 5 à 8 ans d'expérience en Data Engineering.
  • Solide maîtrise de Spark, PySpark, Kafka, Python, SQL et AWS.
  • Bonne connaissance des architectures Data Lake et Event-Driven.
  • Une expérience dans le secteur bancaire ou financier est fortement souhaitée.
  • Esprit d'analyse, autonomie et capacité à évoluer dans un environnement critique.

EUR

SQL AWS Git Jenkins Kubernetes Big data Python Autonomie KAFKA Terraform Docker Esprit d'analyse

Benefits & conditions

Taux journalier :Salaire selon profil

About the company

Dans le cadre de l'évolution de sa plateforme Data, un acteur majeur du secteur bancaire recherche un Data Engineer afin d'assurer le maintien en conditions opérationnelles des plateformes Data sur AWS et de développer de nouveaux flux de données temps réel pour les besoins Analytics et décisionnels.

Apply for this position