Data Engineer Python / Databricks (H/F)

Hexateam
Paris, France
yesterday

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French

Job location

Paris, France

Tech stack

Airflow
Amazon Web Services (AWS)
Amazon Web Services (AWS)
Confluence
JIRA
Big Data
Cloud Computing
Identity and Access Management
Python
Scrum
Data Streaming
GIT
Data Lake
PySpark
Gitlab-ci
Functional Programming
Cloudwatch
Databricks

Job description

Développer et optimiser les traitements d?ingestion et de transformation de données avec Python, Spark et Databricks.

Mettre en place les flux de données entre différentes sources et le Data Lake.

Orchestrer et superviser les traitements avec Airflow.

Garantir la qualité, la disponibilité et les performances des pipelines.

Assurer le support, la correction des anomalies et l?amélioration continue de la plateforme.

Participer aux choix techniques, aux ateliers projet et à la documentation.

Requirements

Profil recherchéVous justifiez d?une expérience en Data Engineering et appréciez les environnements Cloud et Big Data. Vous êtes autonome, rigoureux(se) et aimez travailler en équipe.

Compétences techniquesObligatoires

Python

Spark

PySpark

Databricks

SQL

AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM)

Git / GitLab CI-CD

Jira & Confluence

Méthodologie Agile Scrum

About the company

Votre missionDans le cadre du développement de notre plateforme Data, nous recherchons un Data Engineer pour concevoir, développer et maintenir des pipelines de données performants dans un environnement Cloud AWS.

Apply for this position