Senior Data engineer AWS
Role details
Job location
Tech stack
Job description
Rattaché(e) au périmètre du Responsable Data Platform, vos missions consisteront à :
-
Développer des pipelines et ETL sur AWS vers Snowflake
-
Mettre en place des stockage optimisé grâce aux technologies lakehouse et en particulier DeltaLake
-
Créer des jobs manipulant la donnée avec SQL et Python (pandas et ou Polars)
-
Réaliser les traitements de volume de données massives avec PySpark
-
Développer et maintenir des infrastructures avec de l?IaC et en particulier avec Terraform
-
Orchestrer les différents traitements via Airflow
-
Déployer et maintenir des applications via la CI/CD
-
Participer aux réflexions et au design d?architecture
-
Bonne capacité de vulgarisation et de communication
-
Participer aux rituels agiles de l?équipe
-
Contribuer à la documentation technique et fonctionnelle
Requirements
5 à 10 ans en tant que Data Engineer, avec une expérience significative sur AWS.
Un positionnement en tant que techlead serait un plus.
De l?expérience dans un contexte BI serait un plus.
Un positionnement ou une expérience en tant que DevOps serait un plus.
Expertise souhaitée
Python, PySpark, AWS (EMR, S3, Lambda), Airflow, SQL, Snowflake, Terraform, Databricks, Gitlab.