Data Engineer AWS

LE SQUARE
Canton of Bordeaux-2, France
8 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French, English
Experience level
Senior

Job location

Canton of Bordeaux-2, France

Tech stack

Amazon Web Services (AWS)
Amazon Web Services (AWS)
Unit Testing
Information Engineering
ETL
Python
Meta-Data Management
SQL Databases

Job description

Compréhension des données scientifiques dans le domaine pharma CMC

Clarification des besoins avec les parties prenantes, estimation de l?effort pour la planification PI

Bonne connaissance des pratiques Lean & Agile

Ingénierie de données AWS : S3, Glue (Jobs/Workflows), Athena

Développement ETL/ELT : Python, Glue ETL, évolution de schémas, partitionnement

Modélisation de données : modèles de domaine harmonisés, schémas en étoile/flocon, gestion des métadonnées

Optimisation SQL : amélioration des performances sous Athena, conception de requêtes optimisées en coût, stratégies de partitionnement/pruning

Tests et qualité : tests unitaires/intégration pour les pipelines, frameworks de qualité des données

Documentation et transfert de connaissances : runbooks, diagrammes d?architecture, planification et exécution du KT

Expérience en migration : stratégie de fonctionnement parallèle, planification du cutover, backfill, rapprochement des données

Requirements

Expérience requise : 5 à 10 ans

Anglais obligatoire

About the company

Data Engineer AWS (S3, Glue, Athena, Python)

Apply for this position