Data Engineer AWS H/F

LES FILLES ET LES GARCONS DE LA TECH

Canton of Toulouse-5, France

8 days ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Regular working hours

Languages

French

Experience level

Senior

Job location

Canton of Toulouse-5, France

Tech stack

Amazon Web Services (AWS)

Unit Testing

Meta-Data Management

SQL Databases

Information Technology

Job description

Comprendre des données scientifiques dans le domaine pharmaceutique CMC.

Clarifier des exigences avec les parties prenantes, estimation des efforts pour la planification PI.

Ingénierie des données AWS : S3, Glue (Jobs/Workflows), Athena.

Développement ETL/ELT : Python, Glue ETL, évolution des schémas, partitionnement.

Modéliser des données : modèles de domaine harmonisés, schémas en étoile/en flocon de neige, gestion des métadonnées

Optimisation SQL : réglage des performances Athena, conception de requêtes tenant compte des coûts, stratégies de partitionnement/élagage

Tests et qualité : tests unitaires/d'intégration pour les pipelines, cadres DQ

Documentation et KT : runbooks, diagrammes d'architecture, planification et exécution KT

Requirements

Vous bénéficiez d'une formation Bac+4/5 en Informatique, et possédez une expérience de 5 ans minimum sur un poste similaire. Vous avez une expérience en matière de migration : stratégie de fonctionnement en parallèle, planification de la transition, remplissage, rapprochement des données

Bonne connaissance des pratiques Lean & Agile.

Anglais obligatoire.