Lead Data Platform Engineer - Apache Airflow - Aws Mwaa H/F

Avec GESER-BEST, vous avez l’assurance d’une expertise fiable, d’une équipe réactive et d’un partenariat fondé sur la confiance.<

ESER BEST recherche un Lead Data Platform Engineer - Apache Airflow / AWS MWAA H/F pour intervenir sur une plateforme d’orchestration Data à grande échelle dans un environnement international.

Dans le cadre d’un plan de remédiation et d’évolution de la plateforme Airflow, vous interviendrez notamment sur :

• Le pilotage des actions de remédiation technique et la correction de la dette existante
• La définition et la mise en place des standards Apache Airflow
• L’optimisation de la performance, de la stabilité et de la fiabilité de la plateforme
• Le tuning et le capacity planning AWS MWAA
• La supervision des code reviews sur les composants plateforme
• La conception et l’évolution de DAG Factories dynamiques
• La mise en place des bonnes pratiques d’observabilité, monitoring et alerting
• L’accompagnement et la montée en compétences des équipes Dev et Ops
• À terme, le pilotage de la refonte de la DAG Factory et de la migration vers les Datasets Airflow

Vous disposez d’au moins 5 ans d’expérience sur Apache AirflowVous maîtrisez les mécanismes internes d’Airflow : scheduler, executor, pools, triggers, deferrable operatorsVous avez une expérience significative sur AWS MWAA ou Google Cloud ComposerVous avez déjà travaillé sur une plateforme Airflow à forte volumétrie, idéalement 200+ DAGs en productionVous maîtrisez Python et le développement de plugins, operators et sensorsVous connaissez l’environnement AWS : SQS, SNS, Secrets Manager, CloudWatch, IAMLocalisation : Full remote avec présence ponctuelle sur site à Sochaux ou Poissy, * Vous disposez d’au moins 5 ans d’expérience sur Apache Airflow

• Vous maîtrisez les mécanismes internes d’Airflow : scheduler, executor, pools, triggers, deferrable operators
• Vous avez une expérience significative sur AWS MWAA ou Google Cloud Composer
• Vous avez déjà travaillé sur une plateforme Airflow à forte volumétrie, idéalement 200+ DAGs en production
• Vous maîtrisez Python et le développement de plugins, operators et sensors
• Vous connaissez l’environnement AWS : SQS, SNS, Secrets Manager, CloudWatch, IAM, AWS Python Monitoring

Localisation : Full remote avec présence ponctuelle sur site à Sochaux ou Poissy

Chez GESER-BEST, nous aidons les entreprises à renforcer leurs équipes en mettant à leur disposition des experts qualifiés pour des projets ponctuels ou de longue durée.

Faire appel à notre assistance technique, c’est bénéficier de savoir-faire complémentaires pour mener à bien un projet, tout en gagnant en flexibilité et en réactivité. Nos spécialistes interviennent dans de nombreux secteurs comme l’aéronautique, le ferroviaire, la santé, l’énergie ou l’industrie.

Notre approche se base sur l’humain : nous accompagnons nos collaborateurs à chaque étape, en leur offrant des projets enrichissants et un suivi personnalisé.