Expert Airflow (H/F)

Description? Contexte de missionDans le cadre de la stabilisation d?une plateforme Amazon Managed Workflows for Apache Airflow (MWAA) rencontrant des dysfonctionnements récurrents, la mission consiste à intervenir en Task Force afin d?identifier les causes racines, rétablir rapidement la stabilité de la plateforme et sécuriser durablement son fonctionnement.

L?intervention nécessite un véritable expert Airflow / MWAA, capable d?aller au-delà du développement de DAGs pour intervenir sur l?architecture, le paramétrage, les performances et les mécanismes internes d?Airflow.

? Missions principales et rôleRéaliser un diagnostic flash des incidents, dysfonctionnements et goulots d?étranglement.

Identifier les causes racines des problèmes rencontrés.

Mettre en ?uvre des correctifs immédiats afin de restaurer la stabilité de la plateforme.

Reprendre et analyser les conclusions des expertises précédentes.

Auditer l?architecture, la configuration et le paramétrage de l?environnement MWAA.

Analyser les problématiques liées aux Schedulers, Executors, Celery et à la base de métadonnées Airflow.

Investiguer les problématiques de parallélisme, mémoire, ressources et dimensionnement.

Analyser les logs et métriques afin d?identifier les problèmes de performance.

Investiguer notamment les fuites mémoire, locks BDD, problèmes de capacité et d?auto-scaling MWAA.

Construire une feuille de route corrective priorisée.

Piloter la mise en ?uvre des actions de remédiation.

Mesurer l?efficacité des corrections via des KPIs de performance et de stabilité.

Accompagner les équipes internes dans l?application des bonnes pratiques Airflow / MWAA.

Contribuer à la pérennisation de la plateforme et à l?amélioration de son architecture.

? ObjectifsCourt terme : rétablir rapidement la stabilité et la disponibilité de la plateforme MWAA.

Moyen terme : identifier précisément les causes structurelles des dysfonctionnements.

Long terme : mettre en place une architecture et une configuration robustes, performantes et maintenables.

Réduire durablement le taux d?incidents et les problèmes de performance.

Transférer l?expertise aux équipes en place., Celery / CeleryExecutor

Metadata Database

Gestion du parallélisme

Gestion mémoire et ressources

Tuning et optimisation des performances

AWS MWAA : expertise indispensable.

Maîtrise de l?écosystème AWS associé : IAM

CloudWatch

S3

VPC

Security Groups

Expertise en troubleshooting et performance.

Capacité à analyser des logs complexes et des métriques d?exploitation.

Expérience des problématiques de : Memory leaks

Database locks

Saturation de ressources

Auto-scaling

Dimensionnement MWAA

?? Compétences requisesApache Airflow : expertise indispensable sur les mécanismes internes et le paramétrage.

Maîtrise approfondie des : Schedulers

Executors, Expérience en audit technique et architecture Data Platform.

Expérience de missions de remédiation, crise ou Task Force.

Cherry Pick est à la recherche d’un Expert Airflow (H/F) pour l’un de ses clients qui opère dans le secteur de l’automobile.