Data Engineer - Migration SAS vers Python - (X/F/H)
Role details
Job location
Tech stack
Job description
Votre rôle est précis et critique : vous construisez et opérez les pipelines qui prouvent, sur données de production réelles, que les résultats Python sont strictement équivalents aux résultats SAS.
Au-delà de ce premier projet, vous avez vocation à évoluer sur d'autres missions data au sein du groupe, en fonction des opportunités et de votre développement., En tant que Data Engineer, vous êtes en charge de :
- Construire et opérer les pipelines de double-run SAS/Python sur données de production réelles
- Implémenter les comparaisons DuckDB : EXCEPT, FULL OUTER JOIN, optimisations sur Parquet
- Gérer les branches LakeFS dédiées aux tests et la configuration des accès
- Développer les DAGs Airflow pour les pipelines de tests : SLA, retry, monitoring
- Mettre en place les tests d'équivalence Python : pytest, assertions à tolérance configurable
- Construire les dashboards de suivi des KPIs de non-régression sur Apache Superset
Requirements
Formation et expérience
- Bac+5 en informatique, data, mathématiques appliquées ou domaine connexe (école d'ingénieur ou Master universitaire) ou expérience équivalente
- Au moins 3 ans d'expérience en ingénierie data avec une pratique concrète des tests de données en production
- Expérience de construction de pipelines de tests automatisés sur des environnements data complexes
- Expérience avérée de traçabilité des anomalies dans des missions précédentes
Compétences techniques
- DuckDB : SQL avancé, patterns EXCEPT / FULL OUTER JOIN, optimisation push-down sur Parquet
- Apache Parquet et PyArrow : lecture, écriture, évolution de schéma, gestion des partitions
- LakeFS : gestion de branches et de données de référence
- Apache Airflow : construction de DAGs de tests multi-étapes, monitoring SLA, politiques de retry
- Tests data Python : pytest ou équivalent, frameworks de comparaison, assertions à tolérance
Posture et mode de travail
- Expérience avérée de traçabilité des anomalies dans des missions précédentes : documentation, suivi, résolution
- Expérience de présentation de résultats techniques à des interlocuteur·rices projet dans des missions précédentes
- Français et anglais courant
Ce qui pourra faire la différence
- Connaissance d'Apache Superset pour la construction de dashboards depuis sources DuckDB ou Trino
- Expérience d'intégration JIRA pour le suivi automatisé des anomalies
- Connaissance d'AWS CloudWatch pour le monitoring des pipelines
Benefits & conditions
Poste hybride basé à Paris, rythme de présence sur site à définir avec le client. Les modalités indiquées sont valables à la date de publication et peuvent évoluer selon les besoins du projet et du client.
Chez Cognizant, nous croyons que la diversité des parcours est une force. Votre profil ne coche pas toutes les cases ? Trois prérequis sont indispensables : DuckDB en production, Airflow, et une expérience concrète de tests d'équivalence de données.
Cognizant is an equal opportunity employer. All qualified applicants will receive consideration for employment without regard to sex, gender identity, sexual orientation, race, color, religion, national origin, disability, protected Veteran status, age, or any other characteristic protected by law.