Data Engineer - Migration SAS vers Python - (X/F/H)

Cognizant
Canton of Colombes-2, France
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
English, French
Experience level
Intermediate

Job location

Canton of Colombes-2, France

Tech stack

Airflow
Apache HTTP Server
JIRA
Automation of Tests
Python
Operational Databases
Reference Data
SAS (Software)
SQL Databases
Parquet
Pytest
Cloudwatch

Job description

Votre rôle est précis et critique : vous construisez et opérez les pipelines qui prouvent, sur données de production réelles, que les résultats Python sont strictement équivalents aux résultats SAS.

Au-delà de ce premier projet, vous avez vocation à évoluer sur d'autres missions data au sein du groupe, en fonction des opportunités et de votre développement., En tant que Data Engineer, vous êtes en charge de :

  • Construire et opérer les pipelines de double-run SAS/Python sur données de production réelles
  • Implémenter les comparaisons DuckDB : EXCEPT, FULL OUTER JOIN, optimisations sur Parquet
  • Gérer les branches LakeFS dédiées aux tests et la configuration des accès
  • Développer les DAGs Airflow pour les pipelines de tests : SLA, retry, monitoring
  • Mettre en place les tests d'équivalence Python : pytest, assertions à tolérance configurable
  • Construire les dashboards de suivi des KPIs de non-régression sur Apache Superset

Requirements

Formation et expérience

  • Bac+5 en informatique, data, mathématiques appliquées ou domaine connexe (école d'ingénieur ou Master universitaire) ou expérience équivalente
  • Au moins 3 ans d'expérience en ingénierie data avec une pratique concrète des tests de données en production
  • Expérience de construction de pipelines de tests automatisés sur des environnements data complexes
  • Expérience avérée de traçabilité des anomalies dans des missions précédentes

Compétences techniques

  • DuckDB : SQL avancé, patterns EXCEPT / FULL OUTER JOIN, optimisation push-down sur Parquet
  • Apache Parquet et PyArrow : lecture, écriture, évolution de schéma, gestion des partitions
  • LakeFS : gestion de branches et de données de référence
  • Apache Airflow : construction de DAGs de tests multi-étapes, monitoring SLA, politiques de retry
  • Tests data Python : pytest ou équivalent, frameworks de comparaison, assertions à tolérance

Posture et mode de travail

  • Expérience avérée de traçabilité des anomalies dans des missions précédentes : documentation, suivi, résolution
  • Expérience de présentation de résultats techniques à des interlocuteur·rices projet dans des missions précédentes
  • Français et anglais courant

Ce qui pourra faire la différence

  • Connaissance d'Apache Superset pour la construction de dashboards depuis sources DuckDB ou Trino
  • Expérience d'intégration JIRA pour le suivi automatisé des anomalies
  • Connaissance d'AWS CloudWatch pour le monitoring des pipelines

Benefits & conditions

Poste hybride basé à Paris, rythme de présence sur site à définir avec le client. Les modalités indiquées sont valables à la date de publication et peuvent évoluer selon les besoins du projet et du client.

Chez Cognizant, nous croyons que la diversité des parcours est une force. Votre profil ne coche pas toutes les cases ? Trois prérequis sont indispensables : DuckDB en production, Airflow, et une expérience concrète de tests d'équivalence de données.

Cognizant is an equal opportunity employer. All qualified applicants will receive consideration for employment without regard to sex, gender identity, sexual orientation, race, color, religion, national origin, disability, protected Veteran status, age, or any other characteristic protected by law.

About the company

Vous rejoignez Cognizant en CDI au sein de la practice Data, sur un projet de migration d'environ 7 500 programmes SAS vers Python pour un grand compte du secteur Banque Finance.

Apply for this position