Data Engineer

Dans le cadre du chantier Knowledge Management (KM), une base de connaissance doit être constituée à partir de documents non structurés (PDF, Word, HTML). Cette base servira à formaliser la connaissance sous une forme agnostique des usages, en vue d'une réutilisation large et durable. Un pipeline initiale de structuration des connaissances a été établi, mais doit maintenant être industrialisé pour une exécution fiable, scalable et maintenable.

Objectif de la mission

Development des pipelines d'ingestion, transformation et alimentation de la base de connaissance, tout en assurant le versioning et la traçabilité des traitements., Modélisation l'architecture technique des pipelines (ingestion à stockage)

Développement des flux ETL modulaires (OCR, transformation, enrichissement)

Standardisation du format pivot et les conventions de métadonnées

Suivi de l'historisation, le versioning et la traçabilité des documents traités

Implémentation d'un orchestrateur (Airflow, Dagster, Prefect) si nécessaire

Suivi de la robustesse du traitement sur des volumes variés

Collaboration avec les équipes KM et Data Science pour alignement

Documentation de l'ensemble des flux de traitement   You must create an Indeed account before continuing to the company website to apply

Do you have experience in HTML?