Lead Data Engineer H/F

Okatim
France
3 days ago
Apply on www.hellowork.com
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Experience required
5 years minimum
Working hours
Regular working hours

Tech stack

Application Programming Interfaces (APIs) Artificial Intelligence Continuous Integration Data Governance Extract Transform Load (ETL) Data Security Python (Programming Language) Metadata Meta-Data Management SQL Databases Retrieval-Augmented Generation Data Lineage

Job description

Dans le cadre d’un projet de préparation et d’industrialisation des données destinées à des applications d’intelligence artificielle, nous recherchons un Lead Data Engineer (H/F).

L’objectif est de rendre les données accessibles, fiables, structurées, sécurisées et exploitables pour des applications IA, notamment des solutions utilisant des architectures RAG., Réaliser un état des lieux des sources de données : systèmes, propriétaires, formats, volumes, classifications et conditions d’accès.

  • Concevoir, développer et industrialiser des pipelines d’ingestion et de transformation ETL/ELT.
  • Mettre en place l’orchestration, la supervision, la gestion des erreurs et les mécanismes de reprise des traitements.
  • Définir et appliquer les règles de qualité des données : validation, déduplication et contrôles.
  • Assurer la gestion des métadonnées, la documentation des datasets et la traçabilité des données (Data Lineage).
  • Définir et documenter les Data Contracts.
  • Préparer des jeux de données et corpus documentaires pour les applications IA/RAG.
  • Mettre en oeuvre les mécanismes de classification et de contrôle d’accès aux données sensibles.
  • Industrialiser les pipelines à travers les pratiques CI/CD, la conteneurisation et le monitoring.
  • Produire la documentation technique et les éléments nécessaires à la maintenance des solutions.

Requirements

Vous justifiez de 5 à 12 ans d’expérience en Data Engineering, avec une expérience significative dans la conception et l’industrialisation de pipelines de données.Compétences techniques attendues :Très bonne maîtrise de Python et SQL.Solide expertise en développement de pipelines ETL/ELT.Expérience des API et de l’intégration de sources de données.Maîtrise des problématiques de Data Quality et de déduplication.Connaissances solides en Data Governance, métadonnées et Data Lineage.Expérience des Data Contracts et de la documentation des datasets.Compétences en orchestration, monitoring et gestion des erreurs.Expérience des environnements conteneurisés et des pratiques CI/CD.Bonne compréhension de la préparation de données pour les architectures RAG.Solides compétences en sécurité des données et gestion des droits d’accès.Une expérience des environnements de données industrielles, notamment ERP, PLM ou MES, est pertinente pour cette mission.Nous recherchons un profil technique et opérationnel, capable de concevoir et de maintenir des pipelines industrialisés.Les profils exclusivement orientés BI ou reporting, sans expérience significative en développement de pipelines, ne correspondent pas aux attentes du projet., Vous justifiez de 5 à 12 ans d’expérience en Data Engineering, avec une expérience significative dans la conception et l’industrialisation de pipelines de données.

Compétences techniques attendues :

  • Très bonne maîtrise de Python et SQL.
  • Solide expertise en développement de pipelines ETL/ELT.
  • Expérience des API et de l’intégration de sources de données.
  • Maîtrise des problématiques de Data Quality et de déduplication.
  • Connaissances solides en Data Governance, métadonnées et Data Lineage.
  • Expérience des Data Contracts et de la documentation des datasets.
  • Compétences en orchestration, monitoring et gestion des erreurs.
  • Expérience des environnements conteneurisés et des pratiques CI/CD.
  • Bonne compréhension de la préparation de données pour les architectures RAG.
  • Solides compétences en sécurité des données et gestion des droits d’accès.
  • Une expérience des environnements de données industrielles, notamment ERP, PLM ou MES, est pertinente pour cette mission.
  • Nous recherchons un profil technique et opérationnel, capable de concevoir et de maintenir des pipelines industrialisés.
  • Les profils exclusivement orientés BI ou reporting, sans expérience significative en développement de pipelines, ne correspondent pas aux attentes du projet.

EUR

ETL API Contrôle des accès SQL Création d’une base documentaire Python Gouvernance des données Monitoring

About the company

Okatim est une société de conseil spécialisée dans les métiers du développement logiciel, de la data, de l’infrastructure et de la gestion de projets agiles.

Nous accompagnons nos clients dans la transformation digitale de leurs activités grâce à des expertises pointues et une approche sur mesure.

Nos valeurs :

  • Transparence dans nos relations et nos méthodes
  • Performance au service de l’innovation
  • Proximité avec nos clients et nos collaborateurs

Chez Okatim, nos talents et nos clients sont notre priorité Nous croyons que l’excellence naît de la passion et de l’engagement.

Nos domaines d’expertise :

Développement & Architecture logicielle UX/UI Design Cloud Computing Services DevOps & automatisation Data Science, Data Engineering & Intelligence Artificielle IT Consulting & stratégie technologique Gestion de projet (Agile, cycle en V, hybride), Okatim est une société de conseil spécialisée dans les métiers du développement logiciel, de la data, de l’infrastructure et de la gestion de projets agiles.Nous accompagnons nos clients dans la transformation digitale de leurs activités grâce à des expertises pointues et une approche sur mesure.Nos valeurs :- Transparence dans nos relations et nos méthodes- Performance au service de l’innovation- Proximité avec nos clients et nos collaborateurs Chez Okatim, nos talents et nos clients sont notre priorité Nous croyons que l’excellence naît de la passion et de l’engagement. Nos domaines d’expertise : Développement & Architecture logicielle UX/UI Design ️ Cloud Computing Services DevOps & automatisation Data Science, Data Engineering & Intelligence Artificielle IT Consulting & stratégie technologique Gestion de projet (Agile, cycle en V, hybride) ️ Infrastructure IT, Cloud, systèmes

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.hellowork.com
Prepare application

Good distractions

Loading talks and stories from around this role…