Data Engineer
Role details
Job location
Tech stack
Job description
La conscience des responsabilités
- La coopération
- La curiosité, 1. Concevoir et déployer l'architecture technique Vous serez en charge de concevoir une architecture hybride combinant une base de données PostgreSQL et un stockage S3/Iceberg, de containeriser les services via Docker et d'automatiser les déploiements avec une pipeline CI/CD GitLab, tout en garantissant la compatibilité avec les évolutions prévues en 2027.
-
Développer le pipeline de données Vous automatiserez l'ingestion des données depuis les dossiers existants, les nettoierez et structurerez à l'aide d'outils comme Spark, Airflow et Python, puis intégrerez une boîte à outils algorithmique (PV Toolbox) pour réaliser les analyses métiers.
-
Créer les interfaces utilisateurs Vous développerez un portail web (FastAPI+Frontend) pour visualiser les données et résultats, implémenterez des API pour faciliter leur interrogation, et gérerez les droits d'accès via une authentification sécurisée (LDAP/OAuth2).
-
Assurer le monitoring et la maintenance Vous assurerez la surveillance des performances des services via Prometheus et Grafana, documenterez l'architecture et les procédures, et participerez activement aux mises à jour ainsi qu'à la veille technologique pour garantir l'évolution du système.
-
Collaborer avec les équipes R&D Vous collaborerez en mode agile avec les équipes techniques et les laboratoires du Service SMSP, en recueillant leurs besoins et en assurant la formation des utilisateurs pour une adoption optimale des outils.
Requirements
De formation Bac +2, vous êtes à la recherche d'une entreprise afin de réaliser en alternance votre diplôme type : Bac +5 en informatique, data engineering, ou équivalent (École d'ingénieur).Compétences scientifiques : Maîtrise de Linux, Python, SQL et Docker. Connaissance des bases de données et du développement web (API, frameworks légers)Connaissances : Expérience avec Airflow, Spark ou GitLab CI/CD sera un atout supplémentaireVous êtes reconnu(e) pour votre : autonomie, rigueur, esprit d'équipe, curiosité,Vous devrez allier rigueur technique et curiosité scientifique pour concevoir un service robuste, évolutif et adapté aux besoins R&D du LITEN., De formation Bac +2, vous êtes à la recherche d'une entreprise afin de réaliser en alternance votre diplôme type : Bac +5 en informatique, data engineering, ou équivalent (École d'ingénieur).
Compétences scientifiques : Maîtrise de Linux, Python, SQL et Docker. Connaissance des bases de données et du développement web (API, frameworks légers) Connaissances : Expérience avec Airflow, Spark ou GitLab CI/CD sera un atout supplémentaire
Vous êtes reconnu(e) pour votre : autonomie, rigueur, esprit d'équipe, curiosité,
Vous devrez allier rigueur technique et curiosité scientifique pour concevoir un service robuste, évolutif et adapté aux besoins R&D du LITEN.