Database Engineer - ElasticSearch / OpenSearch & Apache Iceberg
Role details
Job location
Tech stack
Job description
Dans le cadre de la modernisation de sa plateforme de recherche et de gestion de données, le client engage une refonte de son architecture autour de principes cloud-native : clusters de recherche conteneurisés, stockage objet et formats ouverts de data lake. Vous intégrerez une équipe technique en charge de travaux de preuve de concept et d'intégration amont, avec pour objectif de définir les fondations techniques de la future plateforme et de produire des livrables directement exploitables en phase de construction. Missions principales Dans un cadre d'ingénierie et d'expérimentation technique, les missions pourront inclure : La conception, le déploiement et l'exploitation de clusters ElasticSearch / OpenSearch en environnement de preuve de concept L'intégration de ces plateformes sur Kubernetes, via opérateurs ou déploiements Helm La définition des topologies de clusters, des stratégies de réplication, de partitionnement et de cycle de vie des index La réalisation de tests de charge, de benchmarks de performance et de recommandations de tuning La définition de procédures de sauvegarde, restauration et reprise d'activité via stockage objet compatible S3 La conduite d'un proof of concept autour d'Apache Iceberg comme format de table pour data lake L'évaluation des solutions de catalogue, des moteurs de requête et des stratégies de partitionnement et d'évolution de schéma L'automatisation du provisioning des composants d'infrastructure et de la chaîne de déploiement La mise en place de solutions d'observabilité (métriques, logs, tableaux de bord) La rédaction de documentation technique, comptes-rendus d'expérimentation et transfert de connaissances auprès des équipes projet Environnement technique Les projets s'appuient principalement sur les technologies suivantes
Requirements
Moteurs de recherche : ElasticSearch, OpenSearch Data lake : Apache Iceberg Orchestration & conteneurs : Docker, Kubernetes, Helm, opérateurs Automatisation : Ansible Stockage objet : S3 et solutions compatibles (MinIO, Ceph, etc.) Observabilité : Prometheus, Grafana, Kibana / OpenSearch Dashboards Moteurs de requête (selon périmètre) : Trino, Spark, Flink Systèmes : Linux, scripting shell, fondamentaux réseau, Expérience confirmée en exploitation de clusters ElasticSearch ou OpenSearch en environnement de production ou assimilé Bonne connaissance d'Apache Iceberg, de son modèle de catalogues et de son intégration avec des moteurs analytiques Maîtrise d'Ansible pour l'automatisation d'infrastructure et des déploiements Expérience de déploiement et d'exploitation de workloads stateful sur Kubernetes Bonne compréhension des architectures cloud-native, du stockage objet et des problématiques de performance Qualités attendues : Curiosité technique et autonomie Capacité d'analyse et esprit pragmatique Aisance rédactionnelle et capacité de formalisation Capacité à travailler en équipe dans des environnements multi-interlocuteurs Atouts appréciés : Connaissance des environnements data lake (Delta Lake, Hudi) Expérience avec des moteurs analytiques modernes (Trino, Spark, Flink, Dremio) Expérience CI/CD appliquée à l'infrastructure Connaissance du secteur audiovisuel, média ou environnements réglementés
Benefits & conditions
Localisation : Bry-sur-Marne (Île-de-France), 2 jours/semaine sur site Langues : français courant, anglais technique