Database Engineer - ElasticSearch / OpenSearch & Apache Iceberg

GECI International
Canton de Villiers-sur-Marne, France
yesterday

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French

Job location

Canton de Villiers-sur-Marne, France

Tech stack

Amazon Web Services (AWS)
Apache HTTP Server
Databases
Continuous Integration
Linux
Elasticsearch
Ansible
Prometheus
Ceph
Scripting (Bash/Python/Go/Ruby)
Grafana
Spark
Data Lake
Kubernetes
Apache Flink
Search Engines
Data Management
Kibana
Docker

Job description

Dans le cadre de la modernisation de sa plateforme de recherche et de gestion de données, le client engage une refonte de son architecture autour de principes cloud-native : clusters de recherche conteneurisés, stockage objet et formats ouverts de data lake. Vous intégrerez une équipe technique en charge de travaux de preuve de concept et d'intégration amont, avec pour objectif de définir les fondations techniques de la future plateforme et de produire des livrables directement exploitables en phase de construction. Missions principales Dans un cadre d'ingénierie et d'expérimentation technique, les missions pourront inclure : La conception, le déploiement et l'exploitation de clusters ElasticSearch / OpenSearch en environnement de preuve de concept L'intégration de ces plateformes sur Kubernetes, via opérateurs ou déploiements Helm La définition des topologies de clusters, des stratégies de réplication, de partitionnement et de cycle de vie des index La réalisation de tests de charge, de benchmarks de performance et de recommandations de tuning La définition de procédures de sauvegarde, restauration et reprise d'activité via stockage objet compatible S3 La conduite d'un proof of concept autour d'Apache Iceberg comme format de table pour data lake L'évaluation des solutions de catalogue, des moteurs de requête et des stratégies de partitionnement et d'évolution de schéma L'automatisation du provisioning des composants d'infrastructure et de la chaîne de déploiement La mise en place de solutions d'observabilité (métriques, logs, tableaux de bord) La rédaction de documentation technique, comptes-rendus d'expérimentation et transfert de connaissances auprès des équipes projet Environnement technique Les projets s'appuient principalement sur les technologies suivantes

Requirements

Moteurs de recherche : ElasticSearch, OpenSearch Data lake : Apache Iceberg Orchestration & conteneurs : Docker, Kubernetes, Helm, opérateurs Automatisation : Ansible Stockage objet : S3 et solutions compatibles (MinIO, Ceph, etc.) Observabilité : Prometheus, Grafana, Kibana / OpenSearch Dashboards Moteurs de requête (selon périmètre) : Trino, Spark, Flink Systèmes : Linux, scripting shell, fondamentaux réseau, Expérience confirmée en exploitation de clusters ElasticSearch ou OpenSearch en environnement de production ou assimilé Bonne connaissance d'Apache Iceberg, de son modèle de catalogues et de son intégration avec des moteurs analytiques Maîtrise d'Ansible pour l'automatisation d'infrastructure et des déploiements Expérience de déploiement et d'exploitation de workloads stateful sur Kubernetes Bonne compréhension des architectures cloud-native, du stockage objet et des problématiques de performance Qualités attendues : Curiosité technique et autonomie Capacité d'analyse et esprit pragmatique Aisance rédactionnelle et capacité de formalisation Capacité à travailler en équipe dans des environnements multi-interlocuteurs Atouts appréciés : Connaissance des environnements data lake (Delta Lake, Hudi) Expérience avec des moteurs analytiques modernes (Trino, Spark, Flink, Dremio) Expérience CI/CD appliquée à l'infrastructure Connaissance du secteur audiovisuel, média ou environnements réglementés

Benefits & conditions

Localisation : Bry-sur-Marne (Île-de-France), 2 jours/semaine sur site Langues : français courant, anglais technique

About the company

Alliance Services Plus (AS+) recherche un(e) Ingénieur(e) Base de Données - Search & Data Platform pour le compte de l'un de ses clients du secteur audiovisuel., GECI International est un spécialiste de la Technologie et du Digital. Depuis son origine en 1980, le Groupe innove pour concevoir et développer des solutions, produits et services intelligents pour les secteurs de la Recherche, de l'Industrie et des Services.

Apply for this position