Ingénieur Applications Big Data (Spark, Trino, Jupyter) F/H

LeHibou
Canton de Montigny-le-Bretonneux, France
9 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French
Experience level
Senior

Job location

Canton de Montigny-le-Bretonneux, France

Tech stack

Bash
Big Data
Software Debugging
DevOps
Python
Octopus Deploy
Performance Tuning
Query Optimization
Ansible
Prometheus
SQL Databases
Data Streaming
Scripting (Bash/Python/Go/Ruby)
Grafana
Spark
Jupyter
GIT
Gitlab-ci
Kubernetes
Terraform
Docker

Job description

Recherche d'un Ingénieur Big Data expérimenté pour administrer et optimiser des solutions Big Data (Spark, Trino, MinIO) sur un cluster Kubernetes au sein d'un grand groupe bancaire. Le rôle requiert une forte expertise en tuning applicatif, support et approche DevOps/GitOps., ? Déploiement et administration avancée des applications Spark, Trino ou Jupyter sur Kubernetes ? Tuning et optimisation des performances : ajustement des configurations, analyse des logs, debugging avancé, optimisation des requêtes SQL sur Trino, tuning des jobs Spark ? Gestion du RUN et support applicatif : diagnostic et résolution des incidents, amélioration continue des performances, accompagnement des utilisateurs sur l'optimisation des requêtes ? Mise en place de l'approche GitOps : automatisation complète du déploiement et de la gestion des applications avec Terraform, Ansible, Git, ArgoCD ou FluxCD ? Sécurisation et monitoring avancé : implémentation de métriques et alertes sur Prometheus, Grafana, Loki, gestion des accès et des logs applicatifs

Requirements

? Expertise sur Spark, Trino ou MinIO : implémentation avancée, tuning, troubleshooting ? Déploiement Kubernetes : Helm, Kustomize, opérateurs Kubernetes ? Outils DevOps et GitOps : Terraform, Ansible, ArgoCD, FluxCD, GitLab CI/CD, Docker ? Optimisation des performances : gestion des workloads Spark, tuning SQL sur Trino, optimisation des flux de données ? Support et RUN : principes ITIL, monitoring avancé avec Prometheus et Grafana, analyse fine des logs ? Scripting et automatisation : Bash, Python pour l'industrialisation des workflows

Soft skills attendues : ? Esprit analytique et capacité à diagnostiquer des problèmes complexes ? Pédagogie et excellent relationnel pour accompagner les utilisateurs sur l'optimisation des performances ? Rigueur et gestion des priorités dans un environnement bancaire critique ? Proactivité et innovation pour améliorer en continu l'efficacité des systèmes

Compétences / Qualités indispensables: Spark / Trino,Kubernetes,DevOps / GitOps,Optimisation des performances,Support RUN,Python / Bash

Compétences / Qualités qui seraient un +: IA / Data / Devops ..

About the company

Notre client dans le secteur Banque et finance recherche un Ingénieur Applications Big Data (Spark, Trino, Jupyter) H/F Descriptif de la mission

Apply for this position