Cloud Data Engineer AWS / Streaming temps réel (H/F)

Visian
Marseille, France
9 days ago
Apply on www.indeed.com
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Experience required
5 years minimum
Working hours
Regular working hours
Languages
English
Job source

Tech stack

Application Programming Interfaces (APIs) Airflow Amazon Web Services Amazon Elastic Compute Cloud Data Analysis Apache HTTP Server Cloud Computing Cloud Database Continuous Integration Extract Transform Load (ETL) Identity and Access Management Machine Learning
+7 more
Message Queuing Telemetry Transport (MQTT) Data Streaming Apache Spark Apache Flink Apache Kafka Machine Learning Operations Terraform

Job description

Concevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l’analyse des données

Développer des pipelines de traitement temps réel et batch avec Apache Flink, Apache Spark et Apache Iceberg

Déployer les pipelines d’ingestion et de traitement en CI/CD et Infrastructure as Code, pour les environnements batch et streaming

Participer à la migration et au refactoring de l’architecture historique vers AWS (Move to Cloud, ETL/ELT, batch et streaming)

Contribuer à l’implémentation d’algorithmes de maintenance prédictive et de routage

Industrialiser et exposer des modèles de Machine Learning sous forme d’API, en lien avec les équipes data science

Assurer le monitoring, la fiabilité et la performance des traitements en production

Environnement technique

Streaming et traitement : Apache Flink, Apache Kafka (MSK), Kinesis, Apache Spark, Apache Iceberg

Orchestration : Apache Airflow (MWAA)

Cloud AWS : S3, Lambda, EKS, ECS, EC2, ECR, IAM, IoT Core

IoT : MQTT, données capteurs remontées par satellite

Requirements

Formation Bac+5 (école d’ingénieur ou master) en informatique, data ou télécommunications

Au moins 5 ans d’expérience en data engineering, dont une part significative sur AWS

Expérience solide des architectures streaming à forte volumétrie (Flink, Kafka ou Kinesis)

Maîtrise de Terraform et des pratiques CI/CD appliquées aux pipelines de données

Une expérience d’industrialisation de modèles ML (MLOps, mise en API, monitoring) est un vrai plus

Une connaissance des données IoT ou industrielles (maintenance prédictive, capteurs) est appréciée

Une certification AWS (Solutions Architect, Data Engineer) est un atout

Anglais professionnel

Savoir-être

Autonomie et sens des responsabilités sur des systèmes critiques en production

Capacité à dialoguer avec les équipes métier pour traduire leurs besoins en solutions techniques

Rigueur, goût de la performance et de la qualité de la donnée

Esprit d’équipe et envie de partager ses pratiques

Benefits & conditions

Contrat : CDI chez Visian Azur

Lieu : Marseille, présence régulière sur le site du client

Démarrage : à définir ensemble

Rémunération : selon profil et expérience

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.indeed.com
Prepare application

Good distractions

Loading talks and stories from around this role…