Data Engineer IoT & Real-Time - secteur Energie (F/H)
Collective
Canton of Nanterre-1, France
1 month ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
French Experience level
Senior Compensation
€ 70KJob location
Canton of Nanterre-1, France
Tech stack
API
Airflow
Amazon Web Services (AWS)
Amazon Web Services (AWS)
Cloud Computing
Continuous Integration
DevOps
Distributed Systems
Python
Message Queuing Telemetry Transport (MQTT)
Operational Data Store
Software Engineering
Data Streaming
Grafana
Spark
Backend
FastAPI
Data Lake
Gitlab-ci
InfluxDB
Apache Flink
Amazon Web Services (AWS)
Cloudwatch
Terraform
Amazon Web Services (AWS)
Databricks
Microservices
Job description
Au sein d'un environnement industriel de pointe, vous serez l'architecte et le garant de la chaîne de valeur de la donnée. Votre mission consiste à concevoir, déployer et maintenir des pipelines de données de bout en bout (temps réel et batch), permettant l'ingestion, la transformation et l'analyse massive de données IoT industrielles en production.
Vous rejoignez une équipe agile où la culture "Build-Run-Own" prévaut, avec un accent fort sur l'excellence logicielle et l'évolutivité des infrastructures Cloud.
Missions et Livrables
Architecture & Engineering
- Pipelines de données : Concevoir et implémenter des flux de traitement distribués (Spark, Flink) pour gérer des données de séries temporelles à grande échelle.
- Modélisation IoT : Développer et opérer des modèles d'actifs (Asset Modeling via AWS SiteWise) pour assurer une intégration fluide entre les capteurs et les plateformes analytiques.
- Stockage & Accès : Optimiser les patterns de stockage pour la performance (Lakehouse architecture, Delta Lake, InfluxDB).
Développement & Backend
- Services API : Développer des microservices Python robustes avec FastAPI pour exposer et traiter les données opérationnelles.
- Qualité & Ops : Assurer la haute disponibilité, l'observabilité (Grafana) et la qualité des données sur l'ensemble de la plateforme.
Cloud & DevOps
- Streaming & Orchestration : Déployer des architectures temps réel sur AWS Kinesis et orchestrer les workflows batch via Airflow.
- Infrastructure-as-Code : Gérer l'infrastructure via Terraform et Terragrunt dans une logique d'automatisation complète (GitLab CI/CD)., * Backend : Python, FastAPI, Scala.
- IoT & Time-Series : MQTT, AWS SiteWise, InfluxDB.
- DevOps & IaC : Terraform, Terragrunt, GitLab CI/CD, AWS (ECS, Fargate, Lambda).
- Orchestration & Monitoring : Airflow, Grafana, Cloudwatch.
Requirements
Expérience & Expertise Technique
- Logiciel : Minimum 5 ans en développement Python (Scala est un plus) avec une maîtrise des pratiques de Software Engineering (Testing, CI/CD, Microservices).
- Data Engineering : Minimum 5 ans d'expérience sur des systèmes distribués (Spark, Flink) et une solide compréhension des pipelines Batch et Streaming.
- Cloud AWS : Maîtrise de l'écosystème (S3, Lambda, ECS/Fargate, Kinesis, Cloudwatch).
- Data Stack : Expérience significative sur Databricks, Delta Lake et les bases de données SQL.
- IoT (Le "Plus") : Familiarité avec les protocoles MQTT, les services AWS IoT et la modélisation de données industrielles.
Soft Skills
- System Design : Capacité à concevoir des architectures complexes, scalables et résilientes.
- Mindset Produit : Aptitude à traduire des besoins business complexes en solutions techniques actionnables.
- Collaboration : Esprit d'équipe affirmé pour évoluer dans un environnement fast-paced avec des Data Analysts et Product Owners.