Data engineer F/H

Conception et développement

• Concevoir, développer et maintenir des pipelines de données robustes et évolutifs.
• Développer les traitements ETL/ELT.
• Concevoir les modèles de données et optimiser les performances.
• Mettre en œuvre des architectures Data Lake, Data Warehouse et Lakehouse.
• Industrialiser les traitements de données.

Exploitation et optimisation

• Garantir la disponibilité, la qualité et la fiabilité des données.
• Superviser les traitements batch et temps réel.
• Optimiser les performances des pipelines et des bases de données.
• Mettre en œuvre les bonnes pratiques de développement, de tests et de documentation.

Collaboration

• Collaborer avec les Data Scientists, Data Analysts, développeurs et équipes métiers.
• Participer aux choix d'architecture Data.
• Accompagner les utilisateurs dans l'exploitation des données.
• Participer aux revues techniques et aux projets de transformation Data.

Gouvernance et sécurité

• Assurer la conformité des traitements de données.
• Appliquer les règles de gouvernance et de sécurité.
• Participer à l'amélioration continue de la plateforme Data., * Celery

Transformation & Traitement des données

• dbt (models, tests, documentation, lineage, incremental models, snapshots)
• Polars
• Pandas

Data Warehouse

• Snowflake (Warehouses, RBAC, Clustering, Materialized Views, Time Travel, Zero-Copy Cloning)

Big Data & Streaming

• Apache Spark / PySpark
• Spark Structured Streaming
• Databricks (Jobs, Delta Live Tables, Delta Lake)
• Apache Kafka

Cloud

• Microsoft Azure (ADLS Gen2, AKS, ACR, Azure Active Directory)

• Bac +5 en informatique, Data Engineering, Intelligence Artificielle ou équivalent.

Expérience

• Minimum 4 ans d'expérience en Data Engineering.
• Expérience dans des environnements Cloud et Big Data.

Compétences techniques

• Excellente maîtrise de SQL et Python.
• Maîtrise des architectures Data Lake, Data Warehouse et Lakehouse.
• Développement de pipelines ETL/ELT.
• Traitement de données batch et temps réel.
• Bonne connaissance des environnements Cloud (Azure, AWS et/ou GCP).
• Expérience des plateformes Big Data (Spark, Kafka, Databricks…).
• Maîtrise des outils de versioning (Git) et des pratiques CI/CD.
• Bonne connaissance des principes DevOps, DataOps et Infrastructure as Code.
• Connaissance des enjeux de qualité, de gouvernance et de sécurité des données.

Environnement technique

Orchestration & Workflow

• Apache Airflow (DAGs, scheduling, monitoring, gestion des connexions), Langages
• Python
• SQL
• Scala
• Java
• R
• JavaScript
• VBA
• C / C#

Frameworks

• FastAPI
• Django
• React

Frameworks IA/ML (selon les projets), * PostgreSQL

• MongoDB
• MySQL
• Microsoft SQL Server
• Oracle Database
• Elasticsearch
• NoSQL

CI/CD & DevOps

• Docker
• GitLab CI/CD
• Kubernetes
• Ansible
• Nexus Repository
• SonarQube
• Portainer

Observabilité & Monitoring

• Grafana
• Prometheus
• Logstash
• Kibana
• cAdvisor
• Airflow Monitoring

Data Visualisation

• Microsoft Power BI

Outils

• Jira
• DVC (Data Version Control)
• MkDocs
• Sphinx
• Locust

Systèmes d'exploitation

• Linux
• Unix
• Windows

Le Data Engineer Confirmé conçoit, développe, industrialise et maintient les architectures de données ainsi que les pipelines de traitement permettant de collecter, transformer, stocker et valoriser les données. Il garantit la qualité, la disponibilité et la sécurité des données afin de répondre aux besoins des équipes métiers, Data et Intelligence Artificielle.