Développeur / Développeuse Big Data (H/F)
- Discuss this with your agent
- Open in Claude
- Open in ChatGPT
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Role details
Tech stack
+19 more
Job description
ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners.
MissionsConcevoir des flux de données et des Data Products
Développer des pipelines d’intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData
Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet)
Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy
Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage)
Collaborer avec les domain teams pour identifier les sources de données et les cas d?usage
Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover
Participer à la définition des standards d?interopérabilité (formats communs, APIs de données)
Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude)
Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products
Contribuer à l?amélioration continue de la plateforme Starburst (scaling, caching, federation)
Requirements
Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime)
Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques)
Data Modeling
Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration
Stockage : connaissance des formats Iceberg, Parquet, S3
Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC)
DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes)
Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash
Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance)
Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers)
Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées)
Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps
Pédagogie : capacité à expliquer des concepts techniques à des non-experts
Autonomie : prise d?initiative dans un cadre agile
Environnement techniqueExpertise écosystème zoo Hadoop
Connaissance / maîtrise Data
Connaissance / maîtrise technique de l?environnement DevOps
Maîtrise technique de l’environnement Data
Expertise couche d’accès et d?échange (Kafka, Nifi, ?)
Expertise Java, Scala, Python, Hive, Spark
Expertise ETL, Bash
Expertise SQL / NoSQL
Apply for this position
This job is hosted externally. Click below to view the full posting and apply.
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Good distractions
Loading talks and stories from around this role…