Senior Data Engineer - Palantir Foundry & Aws H/F

Groupe Créative
Toulouse, France
3 days ago
Apply on www.hellowork.com
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience level
Expert
Experience required
2 years minimum
Working hours
Regular working hours
Languages
English

Tech stack

Application Programming Interfaces (APIs) Amazon Web Services Amazon S3 Unit Testing Business Software Code Review Continuous Integration DevOps Java Database Connectivity Python (Programming Language) Operational Databases DataOps
+9 more
SQL Databases Web Applications Software Repository Snowflake Palantir Foundry Apache Spark Pyspark AWS Data Analytics Databricks

Job description

Dans le cadre d’un programme data stratégique pour un grand compte industriel international, nous recherchons un(e) Senior Data Engineer pour concevoir, industrialiser et maintenir des pipelines de données de bout en bout entre un environnement cloud AWS et une plateforme analytique basée sur Palantir Foundry.

Le poste s’inscrit dans une équipe produit data (data engineers, data scientists, business analysts, product owner) travaillant en mode agile sur des cas d’usage opérationnels à fort volume : données de production, de maintenance, de capteurs (IoT) et de supply chain., Concevoir et développer des pipelines d’ingestion et de transformation de données (batch et quasi temps réel) depuis AWS et des systèmes sources (ERP, bases relationnelles, API, fichiers, flux) vers Palantir Foundry.

  • Développer des transformations en PySpark / Python / SQL dans les Code Repositories Foundry et via Pipeline Builder, en privilégiant les builds incrémentaux.
  • Modéliser et maintenir l’Ontologie Foundry (object types, link types, actions, propriétés) pour exposer des données fiables aux applications métier.
  • Mettre en place les connexions sources via Data Connection (agents, connecteurs S3, JDBC, REST) et les échanges bidirectionnels Foundry AWS.
  • Garantir la qualité et la fiabilité des données : data expectations, health checks, monitoring des schedules, alerting, gestion des incidents.
  • Optimiser la performance et les coûts des traitements Spark (partitionnement, gestion du skew, profils de calcul).
  • Industrialiser les déploiements : branches et revues de code, CI/CD, tests unitaires et de données, Infrastructure as Code côté AWS.
  • Appliquer les règles de sécurité et de gouvernance : gestion des accès, markings, lignage des données, conformité RGPD.
  • Documenter les pipelines et accompagner les équipes métier et les profils plus juniors (revues de code, bonnes pratiques)., Nous sommes experts en conseil et production de softwares (conseil, numérique responsable, design, réalisation de logiciel métiers, applications web et mobiles, systèmes embarqués & industriels) depuis 2008, sommes présents sur le territoire national avec nos 7 agences. Ce qui nous anime ? Le sur mesure, être proche de nos clients et de nos collaborateurs pour répondre à leurs besoins avec justesse, de manière responsable et sécurisée.Nous sommes, aujourd’hui 350 collaborateurs passionnées par la tech, l’innovation est notre moteur et la curiosité une force. Notre activité s’organise en 4 pôles : Conseil, Usages & Design, Production Logicielle et Recherche et Innovation.Pourquoi nous rejoindre ? Nous sommes des femmes et des hommes de conviction et plaçons l’humain au centre de nos préoccupations.Participer à la création de solutions sur mesure qui façonnent l’avenir de nos clientsNous sommes à l’écoute de tous nos collaborateurs valorisants, leurs idées et leurs perspectivesTravailler dans une ambiance stimulante, favorisant les échanges, le partage des connaissances et l’intelligence collective, le tout dans un environnement multiculturel.Bénéficier d’une forte autonomie au sein d’une équipe soudée et motivée

Requirements

Bac +5 (école d’ingénieur ou université) en informatique, data ou équivalent.5 ans minimum d’expérience en data engineering, dont au moins 2 ans sur Palantir Foundry en contexte de production.Solide expérience sur AWS (idéalement certifié AWS Data Engineer - Associate ou Solutions Architect).Maîtrise de Spark et de l’optimisation de traitements sur de gros volumes.Bonne compréhension de la modélisation de données (dimensionnelle, orientée objet / ontologie).Expérience des pratiques DevOps / DataOps : tests, CI/CD, monitoring.Anglais professionnel courant (équipes et documentation internationales).Atouts appréciésExpérience sur des données industrielles : maintenance, fiabilité, IoT / capteurs, supply chain, qualité.Certification Palantir Foundry (Data Engineer / Application Developer).Expérience de flux streaming et d’architectures event-driven.Connaissance de Databricks ou Snowflake (contextes multi-plateformes).Habitude des environnements soumis à de fortes contraintes de sécurité et de confidentialité.Savoir-êtreAutonomie, rigueur et sens de la qualité de la donnée.Capacité à dialoguer avec les métiers et à traduire un besoin en solution data.Esprit d’équipe, pédagogie et goût pour le partage de bonnes pratiques., * Bac +5 (école d’ingénieur ou université) en informatique, data ou équivalent.

  • 5 ans minimum d’expérience en data engineering, dont au moins 2 ans sur Palantir Foundry en contexte de production.
  • Solide expérience sur AWS (idéalement certifié AWS Data Engineer - Associate ou Solutions Architect).
  • Maîtrise de Spark et de l’optimisation de traitements sur de gros volumes.
  • Bonne compréhension de la modélisation de données (dimensionnelle, orientée objet / ontologie).
  • Expérience des pratiques DevOps / DataOps : tests, CI/CD, monitoring.
  • Anglais professionnel courant (équipes et documentation internationales).

Atouts appréciés

  • Expérience sur des données industrielles : maintenance, fiabilité, IoT / capteurs, supply chain, qualité.
  • Certification Palantir Foundry (Data Engineer / Application Developer).
  • Expérience de flux streaming et d’architectures event-driven.
  • Connaissance de Databricks ou Snowflake (contextes multi-plateformes).
  • Habitude des environnements soumis à de fortes contraintes de sécurité et de confidentialité.

Savoir-être

  • Autonomie, rigueur et sens de la qualité de la donnée.
  • Capacité à dialoguer avec les métiers et à traduire un besoin en solution data.
  • Esprit d’équipe, pédagogie et goût pour le partage de bonnes pratiques.

EUR

Règles de sécurité API Pédagogie SQL AWS Modélisation des données REST JDBC Python Autonomie Gestion de la chaîne d’approvisionnement

About the company

Nous sommes experts en conseil et production de softwares (conseil, numérique responsable, design, réalisation de logiciel métiers, applications web et mobiles, systèmes embarqués & industriels) depuis 2008, sommes présents sur le territoire national avec nos 7 agences.

Ce qui nous anime ? Le sur mesure, être proche de nos clients et de nos collaborateurs pour répondre à leurs besoins avec justesse, de manière responsable et sécurisée.

Nous sommes, aujourd’hui 350 collaborateurs passionnées par la tech, l’innovation est notre moteur et la curiosité une force. Notre activité s’organise en 4 pôles : Conseil, Usages & Design, Production Logicielle et Recherche et Innovation.

Pourquoi nous rejoindre ?

Nous sommes des femmes et des hommes de conviction et plaçons l’humain au centre de nos préoccupations.

Participer à la création de solutions sur mesure qui façonnent l’avenir de nos clients

Nous sommes à l’écoute de tous nos collaborateurs valorisants, leurs idées et leurs perspectives

Travailler dans une ambiance stimulante, favorisant les échanges, le partage des connaissances et l’intelligence collective, le tout dans un environnement multiculturel.

Bénéficier d’une forte autonomie au sein d’une équipe soudée et motivée

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.hellowork.com
Prepare application

Good distractions

Loading talks and stories from around this role…