Data Engineer Pyspark H/F

Diversitéamaris Consulting
France
3 days ago
Apply on www.hellowork.com
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
English

Tech stack

JavaScript (Programming Language) Application Programming Interfaces (APIs) Agile Methodology Artificial Intelligence JIRA Databases Information Engineering Programming Tools Python (Programming Language) Office Automation Data Streaming TypeScript
+8 more
Data Processing Data Server Interface Apache Spark Git Data Layers Pyspark Data Management Front End Software Development

Job description

Entretiens (en moyenne, le nombre d’entretiens est de 3 - il peut toutefois varier en fonction du niveau d’ancienneté requis pour le poste). Au cours des entretiens, vous rencontrerez les membres de notre équipe : votre supérieur hiérarchique bien sûr, mais aussi d’autres personnes avec lesquelles vous serez amené à travailler. Ces entretiens nous permettront d’en apprendre davantage sur vous, votre expérience et vos compétences, mais aussi sur le poste et ce que l’on attendra de vous. Bien entendu, vous apprendrez également à connaître Amaris : notre culture, notre histoire, nos équipes et vos opportunités de carrière ! Étude de cas: En fonction du poste, vous serez peut-être appelé à passer un test. Il pourra s’agir d’un jeu de rôle, d’une évaluation technique, d’un scénario de résolution de problème, etc. Comme vous le savez, chaque personne est différente et il en va de même pour chaque rôle dans une entreprise. C’est pourquoi nous devons nous adapter en conséquence, si bien que le processus peut parfois être quelque peu différent pour chacun. Cela dit, nous nous mettons toujours à la place du candidat pour lui offrir la meilleure expérience possible. Nous avons hâte de vous rencontrer !

Nous recherchons un·e Data Engineer PySpark confirmé·e capable de concevoir, industrialiser et opérer des pipelines de données à grande échelle dans le secteur de l’énergie, et de structurer la plateforme de traitement des données de consommation IT au sein de Palantir Foundry. Vous serez responsable de l’ingestion, du traitement et de la mise à disposition des données (modélisation, qualité, performance), de la mise en oeuvre des flux dans un environnement cloud ainsi que de la construction des couches de données et des reportings pour les équipes métiers et IT.

Vous prendrez en charge à parts égales les activités de BUILD (conception des modèles de données, développement des traitements en Python/PySpark, mise en place des pipelines et automatisations, intégration avec les APIs et les systèmes sources, documentation technique) et de RUN (suivi quotidien des flux, supervision des performances, gestion des incidents et des corrections, optimisation continue des traitements, support aux utilisateurs BI et métiers). Vous interviendrez sur plusieurs projets data en parallèle, la mise en place et le suivi des indicateurs de qualité et de performance des données, ainsi que sur le conseil et l’accompagnement des équipes métiers et de la DSI pour garantir la fiabilité des données, la maîtrise des coûts et des délais, et la montée en maturité de la plateforme data et des bonnes pratiques d’ingénierie de données., Concevoir, développer et optimiser des pipelines de données en Python/PySpark dans Palantir Foundry pour traiter les données de consommation IT (ingestion, transformation, agrégation).

  • Collaborer avec les métiers et l’équipe projet pour comprendre les besoins, investiguer les anomalies de données et les traduire en solutions techniques adaptées.
  • Mettre en place des modèles de données et des structures de stockage (schéma en étoile, relations 1N / NN), en garantissant la qualité, la performance et la fiabilité des données dans un environnement cloud.
  • Développer des dashboards et des fonctions d’affichage en JavaScript/TypeScript, et les intégrer avec les pipelines de données existants.
  • Documenter les développements, présenter les résultats, contribuer aux phases de tests/recette et participer au suivi quotidien des flux de données et des applications.
  • Travailler au sein de l’équipe BI en mode Agile (Jira), utiliser Git pour le versionning, tirer parti des outils de développement assisté par l’IA et contribuer à l’animation de la communauté technique.

Requirements

Votre profil : Data Engineer confirmé, expert en Python/PySpark et dans la conception de pipelines de données à grande échelle (framework Spark). Solide expérience en data engineering (modélisation de données, architectures type schéma en étoile, gestion des flux, automatisation, cloud, bases de données et stockage). Maîtrise des outils et pratiques de développement : Git (versionning), développement assisté par l’IA, intégration d’APIs, bonnes pratiques de documentation et de qualité de code. Capacité à comprendre les besoins métier, à collaborer avec une équipe BI/projet en environnement Agile (Jira) et à vulgariser les concepts techniques. Compétences en visualisation et front-end data (création de dashboards, JavaScript/TypeScript) et idéalement connaissance de Palantir Foundry. Anglais professionnel et aisance avec les outils bureautiques (rédaction de CR, présentations), autonomie, rigueur et goût pour la communauté technique., * Data Engineer confirmé, expert en Python/PySpark et dans la conception de pipelines de données à grande échelle (framework Spark).

  • Solide expérience en data engineering (modélisation de données, architectures type schéma en étoile, gestion des flux, automatisation, cloud, bases de données et stockage).
  • Maîtrise des outils et pratiques de développement : Git (versionning), développement assisté par l’IA, intégration d’APIs, bonnes pratiques de documentation et de qualité de code.
  • Capacité à comprendre les besoins métier, à collaborer avec une équipe BI/projet en environnement Agile (Jira) et à vulgariser les concepts techniques.
  • Compétences en visualisation et front-end data (création de dashboards, JavaScript/TypeScript) et idéalement connaissance de Palantir Foundry.
  • Anglais professionnel et aisance avec les outils bureautiques (rédaction de CR, présentations), autonomie, rigueur et goût pour la communauté technique., Business Intelligence Intelligence artificielle API Modélisation des données Gestion des données Git Création d’une base documentaire Logiciels bureautiques Python Autonomie Jira Javascript TypeScript

Benefits & conditions

Ce qu’on vous proposeRejoindre Amaris, ce n’est pas entrer dans une entreprise où l’on attend sagement qu’une place se libère. C’est intégrer un environnement où vos résultats pilotent directement votre évolution. Concrètement, voici ce que cela vous apporte au quotidien : Des projets qui ont du fond 18 mois minimum en moyenne, chez des grands comptes (Orange, Sanofi, SNCF, CMA-CGM…) et avec l’appui de nos Centres d’Excellence internes. Nos équipes affichent 3,3 ans d’ancienneté moyenne, preuve qu’on construit des relations durables, avec nos clients comme avec nos collaborateurs. Un accompagnement qui se voit 1 manager pour 18 consultants max, des points projet structurés et un canal direct vers les RH chaque mois via Express Yourself. Une carrière qui avance vraiment 70 % de nos managers ont démarré au premier échelon. Âge moyen : 36 ans. Ici, la confiance précède l’expérience et la méritocratie remplace l’ancienneté. Mobilité fonctionnelle (4 expertises) et géographique (60+ pays) encouragées et accessibles. L’innovation, en pratique 291 agents IA développés en interne, chez Mantu, AI = Artificial Intelligence & Augmented Impact. +250 modules de formation et certifications Microsoft financées à 100 %. Un engagement RSE qui se mesure SBTi sur la réduction carbone, 32 % de femmes managers (objectif 34,3 % en 2029), engagement social via We Care Together. Inclusion et diversitéAmaris Consulting promeut l’égalité des chances. Nous nous engageons à rassembler des talents d’horizons différents et à créer un environnement de travail inclusif. Dans cette optique, nous recueillons les candidatures de toutes les personnes qualifiées, quel que soit leur sexe, orientation sexuelle, race, origine ethnique, croyances, âge, état civil, handicap ou autres caractéristiques.

About the company

Amaris Consulting est une société indépendante de conseil et de technologies au service des entreprises. Avec plus de 1000 clients dans le monde, nous déployons des solutions pour les plus grands projets depuis plus d’une décennie - tout ceci est rendu possible par une équipe internationale de 7500 talents répartis sur les 5 continents et dans plus de 60 pays. Nos solutions sont axées sur quatre domaines d’activité différents : Les systèmes d’information et le digital, la télécommunication, les sciences de la vie et l’ingénierie. Nous cherchons à créer et à développer une communauté de talents où tous les membres de notre équipe peuvent réaliser leur plein potentiel. Amaris est votre « stepping stone » pour traverser les rivières du changement, pour relever les défis et pour réaliser tous vos projets avec succès. Chez Amaris, nous avons à coeur d’offrir à nos candidats la meilleure expérience de recrutement possible. Nous cherchons à mieux connaître et comprendre nos candidats, à les challenger et à leur faire part de nos impressions le plus rapidement possible. Voici à quoi ressemble notre processus de recrutement : Premier contact : Notre processus commence généralement par une brève conversation virtuelle/téléphonique pour en savoir plus sur vous ! L’objectif ? Apprendre à vous connaître, comprendre vos motivations et veiller à ce que nous vous proposions le poste qui vous correspond le mieux !, Amaris Consulting est une société indépendante de conseil et de technologies au service des entreprises. Avec plus de 1000 clients dans le monde, nous déployons des solutions pour les plus grands projets depuis plus d’une décennie - tout ceci est rendu possible par une équipe internationale de 7500 talents répartis sur les 5 continents et dans plus de 60 pays. Nos solutions sont axées sur quatre domaines d’activité différents : Les systèmes d’information et le digital, la télécommunication, les sciences de la vie et l’ingénierie. Nous cherchons à créer et à développer une communauté de talents où tous les membres de notre équipe peuvent réaliser leur plein potentiel. Amaris est votre « stepping stone » pour traverser les rivières du changement, pour relever les défis et pour réaliser tous vos projets avec succès. Chez Amaris, nous avons à coeur d’offrir à nos candidats la meilleure expérience de recrutement possible. Nous cherchons à mieux connaître et comprendre nos candidats, à les challenger et à leur faire part de nos impressions le plus rapidement possible. Voici à quoi ressemble notre processus de recrutement : Premier contact : Notre processus commence généralement par une brève conversation virtuelle/téléphonique pour en savoir plus sur vous ! L’objectif ? Apprendre à vous connaître, comprendre vos motivations et veiller à ce que nous vous proposions le poste qui vous correspond le mieux ! Entretiens (en moyenne, le nombre d’entretiens est de 3 - il peut toutefois varier en fonction du niveau d’ancienneté requis pour le poste). Au cours des entretiens, vous rencontrerez les membres de notre équipe : votre supérieur hiérarchique bien sûr, mais aussi d’autres personnes avec lesquelles vous serez amené à travailler. Ces entretiens nous permettront d’en apprendre davantage sur vous, votre expérience et vos compétences, mais aussi sur le poste et ce que l’on attendra de vous. Bien entendu, vous apprendrez également à connaître Amaris : notre culture, notre histoire, nos équipes et vos opportunités de carrière !Étude de cas: En fonction du poste, vous serez peut-être appelé à passer un test. Il pourra s’agir d’un jeu de rôle, d’une évaluation technique, d’un scénario de résolution de problème, etc. Comme vous le savez, chaque personne est différente et il en va de même pour chaque rôle dans une entreprise. C’est pourquoi nous devons nous adapter en conséquence, si bien que le processus peut parfois être quelque peu différent pour chacun. Cela dit, nous nous mettons toujours à la place du candidat pour lui offrir la meilleure expérience possible. Nous avons hâte de vous rencontrer !

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.hellowork.com
Prepare application

Good distractions

Talks and stories from around this role — technically off-topic, practically not.

6:21 min

Investigating push inefficiencies with upstream Git experts

Jonathan Creamer · Coffee With Developers

3:05 min

Integrating an assistant application with Jira software

Felix Augenstein · LIVE

4:32 min

Harnessing Spark with Python using PySpark and Py4J

Ayon Roy · LIVE

1:34 min

Bringing diverse skills to industrial data science roles

Katja Träumner

56 sec

Favorite git commands and the importance of patch commits

Eileen Uchitelle Eileen Uchitelle +1 · Coffee With Developers

3:09 min

Balancing data science skillings alongside systems engineering rigor

Nico Schmidt · LIVE

Videos

See all

Related articles

See all