Data Engineer Pyspark/Azure

ContexteTransformer des données sources complexes en données exploitables pour les métiers, dans le respect des standards et de la stratégie data de SNCF Gares & Connexions.

Missions principalesComprendre les enjeux métier et les besoins data

Modéliser les données

Développer et optimiser les traitements en Python / SQL / PySpark

Industrialiser, superviser et documenter les traitements

Collaborer avec les équipes métier et techniques

Être force de proposition

Contribuer à l?évolution et à l?optimisation de la plateforme data

Travailler dans un cadre agile

Compétences indispensablesPython et PySpark ? 5 ans minimum

Méthodes de Data Science / Machine Learning

SGBD et SQL ? 5 ans minimum

Gestion et manipulation de données dans une architecture data complexe ? 3 ans minimum

Git

Requêtage d?API

Power BI et DAX ? 5 ans minimum

Compétences souhaitablesAzure

DataGalaxy

JIRA / Confluence

Anglais écrit et oral

Databricks

Connaissance de SNCF et/ou SNCF Gares & Connexions

Expériences indispensablesTravail en agilité ? 3 ans minimum

Développement de projets data ? 5 ans minimum

Manipulation de données en environnement data complexe et industriel ? 3 ans minimum

Expérience en BI

Expériences souhaitablesAzure

JIRA / Confluence

Anglais écrit et oral

Solide expérience Databricks