Développeur / Concepteur Big Data Cloud (Databricks AWS) F/H

Au sein de l’équipe DataSteward, vous participerez à la maintenance et à l’évolution de plusieurs DataProduct sur Hadoop ou DataBricks, à la migration des traitements Hadoop vers Databricks ainsi qu’à l’évolution de notre framework interne d’ingestion de données dans DataBrickgs : Data Engine Cloud , composé de moteurs d’ingestion permettant d’intégrer des données issues de flux Kafka et de fichiers CSV dans Databricks. La technologie prédominante aux développements de ces traitements Big Data est Spark Scala., Encadré(e) par des ingénieurs Big Data expérimentés, vous participerez aux activités suivantes :

Maintenance et évolution des dataProducts

• Participer à la maintenance corrective et évolutive des DataProducts de la plateforme Data.
• Développer de nouvelles fonctionnalités et optimiser les traitements existants.
• Garantir la qualité, la fiabilité et la performance des traitements de données.
• Participer aux phases de tests, validation et mise en production.

Migration Hadoop vers Databricks

• Contribuer à la migration des DataProducts de l’écosystème Hadoop vers Databricks.
• Adapter les traitements existants aux nouveaux standards Data Engineering Cloud.
• Participer à la validation fonctionnelle et technique des données et traitements migrées.
• Accompagner l’industrialisation des nouveaux traitements.

Développement d’outils d’aide à la migration des données Hadoop vers Databrikcs

• Participer au développement d’outils facilitant la migration des traitements de données Hadoop vers Databricks.
• Automatiser certaines étapes de migration afin de réduire les efforts manuels.
• Contribuer à l’amélioration continue des outils internes de modernisation de la plateforme.

Évolution de la stack Data Engine Cloud

Vous participerez également aux évolutions de notre stack Data Engine Cloud, composée notamment de deux moteurs d’ingestion génériques :

Kafka2Unity, permettant l’ingestion de flux temps réel provenant d’Apache Kafka vers Databricks. File2Unity, permettant l’ingestion de fichiers (CSV) vers Databricks. Dans ce cadre, vous serez amené(e) à :

• Participer à la maintenance corrective et évolutive de ces moteurs ;
• Développer de nouvelles fonctionnalités ;
• Améliorer les performances et la robustesse des traitements ;
• Participer aux phases de tests et de validation ;
• Contribuer à l’industrialisation des composants.

Industrialisation et qualité

• Participer à l’amélioration continue des processus de développement.
• Contribuer aux tests automatisés et à la qualité logicielle.
• Participer aux revues de code et au partage des bonnes pratiques.
• Collaborer avec les équipes Data Engineering dans un environnement Agile (Scrum et SAFe).

Environnement technique :

• Databricks
• Apache Spark
• Scala
• SQL
• Delta Lake
• Unity Catalog
• Apache Kafka
• Hadoop
• Git
• GitLab CI/CD
• Maven
• Cloud AWS

Niveau de diplôme préparé : Étudiant(e) en école d’ingénieur ou Master (Bac+4 / Bac+5)

Spécialisation du diplôme préparé : Spécialisation en informatique, Data Engineering ou Cloud, Intérêt marqué pour les technologies Big Data et Cloud. · Connaissances en Scala et SQL.

· Une première expérience avec Apache Spark (Scala) est un plus

• Sensibilité aux problématiques de qualité, gouvernance et exploitation des données.
• Curiosité, autonomie et esprit d’équipe.
• Une première expérience académique ou personnelle sur Spark, Databricks, Kafka ou AWS serait appréciée., * Capacité d’adaptation
• Autonomie
• Rigueur / Respect des consignes
• Créativité

Durée du stage : 6 mois

Entreprise à mission, Enedis distribue en France l’électricité via le plus grand réseau électrique d’Europe et déploie un code de bonne conduite qui l’amène à fournir un traitement et un service identiques à tous ses clients placés dans la même situation. Engagés dans le respect de la santé-sécurité, nos salariés relèvent des défis technologiques, écologiques et sociétaux. Soumise au principe de neutralité et engagée pour l’inclusion, Enedis ouvre ses opportunités à tous les talents.