Data Engineer Big Data H/F

Développement de Pipelines de Données :

o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l’agrégation de grands volumes de données provenant de diverses sources.

o Implémenter des flux de données robustes et performants sur Cloudera.

o Utiliser HBase pour des besoins de stockages NoSQL rapides et l’accès à des données structurées/semi-structurées.

o Développer des requêtes SQL complexes sur HIVE/SPARK pour l’extraction, l’analyse et la validation des données.

1. Optimisation et Performance :

o Monitorer la performance des jobs Spark et identifier les goulots d’étranglement.

o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase.

o Proposer et implémenter des solutions pour améliorer la scalabilité et l’efficacité de la plateforme.

1. Assurance Qualité et Déploiement (DevOps) :

o Écrire des tests unitaires et d’intégration pour garantir la qualité du code.

o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD).

o Intégrer des outils d’analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement.

o Gérer les dépendances et les versions avec Maven.

1. Collaboration et Documentation :

o Documenter le code, les architectures et les processus.

o Partager les bonnes pratiques et contribuer à l’amélioration continue de l’équipe.

Profil recherché- Expérience : Minimum de 6 ans d’expérience en développement Big Data et/ou Data Engineering. Expérience significative dans le domaine financier, idéalement en gestion des risques de crédit.- Compétences Techniques Indispensables :o Apache Spark 3.x : Excellente maîtrise du développement, optimisation et scalabilité des applications Spark Java .o Java 8 : Maîtrise approfondie pour développement Spark.o Scala : Souhaitable .o Stack Cloudera : Expérience avérée avec Hadoop (HDFS,Hive, HBase ..).o SQL : Maîtrise indispensable pour l’exploitation et l’analyse des données.o Devops : CI/CD, SonarQube, checkmarx, XLD., Expérience : Minimum de 6 ans d’expérience en développement Big Data et/ou Data Engineering. Expérience significative dans le domaine financier, idéalement en gestion des risques de crédit.

• Compétences Techniques Indispensables :

o Apache Spark 3.x : Excellente maîtrise du développement, optimisation et scalabilité des applications Spark Java .

o Java 8 : Maîtrise approfondie pour développement Spark.

o Scala : Souhaitable .

o Stack Cloudera : Expérience avérée avec Hadoop (HDFS,Hive, HBase ..).

o SQL : Maîtrise indispensable pour l’exploitation et l’analyse des données.

o Devops : CI/CD, SonarQube, checkmarx, XLD.

EUR

Maven Scala Hadoop SQL Création d’une base documentaire Hive Jenkins Big data Test unitaire SonarQube Java Analyse de données

Taux journalier :Salaire selon profil

False

EducationalOccupationalCredential postgraduate degree EducationalOccupationalCredential bachelor degree EducationalOccupationalCredential