Data Engineer Big Data H/F
Role details
Job location
Tech stack
Job description
Développement de Pipelines de Données :
o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources.
o Implémenter des flux de données robustes et performants sur Cloudera.
o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées.
o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données.
- Optimisation et Performance :
o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement.
o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase.
o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme.
- Assurance Qualité et Déploiement (DevOps) :
o Écrire des tests unitaires et d'intégration pour garantir la qualité du code.
o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD).
o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement.
o Gérer les dépendances et les versions avec Maven.
- Collaboration et Documentation :
o Documenter le code, les architectures et les processus.
o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.
Requirements
Profil recherché- Expérience : Minimum de 6 ans d'expérience en développement Big Data et/ou Data Engineering. Expérience significative dans le domaine financier, idéalement en gestion des risques de crédit.- Compétences Techniques Indispensables :o Apache Spark 3.x : Excellente maîtrise du développement, optimisation et scalabilité des applications Spark Java .o Java 8 : Maîtrise approfondie pour développement Spark.o Scala : Souhaitable .o Stack Cloudera : Expérience avérée avec Hadoop (HDFS,Hive, HBase ..).o SQL : Maîtrise indispensable pour l'exploitation et l'analyse des données.o Devops : CI/CD, SonarQube, checkmarx, XLD., Expérience : Minimum de 6 ans d'expérience en développement Big Data et/ou Data Engineering. Expérience significative dans le domaine financier, idéalement en gestion des risques de crédit.
- Compétences Techniques Indispensables :
o Apache Spark 3.x : Excellente maîtrise du développement, optimisation et scalabilité des applications Spark Java .
o Java 8 : Maîtrise approfondie pour développement Spark.
o Scala : Souhaitable .
o Stack Cloudera : Expérience avérée avec Hadoop (HDFS,Hive, HBase ..).
o SQL : Maîtrise indispensable pour l'exploitation et l'analyse des données.
o Devops : CI/CD, SonarQube, checkmarx, XLD.
EUR
Maven Scala Hadoop SQL Création d'une base documentaire Hive Jenkins Big data Test unitaire SonarQube Java Analyse de données
Benefits & conditions
Taux journalier :Salaire selon profil
False
EducationalOccupationalCredential postgraduate degree EducationalOccupationalCredential bachelor degree EducationalOccupationalCredential