Développeur Data - IA H/F

Exiptel
Canton of Saint-Denis-1, France
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French
Experience level
Intermediate

Job location

Canton of Saint-Denis-1, France

Tech stack

Airflow
Azure
Big Data
Code Coverage
Code Review
Continuous Integration
JSON
Python
Ansible
SQL Databases
Virtual Machines
Azure
Spark
GIT
PySpark
Gitlab-ci
Terraform
Code Restructuring
Jenkins
Databricks

Job description

Pour une mission longue pour un grand groupe, nous recherchons plusieurs développeur Data

  • Gestion JSON - traitement des json complexes avec multiples imbrications variables

  • Gestion de format Delta (similaire JSON) sous Databricks

  • Python / SQL / Databricks / Spark

  • Développement et déploiement de Jobs Spark (PySpark et Scala) en CI/CD sur Azure Databricks

  • Optimisation des chaines de traitements Big Data en termes de temps d'exécution et de couts des machines virtuelles (Cloud Azure)

  • Migration de l'architecture des données vers une architecture médaillon (Bronze, Silver, Gold)

  • Création de jobs de mise en qualité de la donnée (couche silver) : nettoyage, dédoublonnage, masquage de la donnée

  • Migration code contenu dans JARs (Spark Scala) vers code en PySpark sur notebooks, compatible avec Unity Catalog

  • Automatisation des déploiements et des livrables (Gitlab-Ci, Ansible, Jenkins)

  • Migration de l'écosystème Databricks existant vers Unity Catalog

  • Migration de parquet et orc à delta

  • Passage progressivement à une lecture de table au lieu d'une lecture directe des fichiers du datalake

  • Création d'une couche « silver » servant de couche de mise en qualité des données « bronze » avant

consommation dans des tables gold à valeur métier

  • Orchestration de jobs Spark sur Databricks Workflows

  • Modélisation et conception de nouvelles chaines de traitement, en collaboration avec les équipes métier (architecture

data)

  • Refactoring global de l'application et augmentation de la couverture de test du code (de 30% à 90%)

  • Revues de code et mise en place de contrôles techniques et automatisés de la qualité de la donnée (via Notebooks

Requirements

Profil recherché3 - 10 ans d'experienceTechnologies : Azure Databricks, Spark (Scala et PySpark), Jenkins, Airflow, Ecosysteme Databricks (Databricks Workflows, DeltaLake), Azure (Azure Data Factory, AKV, Adls, BlobStorage), GitLab CI, SQL, Terraform, Technologies : Azure Databricks, Spark (Scala et PySpark), Jenkins, Airflow, Ecosysteme Databricks (Databricks Workflows, DeltaLake), Azure (Azure Data Factory, AKV, Adls, BlobStorage), GitLab CI, SQL, Terraform

EUR

Ansible Unity Préparation des surfaces Scala SQL Git Jenkins Python Terraform JSON

Benefits & conditions

Taux journalier :Salaire selon profil

Apply for this position