Développeur Data - IA H/F

Exiptel

Saint-Denis, France

24 days ago

Apply on www.hellowork.com

Prepare application

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Experience level

Experienced

Experience required

3 years minimum

Working hours

Regular working hours

Job source

www.hellowork.com

Tech stack

Airflow Microsoft Azure Big Data Code Coverage Code Review Continuous Integration JSON Python (Programming Language) Ansible SQL Databases Virtual Machines Azure Data Factory

+8 more

Apache Spark Git Pyspark Gitlab-ci Terraform Code Restructuring Jenkins Databricks

Job description

Pour une mission longue pour un grand groupe, nous recherchons plusieurs développeur Data

Gestion JSON - traitement des json complexes avec multiples imbrications variables
Gestion de format Delta (similaire JSON) sous Databricks
Python / SQL / Databricks / Spark
Développement et déploiement de Jobs Spark (PySpark et Scala) en CI/CD sur Azure Databricks
Optimisation des chaines de traitements Big Data en termes de temps d’exécution et de couts des machines virtuelles (Cloud Azure)
Migration de l’architecture des données vers une architecture médaillon (Bronze, Silver, Gold)
Création de jobs de mise en qualité de la donnée (couche silver) : nettoyage, dédoublonnage, masquage de la donnée
Migration code contenu dans JARs (Spark Scala) vers code en PySpark sur notebooks, compatible avec Unity Catalog
Automatisation des déploiements et des livrables (Gitlab-Ci, Ansible, Jenkins)
Migration de l’écosystème Databricks existant vers Unity Catalog
Migration de parquet et orc à delta
Passage progressivement à une lecture de table au lieu d’une lecture directe des fichiers du datalake
Création d’une couche « silver » servant de couche de mise en qualité des données « bronze » avant

consommation dans des tables gold à valeur métier

Orchestration de jobs Spark sur Databricks Workflows
Modélisation et conception de nouvelles chaines de traitement, en collaboration avec les équipes métier (architecture

data)

Refactoring global de l’application et augmentation de la couverture de test du code (de 30% à 90%)
Revues de code et mise en place de contrôles techniques et automatisés de la qualité de la donnée (via Notebooks

Requirements

Profil recherché3 - 10 ans d’experienceTechnologies : Azure Databricks, Spark (Scala et PySpark), Jenkins, Airflow, Ecosysteme Databricks (Databricks Workflows, DeltaLake), Azure (Azure Data Factory, AKV, Adls, BlobStorage), GitLab CI, SQL, Terraform, Technologies : Azure Databricks, Spark (Scala et PySpark), Jenkins, Airflow, Ecosysteme Databricks (Databricks Workflows, DeltaLake), Azure (Azure Data Factory, AKV, Adls, BlobStorage), GitLab CI, SQL, Terraform

EUR

Ansible Unity Préparation des surfaces Scala SQL Git Jenkins Python Terraform JSON