Ingénieur Data - Databricks - Gcp Pyspark Spark Python H/F

Contexte : Dans le cadre du développement et de l’évolution de sa plateforme Data sur Google Cloud Platform (GCP) et Databricks, notre client recherche un Data Engineer expérimenté pour concevoir, développer et optimiser des pipelines de données à forte valeur ajoutée. Le consultant interviendra sur des projets de traitement de données en mode batch et streaming, en collaboration avec des équipes pluridisciplinaires, tout en contribuant à l’industrialisation des développements, à l’optimisation des coûts cloud et au maintien en conditions opérationnelles des applications.

Missions principales

• Concevoir et développer des projets d’intégration de données sur la plateforme Databricks.
• Développer des pipelines de données en mode batch et streaming à l’aide de PySpark, Spark et Python.
• Concevoir et optimiser les traitements SQL pour répondre aux besoins métiers.
• Mettre en oeuvre les chaînes CI/CD à l’aide de GitHub, Azure DevOps et Databricks Bundles.
• Participer à l’orchestration des traitements, au data management et à la sécurisation des flux de données.
• Optimiser les performances des traitements ainsi que la consommation des ressources Databricks et GCP.
• Concevoir et maintenir des tableaux de bord FinOps afin de suivre et maîtriser les coûts liés aux environnements GCP et Databricks.
• Participer aux astreintes et assurer le support en production des applications.
• Collaborer avec les chefs de projet, architectes, DevOps et autres Data Engineers.
• Produire et maintenir la documentation technique.
• Participer au partage des connaissances et à la montée en compétences de l’équipe.

Excellente maîtrise de Databricks (administration, Unity Catalog/Catalogues, Delta Lake, optimisation des performances).

• Très bonne maîtrise de PySpark, Apache Spark, Python et SQL.
• Maîtrise de Git.
• Expérience dans la mise en oeuvre de pipelines CI/CD (GitHub, Azure DevOps, Databricks Bundles).
• Bonne connaissance de Google Cloud Platform (GCS, Pub/Sub, GKE, Alerting).
• Expérience dans l’optimisation des performances et des coûts des plateformes Cloud.
• Expérience des traitements de données en mode batch et streaming.
• Bon niveau de communication et capacité à travailler en équipe.
• Français courant (obligatoire).
• Anglais technique (niveau basique suffisant).

Compétences appréciées

• Expérience en FinOps et suivi des coûts Cloud.
• Connaissances en gouvernance et sécurité des données.
• Expérience du support de production et des astreintes.
• Sens du partage des connaissances et de la documentation technique.
• Capacité à évoluer dans un environnement Agile et collaboratif., Profil recherchéMinimum 3 à 5 ans d’expérience en tant que Data Engineer.Expérience significative sur Databricks et Google Cloud Platform (GCP).Expérience dans le développement de pipelines de données en mode batch et streaming.Expérience des environnements de production, du support applicatif et des processus d’industrialisation (CI/CD)

Mais aussi…

Taux journalier :400.css-11k7fwb{display:inline-block;white-space:nowrap;vertical-align:middle;-webkit-padding-start:var(–chakra-space-1-5);padding-inline-start:var(–chakra-space-1-5);-webkit-padding-end:var(–chakra-space-1-5);padding-inline-end:var(–chakra-space-1-5);text-transform:none;font-size:var(–chakra-fontSizes-xs);border-radius:var(–chakra-radii-md);font-weight:var(–chakra-fontWeights-semibold);background:var(–chakra-colors-success-200);color:var(–chakra-colors-success-700);box-shadow:var(–badge-shadow);padding:4px 6px;–badge-bg:var(–chakra-colors-success-100);–badge-color:colors.success.800;}.chakra-ui-dark .css-11k7fwb:not([data-theme]),[data-theme=dark] .css-11k7fwb:not([data-theme]),.css-11k7fwb[data-theme=dark]{–badge-bg:rgba(226, 243, 232, 0.16);–badge-color:var(–chakra-colors-success-200);}Cette offre est à 0% de commission .css-74lrwu{width:1em;height:1em;line-height:1em;-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;color:currentColor;font-size:16px;display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-transition:.1s ease-in-out color;transition:.1s ease-in-out color;}.css-74lrwu *{-webkit-transition:.1s ease-in-out fill;transition:.1s ease-in-out fill;fill:var(–chakra-colors-rythm-600);}, * Minimum 3 à 5 ans d’expérience en tant que Data Engineer.

• Expérience significative sur Databricks et Google Cloud Platform (GCP).
• Expérience dans le développement de pipelines de données en mode batch et streaming.
• Expérience des environnements de production, du support applicatif et des processus d’industrialisation (CI/CD), Français Apache spark Anglais technique Unity Google cloud platform SQL Gestion des données Git Création d’une base documentaire Méthodes agiles Batching Optimisation des performances Python

Durée : 6 mois min