Data Engineer Databricks Senior H/F

Innova Solutions
Canton of Clamart, France
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French
Experience level
Senior
Compensation
€ 75K

Job location

Remote
Canton of Clamart, France

Tech stack

Agile Methodologies
Artificial Intelligence
Airflow
Continuous Integration
Data Vault Modeling
Hive
Python
Machine Learning
DataOps
SQL Databases
Data Streaming
Data Processing
Data Ingestion
Spark
Generative AI
GIT
Data Lake
PySpark
Kafka
Machine Learning Operations
Terraform
Databricks

Job description

projets ambitieux,

  • suivi personnalisé,
  • proximité managériale,
  • perspectives d'évolution.

Que vous soyez en recherche d'un nouveau challenge technique, d'un environnement international ou d'un projet porteur de sens, nous serons ravis d'échanger avec vous.

Rejoignez nous et participez aux projets qui façonneront les industries de demain !, Vous rejoindrez une équipe d'experts intervenant sur des projets de conception et d'industrialisation de plateformes Lakehouse modernes, avec des enjeux autour de la valorisation de la donnée, de l'analytique avancée et de l'intelligence artificielle., Vous intégrez une équipe projet stable en CDI.

  • Les projets sont réalisés au forfait, au sein des équipes internes.
  • Vous ne serez pas envoyé.e en mission directement chez les clients.
  • Vous évoluez avec les mêmes équipes, le même management et bénéficiez d'une véritable continuité technique sur les projets.

Vous participerez à la conception, au développement et à l'industrialisation de plateformes Data modernes dans un environnement Databricks, au service de projets analytiques, Data Science et IA.

Missions & périmètre d'intervention :

Le Data Engineer intervient sur l'ensemble du cycle de vie des plateformes de données, de leur conception jusqu'à leur industrialisation.

Conception & développement de plateformes Lakehouse :

  • Concevoir et développer des plateformes Lakehouse basées sur Databricks.
  • Structurer les données selon une architecture Medallion (Bronze / Silver / Gold) sur Delta Lake.
  • Développer des traitements batch et streaming avec PySpark et Spark SQL.
  • Concevoir et maintenir les pipelines d'ingestion de données à partir de sources hétérogènes.
  • Mettre en oeuvre les transformations de données avec dbt.
  • Participer aux choix d'architecture afin de garantir des plateformes performantes, évolutives et adaptées aux besoins métiers.
  • Modéliser les données selon les approches Kimball, avec des connaissances Data Vault 2.0.

Industrialisation & optimisation :

  • Orchestrer les traitements avec Databricks Workflows ou Airflow.
  • Automatiser les déploiements via des pratiques CI/CD, Infrastructure as Code et DataOps.
  • Optimiser les performances des traitements Spark ainsi que les coûts des plateformes cloud.
  • Participer à l'industrialisation des workflows Data et aux pratiques MLOps.

Accompagnement des projets :

  • Participer aux ateliers de cadrage avec les équipes métiers, Data et Data Science.
  • Préparer les données pour des cas d'usage analytiques, Machine Learning et IA générative.
  • Accompagner les équipes clientes sur les bonnes pratiques de développement et d'exploitation des plateformes Data.
  • Collaborer avec des équipes pluridisciplinaires en méthodologie Agile.

Requirements

Minimum 5 années d'expérience post-diplôme en Data Engineering.Bac +5 en informatique, école d'ingénieur ou université.Expérience significative sur Databricks et Apache Spark dans des environnements de production.Maîtrise de Delta Lake et de l'architecture Lakehouse.Solide expérience en développement PySpark et Spark SQL.Bonne maîtrise de Python, SQL et des outils de transformation (dbt).Expérience avec les outils d'orchestration (Databricks Workflows, Airflow) et les architectures temps réel (Kafka).Connaissances des pratiques CI/CD, Git, Terraform, DataOps et des concepts MLOps (MLflow). Intéressé.e ? Postulez dès maintenant ! Tous nos postes sont ouverts aux personnes en situation de handicap., * Minimum 5 années d'expérience post-diplôme en Data Engineering.

  • Bac +5 en informatique, école d'ingénieur ou université.
  • Expérience significative sur Databricks et Apache Spark dans des environnements de production.
  • Maîtrise de Delta Lake et de l'architecture Lakehouse.
  • Solide expérience en développement PySpark et Spark SQL.
  • Bonne maîtrise de Python, SQL et des outils de transformation (dbt).
  • Expérience avec les outils d'orchestration (Databricks Workflows, Airflow) et les architectures temps réel (Kafka).
  • Connaissances des pratiques CI/CD, Git, Terraform, DataOps et des concepts MLOps (MLflow)., Apache spark Machine learning Intelligence artificielle SQL Git Batching Python KAFKA

Benefits & conditions

Localisation : Clamart - 2 jours de télétravail par semaine

Contrat : CDI - Projets réalisés en interne (pas de régie)

Rémunération : 60K€ - 75K€ annuels bruts fixes selon expérience et compétences

Date de démarrage : ASAP ou selon disponibilité (préavis)

About the company

A la fois société de conseil en ingénierie et cabinet de recrutement, Innova Solutions accompagne depuis plus de 25 ans les industriels et entreprises innovantes dans leurs projets de croissance et de transformation. Basés à Sophia Antipolis, au coeur de la French Riviera, nous intervenons partout en France sur des projets à forte valeur ajoutée dans les secteurs de l'IT, des Télécoms et de l'Engineering. Grâce à notre expertise métier et à un réseau international de plus de 10 000 collaborateurs répartis dans 47 bureaux à travers le monde, nous proposons à nos consultants et candidats des opportunités stimulantes au sein d'environnements techniques exigeants et innovants. Chez Innova Solutions, nous accordons une attention particulière à l'accompagnement de nos talents, Dans le cadre du développement de son activité Data & IA, une entreprise spécialisée dans la conception et la réalisation de solutions numériques renforce son équipe Data avec un.e Data Engineer Databricks Senior., A la fois société de conseil en ingénierie et cabinet de recrutement, Innova Solutions accompagne depuis plus de 25 ans les industriels et entreprises innovantes dans leurs projets de croissance et de transformation.Basés à Sophia Antipolis, au coeur de la French Riviera, nous intervenons partout en France sur des projets à forte valeur ajoutée dans les secteurs de l'IT, des Télécoms et de l'Engineering.Grâce à notre expertise métier et à un réseau international de plus de 10 000 collaborateurs répartis dans 47 bureaux à travers le monde, nous proposons à nos consultants et candidats des opportunités stimulantes au sein d'environnements techniques exigeants et innovants. Chez Innova Solutions, nous accordons une attention particulière à l'accompagnement de nos talents :projets ambitieux,suivi personnalisé,proximité managériale,perspectives d'évolution.Que vous soyez en recherche d'un nouveau challenge technique, d'un environnement international ou d'un projet porteur de sens, nous serons ravis d'échanger avec vous. Rejoignez nous et participez aux projets qui façonneront les industries de demain !

Apply for this position