Data Engineer senior - CDI H/F

Collective
Canton de Massy, France
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
French
Experience level
Senior

Job location

Canton de Massy, France

Tech stack

Java
Agile Methodologies
Amazon Web Services (AWS)
Unit Testing
Google BigQuery
Command-Line Interface
Cloud Computing
Cloud Storage
Continuous Integration
Linux
DevOps
Scrum
SQL Databases
Spark
Spring-boot
Gitlab-ci
Kubernetes
Kafka
Docker
Microservices

Job description

Intégré(e) dans les équipes Plateforme Data le/la consultant(e) aura pour mission de contribuer à des projets Data en apportant son expertise sur les tâches suivantes : montée en compétence sur l'ETL BigL, participation à la réalisation de projets métier dans le cadre de la solution offline ELT in-House Big Loader et BDI/DBT, prise en charge des demandes de corrections provenant d'incidents ou d'anomalies, participation à l'auto-formation et à la montée en compétences de l'équipe de développement, application des bonnes pratiques et des normes de développement, mise en pratique des méthodes « devops », contribution aux chiffrages des usages et à la constitution des releases, contribution à l'automatisation du delivery, développement et documentation du code, travail au sein d'une équipe Clients SCRUM

Requirements

Solide expérience en développement avec des langages comme Scala et/ou Java, et une compréhension approfondie des concepts de programmation fonctionnelle.

Compétences avérées dans l'utilisation de plateformes de streaming de données comme Apache Kafka, et de frameworks de traitement de données distribuées comme Apache Spark.

Expérience significative dans le domaine de la Data et du Cloud (GCP ou AWS), en particulier les services tels que Cloud Storage, BigQuery, Dataproc, Kubernetes, et d'autres outils pertinents pour la gestion et le traitement de données à grande échelle

Bonne maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de gros volumes de données.

Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l'automatisation des workflows data.

Bonne connaissance de l'environnement Linux et des outils de ligne de commande.

Connaissance approfondie des concepts d'architecture microservices et des bonnes pratiques de développement.

Expérience dans l'écriture de tests unitaires et d'intégration pour garantir la qualité du code.

Excellente communication écrite et orale : Aptitude à produire des livrables et des reportings de haute qualité.

Connaissance sur Kafka-stream, spring boot,

Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des équipes pluridisciplinaires.

About the company

La Plateforme Data met en œuvre une architecture « Data Centric », point de référence de la data dans le SI pour casser les silos d'information de l'entreprise. Elle fournit ces données par API à l'ensemble de l'écosystème pour généraliser leur traitement et leur consultation en temps réel et permet de simplifier et accélérer les traitements analytiques de nos données pour faire converger l'opérationnel et le décisionnel.

Apply for this position