Data Engineer H/F
Savane Consulting
Canton of Rennes-4, France
2 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
FrenchJob location
Canton of Rennes-4, France
Tech stack
API
Google BigQuery
Code Review
ETL
Hadoop
Hive
Python
RabbitMQ
Standard Sql
Cloudera
SQL Databases
Snowflake
Spark
GIT
PySpark
Gitlab-ci
Kafka
Job description
Développer et maintenir les flux d'ingestion et de transformation de données
- Participer à la migration des traitements Cloudera / Hive / Hadoop vers Snowflake
- Développer des traitements en Python, SQL et éventuellement PySpark
- Exploiter différentes sources de données : API, Kafka, RabbitMQ, fichiers plats, bases relationnelles
- Assurer le suivi de production, analyser les incidents et mettre en place les correctifs
- Participer aux revues de code et aux bonnes pratiques via Git
- Rédiger et maintenir la documentation technique des traitements
- Mettre en place des contrôles de cohérence et de qualité des données
Requirements
Le profil recherché :Expérience confirmée en Data EngineeringTrès bonne maîtrise de Python et SQLExpérience sur des environnements ETL / ELTMaîtrise de Git et des bonnes pratiques de développementExpérience en diagnostic et correction d'incidents de productionAutonomie, rigueur et capacité à travailler en équipeCompétences appréciées :Snowflake ou BigQueryPySpark / SparkHive / Hadoop / ClouderaKafka / RabbitMQGitLab CIKubernetes, * Expérience confirmée en Data Engineering
- Très bonne maîtrise de Python et SQL
- Expérience sur des environnements ETL / ELT
- Maîtrise de Git et des bonnes pratiques de développement
- Expérience en diagnostic et correction d'incidents de production
- Autonomie, rigueur et capacité à travailler en équipe
Compétences appréciées :
- Snowflake ou BigQuery
- PySpark / Spark
- Hive / Hadoop / Cloudera
- Kafka / RabbitMQ
- GitLab CI
About the company
Le groupe Savane représente :
- 3 agences : Paris, Lyon et Rennes
- 5 filiales spécialisées dans les métiers de l'ingénierie informatique.
- Une équipe soudée autour de valeurs communes et d'une vision de notre métier, Nous recherchons un Data Engineer afin d'intégrer l'équipe DATA technique de notre client, acteur majeur du secteur des médias et du digital.
L'équipe est en charge des traitements d'ingestion, de transformation et d'exposition des données du groupe : audience web et mobile, marketing digital, base clients, contenus éditoriaux, offres commerciales ou encore logistique de distribution.
Dans un contexte de transformation de la plateforme DATA, le socle technique migre actuellement d'un environnement Cloudera on premise vers Snowflake., Le groupe Savane représente :3 agences : Paris, Lyon et Rennes5 filiales spécialisées dans les métiers de l'ingénierie informatique.Une équipe soudée autour de valeurs communes et d'une vision de notre métier