Senior Data Engineer H/F
Role details
Job location
Tech stack
Job description
L'entité Data Driven a pour ambition d'aider ses clients à transformer la valeur de leurs données en succès durable. Nous tirons parti à la fois de notre expertise sur les plateformes technologiques les plus innovantes et de notre connaissance métier avec la meilleure combinaison d'experts pour accompagner nos clients dans leur quête d'agilité, de compétitivité et de croissance durable.
En tant que Data Engineer Senior, vous rejoignez notre équipe lilloise pour mener la transformation des systèmes d'information de nos clients. Vos missions principales seront :
- La conception de l'architecture des chaînes de traitement Big Data pour des environnements de grande échelle, en garantissant leur robustesse et leur performance.
- Le développement des modules ETL avancés (extraction, transformation, stockage) répondant aux besoins de traitement intensif des données.
- La définition et l'implémentation des API pour une intégration optimale dans des écosystèmes complexes.
- La supervision des déploiements en utilisant des méthodologies Agile/DevOps, en apportant votre expertise pour optimiser les processus.
- L'automatisation des workflows critiques pour maximiser l'efficacité opérationnelle.
Requirements
Vous êtes titulaire d'un diplôme d'ingénieur ou d'un Master 2 en informatique et disposez de plus de 5 ans d'expérience professionnelle en ingénierie des données. Vous excellez dans la gestion de projets complexes, avec une forte capacité à travailler en équipe et à guider des collègues moins expérimentés. Vous avez une maîtrise avancée de SQL, Python, et Git, ainsi qu'une expertise approfondie dans plusieurs des technologies suivantes : MongoDB, Snowflake, Databricks, Hadoop, Spark, Scala, Apache, Matillion, Talend, Kafka, SAP, Power BI, Kubernetes, Docker, Cloudera, Cloud (AWS, GCP, Azure), Dataviz, Tableau. La maîtrise de l'anglais est indispensable. Une expérience dans des projets Open Source ou dans des environnements cloud sera un atout., Vous êtes titulaire d'un diplôme d'ingénieur ou d'un Master 2 en informatique et disposez de plus de 5 ans d'expérience professionnelle en ingénierie des données. Vous excellez dans la gestion de projets complexes, avec une forte capacité à travailler en équipe et à guider des collègues moins expérimentés. Vous avez une maîtrise avancée de SQL, Python, et Git, ainsi qu'une expertise approfondie dans plusieurs des technologies suivantes : MongoDB, Snowflake, Databricks, Hadoop, Spark, Scala, Apache, Matillion, Talend, Kafka, SAP, Power BI, Kubernetes, Docker, Cloudera, Cloud (AWS, GCP, Azure), Dataviz, Tableau. La maîtrise de l'anglais est indispensable. Une expérience dans des projets Open Source ou dans des environnements cloud sera un atout.
EUR
Anglais ETL Scala API Google cloud platform Hadoop SQL Power BI Git MongoDB Kubernetes Big data Python Conduite de projet KAFKA Visualisation de données Docker