DataOps Engineer Confirmé

Keyrus Mea
Grimbergen, Belgium
2 days ago
Apply on jobs.keyrus.tn
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Job source

Tech stack

Airflow Data Analysis Continuous Integration Apache Hadoop Apache Hive Python (Programming Language) SQL Databases Snowflake Apache Spark Pyspark Dataiku

Job description

On this site, we always set cookies that are strictly necessary, meaning they are necessary for the site to function properly.

If you consent to it, we will also set other types of cookies. You can provide or withdraw your consent to the different types of cookies using the toggles below. You can change or withdraw your consent at any time, by clicking the link “Manage Cookies”, which is always available at the bottom of the site.

To learn more about what the different types of cookies do, how your data is used when they are set etc, see our Cookie Policy. Strictly necessary

These cookies are necessary to make the site work properly, and are always set when you visit the site. Vendors Teamtailor Analytics

These cookies collect information to help us understand how the site is being used. Vendors Teamtailor Marketing

Requirements

Compétences techniques : Python, SQL, Spark/PySpark ; Snowflake, Snowpark, Dataiku ; connaissance de l’écosystème Hadoop/Hive ; Airflow, dbt, ADF ; notions CI/CD

Compétences transverses : Capacité à travailler en mode projet/task force, rigueur méthodologique (tests, recette), communication IT/métier, appétence pour les outils IA, capacité à encadrer

Benefits & conditions

Bascule d’une plateforme Big Data legacy (Hadoop, Hive, Spark) vers Snowflake, refonte des pipelines et des modèles de données, dans un écosystème Dataiku, Python, dbt, Airflow, ADF.

Missions principales

  • Redesigner les pipelines Hadoop/Hive/Spark vers Snowflake (SQL, Snowpark) et migrer les projets Dataiku

  • Adapter les pipelines et logiques de transformation au nouvel environnement (conversion PySpark vers Python/SQL Snowflake)

  • Optimiser les modèles de données cibles et participer aux ateliers de cadrage avec les équipes IT et métier

  • Industrialiser les processus de migration via scripts Python et automatisation (type Streamlit)

  • Mettre en place des contrôles qualité des données, concevoir et exécuter des tests de non-régression

  • Mobiliser des outils IA pour accélérer la génération/validation des tests et documenter la recette (PV de recette)

  • Accompagner et encadrer les profils juniors sur la méthodologie de migration, assurer un rôle de référent technique

About the company

Keyrus MEA and our selected partners use cookies and similar technologies (together “cookies”) that are necessary to present this website, and to ensure you get the best experience of it. If you consent to it, we will also use cookies for analytics and marketing purposes., Keyrus est un acteur international de la transformation et de la performance des entreprises qui se positionne comme le partenaire stratégique de ses clients en les accompagnant dans l’analyse et la valorisation de leurs données, le développement et la maîtrise de leur expérience digitale.

Keyrus a développé depuis plus de 20 ans un savoir-faire dans différents métiers de l’entreprise d’aujourd’hui. Leader mondial dans le domaine du conseil et de l’intégration des solutions digitales et data intelligence, présente sur les 4 continents pour accompagner des milliers de clients.

Rejoindre Keyrus, c’est avoir l’opportunité de révéler vos talents et votre potentiel en prenant part aux projets stratégiques, opérationnels et technologiques des plus grandes entreprises internationales. C’est aussi se placer au cœur de l’innovation en bénéficiant de l’expertise d’un acteur international de la Data Intelligence, du Digital, du conseil en Management et de la Transformation des entreprises.

C’est aussi évoluer dans un environnement multiculturel, passionnant et formateur où une attention quotidienne est portée à votre développement professionnel et personnel., Joining Keyrus MEA means having the opportunity to reveal your talents and your full potential by taking part in the strategic, operational and technological projects of the largest French and international companies. It also means being at the heart of innovation by benefiting from the expertise of an international player in Data Intelligence, Digital, Management consulting and Business Transformation.

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on jobs.keyrus.tn
Prepare application

Good distractions

Loading talks and stories from around this role…