Data Engineer

Dans le cadre d'un programme de transformation data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur la construction d'une plateforme data moderne, scalable et évolutive.

Vous évoluerez dans un environnement technique hybride (cloud & on-premise), avec des enjeux forts autour de la fiabilité, de la qualité et de la valorisation des données.

Objectif de la mission

Renforcer l'équipe data en participant à :

• la conception et le développement des pipelines data
• la modélisation des données
• la mise à disposition des données pour les équipes BI

Vous interviendrez sur l'ensemble de la chaîne de valeur data, de l'ingestion à l'exploitation., Transformation & modélisation (DBT) - Prioritaire

• Concevoir et implémenter des modèles DBT (staging, intermédiaire, datamarts)
• Appliquer les bonnes pratiques d'architecture et de nommage
• Mettre en place des tests de qualité et tests fonctionnels
• Maintenir la documentation (lineage, dictionnaire de données)
• Gérer les évolutions de schéma et la compatibilité des modèles

Ingestion & pipelines data (Python)

• Développer et maintenir les pipelines d'ingestion
• Connecter différentes sources :
• APIs
• bases de données (PostgreSQL, Oracle...)
• fichiers
• outils SaaS (type CRM, ITSM, RH...)
• Mettre en place des chargements incrémentaux
• Gérer les doublons et la qualité des données

Orchestration (Dagster)

• Concevoir et orchestrer les pipelines de bout en bout
• Mettre en place le monitoring
• Définir les dépendances et stratégies de planification
• Gérer les retries et la fiabilité des traitements

Environnement Cloud (Snowflake - secondaire)

• Gestion des ressources (warehouses)
• Optimisation des coûts et de la performance
• Gestion des accès et rôles

Data Engineer confirmé (7/8 ans d'expérience minimum)Expérience sur des projets data en productionCompétences techniquesIndispensablesPythonDBT CoreGit / CI-CDSouhaitéesDagsterDLTAppréciéesSnowflakePower BIEnvironnement techniqueStack DataPythonDBT CoreDLTDagsterPlateforme & DataSnowflakePostgreSQLApache IcebergS3Trino (Starburst)BI & outilsPower BIStreamlitGit / CI-CD, * Data Engineer confirmé (7/8 ans d'expérience minimum)

• Expérience sur des projets data en production, * Python
• DBT Core
• Git / CI-CD

KP2i est un cabinet de Conseil & de Services qui accompagne ces clients pour transformer leur système d'information en un véritable partenaire business. Nous mettons nos 20 ans d'expérience IT & Digital, l'expertise et l'engagement de nos équipes au service de la réussite des projets. Le système d'information est un pilier pour les activités et s'étend des opérations de production, logistique, finance, RH, support, etc., jusqu'aux applications clients. Le bon fonctionnement et l'évolution technologique du SI, son adaptation aux enjeux de croissance et sa qualité expérientielle pour les clients sont autant d'objectifs qui sont le coeur de notre accompagnement depuis 20 ans. Nous allions nos expertises techniques avec nos compétences fonctionnelles et proposons des services d'ingénierie comme de conseil à toutes les étapes du cycle de vie du SI, avec un savoir-faire particulier en Digital. Nos Pôles de Compétences et d'expertises, unissent leurs forces dans un cercle vertueux pour un accompagnement efficient des activités et projets de nos clients. Ces Pôles composent aussi des communautés de compétences pour nos consultants, permettant à chacun de se former aux solutions de KP2i et de nos clients, d'échanger, de créer et de se conseiller mutuellement., KP2i est un cabinet de Conseil & de Services qui accompagne ces clients pour transformer leur système d'information en un véritable partenaire business.Nous mettons nos 20 ans d'expérience IT & Digital, l'expertise et l'engagement de nos équipes au service de la réussite des projets.Le système d'information est un pilier pour les activités et s'étend des opérations de production, logistique, finance, RH, support, etc., jusqu'aux applications clients.Le bon fonctionnement et l'évolution technologique du SI, son adaptation aux enjeux de croissance et sa qualité expérientielle pour les clients sont autant d'objectifs qui sont le coeur de notre accompagnement depuis 20 ans.Nous allions nos expertises techniques avec nos compétences fonctionnelles et proposons des services d'ingénierie comme de conseil à toutes les étapes du cycle de vie du SI, avec un savoir-faire particulier en Digital.Nos Pôles de Compétences et d'expertises, unissent leurs forces dans un cercle vertueux pour un accompagnement efficient des activités et projets de nos clients. Ces Pôles composent aussi des communautés de compétences pour nos consultants, permettant à chacun de se former aux solutions de KP2i et de nos clients, d'échanger, de créer et de se conseiller mutuellement.