Senior Data Engineer - Aws & Python H/F

Vous interviendrez sur la conception, l’industrialisation et la maintenance de l’ensemble des flux de données de la plateforme.

En lien direct avec le CTO, le Data Scientist ainsi que les équipes Produit et Business, vous contribuerez à construire une architecture Data fiable, traçable et évolutive.

Le poste demande à la fois une forte capacité opérationnelle, une vision d’architecture et suffisamment d’autonomie pour avancer dans un environnement technique en cours de structuration.

Vos principales responsabilités

Architecture et pipelines Data

• Concevoir, développer et maintenir les pipelines d’ingestion de données.
• Intégrer des données provenant de sources ouvertes, propriétaires, de bases de données ou d’API externes.
• Structurer et industrialiser les flux de collecte, de transformation et de mise à disposition des données.
• Participer aux choix d’architecture et à l’évolution de la plateforme Data.
• Garantir la fiabilité, la performance et la maintenabilité des traitements.
• Anticiper les besoins de montée en charge et les évolutions du produit.

Environnement AWS

• Administrer et optimiser l’environnement Data hébergé sur AWS.
• Intervenir sur les réseaux, les bases de données, les fonctions serverless et les différents jobs de traitement.
• Concevoir et développer des fonctions AWS Lambda en Python.
• Mettre en oeuvre des traitements statistiques à partir de bases de données ou d’API.
• Participer à l’automatisation, au monitoring et à la sécurisation des différents composants.
• Veiller à la maîtrise des performances et des coûts de l’infrastructure.

Qualité et traçabilité des données

• Mettre en place des contrôles permettant de garantir la qualité et la cohérence des données.
• Évaluer la fiabilité des données et des modèles transmis par des prestataires externes.
• Identifier les anomalies, les ruptures de flux et les dérives éventuelles.
• Assurer la traçabilité des données tout au long de leur cycle de vie.
• Documenter les sources, les transformations et les règles de gestion.
• Produire des restitutions exploitables par les équipes Produit et Business.

Data Science et IA

• Collaborer avec le Data Scientist sur la préparation et la mise à disposition des données.
• Concevoir et maintenir des pipelines d’entraînement de modèles statistiques.
• Accompagner l’industrialisation et l’intégration des modèles au sein du produit.
• Comprendre les besoins liés au machine learning et à l’IA au-delà de la seule circulation des données.
• Contribuer à la mise en place de fondations Data adaptées aux futurs usages d’IA., Un poste directement lié au coeur du produit.
• Une forte autonomie et une réelle influence sur les choix d’architecture.
• Des problématiques Data concrètes, riches et stratégiques.
• La possibilité de structurer une plateforme Data en pleine évolution.
• Une collaboration directe avec le CTO, le Data Scientist et les équipes Produit.
• Un environnement dans lequel la qualité de la donnée conditionne directement la performance du produit.

• Des cas d’usage concrets autour de la Data Science et de l’IA., Processus de recrutement

• Premier échange avec un recruteur.
• Entretien avec le CTO.
• Test technique.
• Rencontre avec l’équipe.

Profil recherchéProfil recherchéVous justifiez d’au moins 5 ans d’expérience en Data Engineering.Vous maîtrisez Python appliqué au développement de pipelines et de traitements Data.Vous disposez d’une expérience concrète dans la conception et l’industrialisation de flux de données.Vous maîtrisez les principaux services AWS et avez déjà développé des fonctions AWS Lambda.Vous êtes capable de travailler avec des données provenant de bases, d’API et de sources externes.Vous maîtrisez SQL et les problématiques liées à la structuration et à l’interrogation des données.Vous accordez une importance particulière à la qualité, à la traçabilité et à la documentation des données.Vous êtes capable de prendre du recul sur l’architecture, au-delà de la seule exécution technique.Vous êtes autonome et à l’aise dans un environnement en cours de construction.Vous savez communiquer avec des interlocuteurs techniques, Produit et Business.Environnement techniquePythonSQLAWSAWS LambdaBases de données relationnellesAPIsPipelines d’ingestion et de transformationJobs de traitement et fonctions serverlessMonitoring et contrôle de la qualité des donnéesPipelines d’entraînement de modèlesGit et bonnes pratiques de développementLes compétences qui feront la différenceUne expérience dans la conception d’une architecture Data sur AWS.Une bonne compréhension des problématiques réseau, de sécurité et de gestion des accès dans le cloud.Une expérience dans la mise en place de systèmes de data quality ou de data lineage.Une connaissance des problématiques MLOps et des pipelines d’entraînement.Une expérience avec des données géographiques, immobilières, financières ou de marché.Une capacité à évaluer la qualité de données fournies par des partenaires externes.Une bonne compréhension des enjeux liés au machine learning et à l’IA., * Vous justifiez d’au moins 5 ans d’expérience en Data Engineering.

• Vous maîtrisez Python appliqué au développement de pipelines et de traitements Data.
• Vous disposez d’une expérience concrète dans la conception et l’industrialisation de flux de données.
• Vous maîtrisez les principaux services AWS et avez déjà développé des fonctions AWS Lambda.
• Vous êtes capable de travailler avec des données provenant de bases, d’API et de sources externes.
• Vous maîtrisez SQL et les problématiques liées à la structuration et à l’interrogation des données.
• Vous accordez une importance particulière à la qualité, à la traçabilité et à la documentation des données.
• Vous êtes capable de prendre du recul sur l’architecture, au-delà de la seule exécution technique.
• Vous êtes autonome et à l’aise dans un environnement en cours de construction.
• Vous savez communiquer avec des interlocuteurs techniques, Produit et Business.

Environnement technique

• Python
• SQL
• AWS
• AWS Lambda
• Bases de données relationnelles
• APIs
• Pipelines d’ingestion et de transformation
• Jobs de traitement et fonctions serverless
• Monitoring et contrôle de la qualité des données
• Pipelines d’entraînement de modèles
• Git et bonnes pratiques de développement

Les compétences qui feront la différence

• Une expérience dans la conception d’une architecture Data sur AWS.
• Une bonne compréhension des problématiques réseau, de sécurité et de gestion des accès dans le cloud.
• Une expérience dans la mise en place de systèmes de data quality ou de data lineage.
• Une connaissance des problématiques MLOps et des pipelines d’entraînement.
• Une expérience avec des données géographiques, immobilières, financières ou de marché.
• Une capacité à évaluer la qualité de données fournies par des partenaires externes.
• Une bonne compréhension des enjeux liés au machine learning et à l’IA.

EUR

Machine learning Intelligence artificielle API SGBD SQL AWS Git Python Autonomie

Nous accompagnons une entreprise technologique développant une plateforme Data destinée à l’analyse, à la valorisation et à l’évaluation des risques liés aux actifs immobiliers.

La donnée constitue une composante centrale de son produit. Dans un contexte de croissance et de montée en maturité technique, l’entreprise souhaite renforcer son équipe avec un Senior Data Engineer capable de structurer son architecture, de fiabiliser ses flux et d’accompagner le développement de nouveaux usages Data et IA., Le besoinL’entrepriseNous accompagnons une entreprise technologique développant une plateforme Data destinée à l’analyse, à la valorisation et à l’évaluation des risques liés aux actifs immobiliers.