Data Engineer
Role details
Job location
Tech stack
Job description
- Diriger la migration des workflows et modèles de machine learning existants de AWS SageMaker vers les environnements Databricks et Azure Machine Learning.
- Concevoir, implémenter et optimiser les pipelines de données, en assurant une ingestion, une transformation et un stockage des données fluides au sein de Databricks.
- Collaborer avec les équipes de protection des données, de sécurité et d'architecture pour garantir la conformité aux normes de l'entreprise et aux exigences réglementaires.
- Servir de point de contact principal avec les équipes IT, sécurité et confidentialité des données pour coordonner l'infrastructure, les contrôles d'accès et les protocoles de sécurité.
- Établir les meilleures pratiques pour la gestion des données, le contrôle de version et la documentation au sein du nouvel environnement.
- Surveiller, dépanner et maintenir la performance, la fiabilité et la sécurité de la plateforme.
- Fournir formation et support aux membres de l'équipe sur les outils et workflows de Databricks et Azure ML.
- Se tenir informé des dernières avancées en Databricks, Azure ML et technologies associées pour améliorer continuellement la plateforme.
- Documenter l'architecture, les processus et les lignes directrices pour assurer la maintenabilité et le partage des connaissances.
Requirements
- Master en informatique, data science, ingénierie ou domaine connexe.
- Certificats pertinents en Azure (par exemple, Azure Data Engineer, Azure Data Scientist) et Databricks (Machine Learning Associate/Professional, Data Engineering Associate/Professional) sont des atouts.
- Vous parlez couramment Français ou Néerlandais et avez un bon niveau en Anglais.
- Compétences techniques :
- Expérience approfondie avec la plateforme Databricks, y compris Delta Lake, Spark et MLflow.
- Bonne connaissance des systèmes de Machine Learning, y compris le déploiement, la gestion et l'orchestration de modèles (bvb, Azure Machine Learning, MLflow).
- Maîtrise de Python, Scala ou SQL pour le traitement des données et les workflows de machine learning.
- Maîtrise des meilleures pratiques en matière de logiciels Python et de systèmes d'apprentissage automatique : version control (git), feature stores, artifact registries, model registries, experiment tracking, FTI pipelines.
- Connaissance de la sécurité cloud, des réglementations sur la confidentialité des données et des meilleures pratiques en infrastructure cloud.
- Expérience professionnelle :
- Expérience avérée dans la migration de workflows de machine learning depuis d'autres plateformes (par exemple AWS SageMaker) vers Databricks et Azure ML.
- Expérience pratique dans la construction de pipelines de données évolutifs, processus ETL et déploiement de modèles ML.
- Expérience de collaboration avec les équipes IT, sécurité et confidentialité pour assurer conformité et sécurité.
- Au moins 5 années d'expérience professionnelle dans un domaine adapté.
- Compétences interpersonnelles :
- Forte capacité de résolution de problèmes et approche proactive pour la maintenance et l'optimisation de la plateforme.
- Excellentes compétences en communication pour travailler avec des équipes transversales et des parties prenantes.
- Capacité à documenter clairement les processus et à dispenser une formation technique si nécessaire.
- Qualités supplémentaires :
- Enthousiasme pour suivre l'évolution des technologies cloud et des outils de data science.
- Capacité à travailler de manière indépendante et à gérer plusieurs priorités dans un environnement dynamique.
Benefits & conditions
Une rémunération et des avantages en lien avec votre travail
Vous bénéficierez d'un salaire compétitif, complété éventuellement d'un bonus discrétionnaire lié au résultat personnel et d'un bonus collectif, avec des chèques-repas, des écochèques, du remboursement total des transports en commun et un plan cafétaria.
Tous les avantages d'un assureur comme employeur
Vous bénéficierez d'une assurance pension et d'une assurance hospitalisation et soins ambulatoires (également à un tarif préférentiel pour les membres de votre ménage) ainsi que d'une réduction allant jusqu'à 30 % sur nos autres produits d'assurance.
Un emploi qui s'adapte à votre vie et à vos rêves
Un horaire flexible de 35 heures par semaine, 36 jours de congé par an pour vous ressourcer, ainsi que la possibilité de travailler partiellement depuis la maison.
Vous bénéficierez de cours de sport au travail, de programmes de bien-être pour les employés et de formations, afin de vous maintenir en pleine forme, tant physiquement que mentalement.