Data Engineer - Data Ops H/F

Vous interviendrez notamment sur les sujets suivants :

• Concevoir et faire évoluer les chaînes de collecte, transformation, stockage et exposition des logs.
• Accompagner les cas d’usage depuis la phase d’étude jusqu’à leur implémentation.
• Concevoir et automatiser les pipelines d’ingestion de données en batch et temps réel.
• Mettre en place les mécanismes de contrôle qualité permettant de garantir l’intégrité et la fiabilité des données.
• Participer à la conception des solutions techniques et fonctionnelles liées à la gestion des données opérationnelles.
• Gérer les flux de données ainsi que leur cycle de vie.
• Développer et maintenir des traitements de données sur des environnements de streaming.

• Accompagner les utilisateurs sur leurs besoins d’analyse de données, notamment autour :

• de l’observabilité ;
• du suivi opérationnel ;
• de la détection d’événements de sécurité.
• Contribuer au développement de dashboards et de cas d’usage Data / ML / IA.
• Mettre en oeuvre les solutions dans une démarche Agile / DevOps avec automatisation CI/CD.
• Rédiger la documentation technique, fonctionnelle et d’exploitation.
• Assurer le support technique et fonctionnel et participer à l’analyse et à la résolution des incidents.
• Travailler en proximité avec les équipes Data, Log Management, Infrastructure et les équipes opérationnelles.

Environnement technique

Kafka

• Elasticsearch / Kibana
• Logstash
• Apache Flink
• OpenTelemetry
• Python
• Java
• SQL
• GitLab
• Kubernetes
• CI/CD
• Architectures microservices
• Environnements infrastructure / réseau / systèmes, Profil recherchéProfil recherchéExpérience confirmée en Data Engineering, traitement de logs, observabilité ou plateformes de données.Bonne maîtrise des problématiques de streaming de données.Expérience dans la conception de solutions de collecte, ingestion, transformation et stockage de données.Très bonne connaissance de Kafka et/ou de technologies équivalentes de streaming.Bonne maîtrise de Python et/ou Java ainsi que SQL.Expérience avec la suite Elastic : Elasticsearch, Kibana, Logstash.Connaissance d’Apache Flink et/ou d’OpenTelemetry appréciée.Bonne compréhension des environnements infrastructure, systèmes et réseaux.Maîtrise des pratiques DevOps / CI/CD, idéalement avec GitLab et Kubernetes.Capacité à intervenir sur l’ensemble du cycle de vie d’un flux de données, de la collecte jusqu’à son exploitation.Bon niveau d’anglais

Mais aussi…

Taux journalier :670.css-11k7fwb{display:inline-block;white-space:nowrap;vertical-align:middle;-webkit-padding-start:var(–chakra-space-1-5);padding-inline-start:var(–chakra-space-1-5);-webkit-padding-end:var(–chakra-space-1-5);padding-inline-end:var(–chakra-space-1-5);text-transform:none;font-size:var(–chakra-fontSizes-xs);border-radius:var(–chakra-radii-md);font-weight:var(–chakra-fontWeights-semibold);background:var(–chakra-colors-success-200);color:var(–chakra-colors-success-700);box-shadow:var(–badge-shadow);padding:4px 6px;–badge-bg:var(–chakra-colors-success-100);–badge-color:colors.success.800;}.chakra-ui-dark .css-11k7fwb:not([data-theme]),[data-theme=dark] .css-11k7fwb:not([data-theme]),.css-11k7fwb[data-theme=dark]{–badge-bg:rgba(226, 243, 232, 0.16);–badge-color:var(–chakra-colors-success-200);}Cette offre est à 0% de commission .css-74lrwu{width:1em;height:1em;line-height:1em;-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;color:currentColor;font-size:16px;display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-transition:.1s ease-in-out color;transition:.1s ease-in-out color;}.css-74lrwu *{-webkit-transition:.1s ease-in-out fill;transition:.1s ease-in-out fill;fill:var(–chakra-colors-rythm-600);}, * Expérience confirmée en Data Engineering, traitement de logs, observabilité ou plateformes de données.

• Bonne maîtrise des problématiques de streaming de données.
• Expérience dans la conception de solutions de collecte, ingestion, transformation et stockage de données.
• Très bonne connaissance de Kafka et/ou de technologies équivalentes de streaming.
• Bonne maîtrise de Python et/ou Java ainsi que SQL.
• Expérience avec la suite Elastic : Elasticsearch, Kibana, Logstash.
• Connaissance d’Apache Flink et/ou d’OpenTelemetry appréciée.
• Bonne compréhension des environnements infrastructure, systèmes et réseaux.
• Maîtrise des pratiques DevOps / CI/CD, idéalement avec GitLab et Kubernetes.
• Capacité à intervenir sur l’ensemble du cycle de vie d’un flux de données, de la collecte jusqu’à son exploitation.
• Bon niveau d’anglais, Anglais Intelligence artificielle Contrôle qualité SQL Kibana Gestion des données Git Kubernetes Python KAFKA Java Analyse de données

Dans le cadre de ses projets clients, Visian est à la recherche d’un Data Engineer/Data Ops