Data engineer (H/F)

Infrastructures de données :

• Cartographie et documente les sources de données.

• Assure la maintenance des différentes applications données (Data) déployées en production et des infrastructures.

• Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité.

• Structure les bases de données (sémantique, format, etc.).

• Contribue à la gestion des référentiels de données.

Intégration des données :

• Capte et stocke, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise.

• Assure la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples.

• Vérifie la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité.

• Nettoie la donnée (élimination des doublons) et la valide pour une utilisation aval.

Animation des communautés :

• Anime la communauté technique qui met en ?uvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée de l'entreprise.

Veille technologique :

• Reste en alerte sur les technologies liées au traitement de la manipulation de la donnée et identifie les solutions utilisables.

• Propose des évolutions pour les infrastructures et solutions de données en place

Exemple de livrables

• Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données.

• Un data lake adapté aux besoins actuels et futurs de l'entreprise.

• Une cartographie des données.

• Les éléments permettant de garantir la qualité de la donnée.

Le Data Engineer développe, construit et maintient des infrastructures de données d'un point de vue système et sécurité. Il s'assure de la collecte, du stockage et de l'exploitation des flux de données répondant aux enjeux de l'entreprise. Il est garant de l'accès qualitatif des sources de données qui viennent alimenter le Data Lake afin d'en faciliter l'exploitation par les équipes de Data Science. Il définit également la structure des métadonnées.

denodo - Confirmé - Impératif

data - Junior - Important

elk - Confirmé - Serait un plus

dataiku - Junior - Serait un plus