Data Engineer Databricks/AWS

Le Data Engineer supervise et intègre des données de natures diverses provenant de sources multiples ; il vérifie la qualité des données entrant dans le Data Lake, en effectuant notamment des tests, la déduplication et les activités d’assurance qualité associées.

Les principales responsabilités incluent :

Qualification et gestion des données :

• Collecte de données structurées et non structurées produites par différentes applications ou provenant de sources externes à l’entité

• Intégration des éléments

• Structuration des données (sémantique, etc.)

• Cartographie des éléments disponibles

• Nettoyage des données (élimination des doublons, etc.)

• Validation des données

• Création éventuelle du référentiel de données

La plateforme de données permet à tous les domaines producteurs de données de mettre à disposition des données brutes ou retravaillées dans un Data Lake. Cette plateforme gère notamment les fonctionnalités et les données relevant du périmètre métier « Relation Réseau ». Elle permet :

• L’intégration et l’assurance qualité des données brutes reçues des distributeurs

• La mise à disposition de données GRD exploitables pour tous les besoins du segment et de l’organisation (qu’il s’agisse de besoins opérationnels ou analytiques issus de tous les domaines métiers), * Maîtrise des outils Databricks (création de jobs, clusters, notebooks) et capacité à effectuer des requêtes SQL efficaces

• Maintien en conditions opérationnelles de la plateforme de production (analyse et correction d’incidents et d’anomalies)

• Développement de jobs d’ingestion et de transformation de données en Python avec Spark pour traiter de grands volumes de données

• Apport d’une vision à long terme, tant sur le plan opérationnel que stratégique pour la plateforme de données

• Soutien et promotion des meilleures pratiques

• Participation aux ateliers de conception technique et fonctionnelle

• Rédaction et mise à jour de la documentation technique

SQL Niveaux d’expérience Python V3 Confirmé Niveaux d’expérience Pyspark Confirmé Databricks (unity catalog, workflow, job, notebook) Confirmé AWS (Lambda, ECS, Step Function) confirmé