Data Engineer (H/F)
HCube Conseil
Canton of Montpellier-3, France
3 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
FrenchJob location
Canton of Montpellier-3, France
Tech stack
Java
Data analysis
Azure
Bash
Big Data
Cloud Computing
Databases
Continuous Integration
ETL
Data Mapping
Data Security
Data Warehousing
DevOps
Python
Software Engineering
SQL Databases
Data Streaming
Data Processing
Scripting (Bash/Python/Go/Ruby)
Spark
Data Lake
Job description
Vous intervenez sur les infrastructures et l'intégration des données au sein de l'entreprise. Votre rôle est de garantir la disponibilité, la qualité et la sécurité des flux de données tout en contribuant à l'évolution des architectures et des pratiques Data.
Missions principales
Infrastructures de données
- Cartographier et documenter les sources de données
- Assurer la maintenance des applications et infrastructures Data déployées en production
- Concevoir des solutions pour traiter des volumes importants de données en toute sécurité
- Structurer les bases de données (sémantique, formats, modèles)
- Contribuer à la gestion des référentiels de données
Intégration des données
- Capturer et stocker les données (structurées et non structurées) issues d'applications internes ou externes
- Superviser et intégrer des données provenant de sources multiples
- Vérifier la qualité des données et garantir leur sécurité
- Nettoyer et valider les données pour une utilisation en aval
Animation des communautés
- Animer la communauté technique impliquée dans la mise en œuvre de la politique de la donnée
- Favoriser l'adoption des bonnes pratiques et standards Data
Veille technologique
- Suivre les évolutions technologiques liées au traitement et à la manipulation des données
- Proposer des améliorations et évolutions pour les infrastructures et solutions en place
Compétences techniques requises
- Langages et scripting : SQL, Python, Java, Bash/Shell
- Bases de données : Bases relationnelles, Data Warehouse, Data Lake, Data Platform / Lakehouse
- Traitement des données : Frameworks Big Data (Apache Spark), pipelines ETL/ELT, streaming
- Cloud Computing : Azure, concepts de stockage et calcul distribués
- Modélisation et architecture : Modélisation relationnelle et dimensionnelle, modèles en étoile/flocon, compréhension des architectures Data Lake et Data Warehouse
- DevOps et ingénierie logicielle : CI/CD, conteneurs, orchestration, versionning Git/GitHub, surveillance et journalisation
- Gouvernance et qualité des données : Vérification des duplications, gestion des erreurs, RGPD, catalogues, sécurité des données, * Compétences analytiques et mathématiques pour l'interprétation des données et le support aux équipes Data Science
- Résolution de problèmes : capacité à identifier des inefficacités et proposer des solutions
- Communication : capacité à présenter des concepts techniques à des publics non techniques
- Adaptabilité : apprendre rapidement de nouvelles technologies et méthodes dans un domaine en constante évolution
Livrables attendus
- Documentation d'exploitation des solutions de traitement des données
- Cartographie des données
- Indicateurs et éléments garantissant la qualité des données
Requirements
- Expérience confirmée sur des environnements Data volumineux et hétérogènes
- Expertise en intégration et traitement de données Big Data
- Capacité à industrialiser et documenter les solutions
- Autonomie, rigueur et esprit d'équipe
About the company
Notre groupe est au service de la transformation digitale des entreprises depuis 20 ans.
De l'étude à la réalisation en passant par le conseil, nous travaillons sur des projets de refonte d'infrastructure, de Cloud, d'Intelligence artificielle, de Cybersécurité, d'équipements « Endpoint », de Smartcity ou encore en développement web et applicatif.
Nous sommes convaincus qu'il ne suffit pas de transformer l'IT et qu'il faut aussi être capable de digitaliser les produits, les services et plus généralement les métiers
#DIGITALWAY
La complémentarité de nos différents pôles et de leurs expertises respectives permet aujourd'hui à REEL IT de se distinguer par son hyper-compétence, sa polyvalence et son dynamisme.
La cohésion entre nos différents pôles d'expertise constitue notre force pour faire face à la complexité et à l'ampleur de tous les projets que nous abordons.