Perfil Data Engineer - Especialista en Data Lake
Stefanini
Málaga, Spain
2 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
SpanishJob location
Málaga, Spain
Tech stack
Big Data
Hadoop
Hive
Python
Power BI
SQL Databases
Data Processing
Azure
Spark
Data Lake
PySpark
Databricks
Job description
- Diseñar y mantener pipelines de datos utilizando PySpark y SQL.
- Gestionar y optimizar la ingesta, procesamiento y almacenamiento de datos en el Data Lake.
- Preparar y estructurar datos para su visualización en Power BI.
- Colaborar con otros equipos para asegurar que los datos sean precisos, completos y accesibles.
- Identificar y resolver problemas relacionados con la calidad y consistencia de los datos.
Requirements
- Estamos buscando un Data Engineer con experiencia en el diseño, implementación y mantenimiento de arquitecturas de datos escalables y eficientes utilizando PySpark y SQL.
- Cuyo objetivo será procesar y transformar grandes volúmenes de datos para su posterior visualización y análisis en herramientas de Business Intelligence como Power BI.
- El rol requiere experiencia en PySpark para el procesamiento de datos a gran escala y la creación de pipelines, sólidos conocimientos en SQL para la consulta y manipulación de datos, experiencia en el diseño y gestión de Data Lakes incluyendo la ingesta.
- Procesamiento y almacenamiento, capacidad para preparar y estructurar datos para Power BI asegurando calidad y consistencia, así como conocimientos en herramientas Big Data como Hadoop, Spark y Hive.
- Se valoran habilidades para diseñar soluciones de datos escalables, trabajar con grandes conjuntos de datos optimizando procesos, resolver problemas complejos de calidad y consistencia, y colaborar con equipos de Business Intelligence y Analítica para garantizar que los datos sean precisos, completos y accesibles para la toma de decisiones.
- Como requisitos deseables, se considera un plus contar con experiencia en herramientas de Big Data y Data Science como Databricks o Azure Data Factory, conocimientos en Python y Scala, y certificaciones o formación adicional en ingeniería de datos.
