Data Engineer Hibrido Málaga

Kenos Technology

Málaga, Spain

4 days ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Shift work

Languages

Spanish

Job location

Málaga, Spain

Tech stack

Amazon Web Services (AWS)

Azure

Big Data

Continuous Integration

ETL

Relational Databases

Github

Python

PostgreSQL

Oracle Applications

Power BI

Data Streaming

Spark

Pandas

PySpark

Software Version Control

Databricks

Control M

Job description

Buscamos un/a Data Engineer con 4+ experiencia en el diseño y operación de pipelines de datos en entornos distribuidos. La persona se encargará de construir y optimizar procesos ETL/ELT, trabajar con grandes volúmenes de información y desarrollar soluciones de análisis y reporting que soporten las necesidades de negocio., * Diseñar, implementar y optimizar pipelines ETL/ELT en entornos distribuidos utilizando Apache Spark y/o Databricks.

Procesar grandes volúmenes de datos, optimizando particionado, tuning de jobs y gestión de datasets a escala.
Trabajar con bases de datos relacionales como PostgreSQL y Oracle.
Automatizar tareas y transformaciones de datos usando Python y librerías de data engineering (pandas, PySpark).
Crear dashboards y reportes para visualización en Power BI.
Gestionar control de versiones con GitHub: ramas, pull requests, colaboración y CI/CD básico.

Requirements

Experiencia demostrada en ingeniería de datos, diseño de pipelines y procesamiento de grandes volúmenes (Big Data).
Dominio de Apache Spark, idealmente en entornos Databricks, incluyendo particionado, optimización y procesamiento distribuido.
Fluidez en Python y uso de librerías para data engineering (pandas, PySpark, etc.).
Experiencia con bases de datos relacionales (PostgreSQL, Oracle).
Experiencia en procesos ETL/ELT y automatización de flujos de datos.
Conocimientos en herramientas de visualización como Power BI.
Experiencia con Git/GitHub y buenas prácticas de colaboración (ramas, PRs, CI/CD básico).
Habilidades analíticas, capacidad de diseño de procesos y manejo de grandes datasets en entornos complejos., Experiencia con Control-M para orquestación, así como conocimientos en cloud (Azure o AWS).