Data Engineer (Híbrido - Madrid)

IT Partner España

Municipality of Madrid, Spain

2 days ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Regular working hours

Languages

Spanish

Experience level

Intermediate

Job location

Municipality of Madrid, Spain

Tech stack

Agile Methodologies

Airflow

Amazon Web Services (AWS)

Big Data

Databases

Continuous Integration

Elasticsearch

Hadoop

Hadoop Distributed File System

NoSQL

Apache Oozie

Systems Development Life Cycle

Shell Script

Software Engineering

SQL Databases

Data Streaming

Parquet

Spark

Generative AI

Gitlab

Kubernetes

Hashicorp

Kafka

Kibana

Jenkins

Job description

En IT Partner España estamos buscando un/a Data Engineer con experiencia para incorporarse a un proyecto internacional de gran envergadura, enfocado en la modernización de arquitecturas de datos hacia entornos cloud., Formarás parte de un equipo técnico responsable de la migración de infraestructuras Big Data tradicionales (Hadoop) hacia soluciones modernas en la nube, trabajando con tecnologías como Kubernetes, Spark y Airflow as a Service. Responsabilidades

Migración de infraestructura Hadoop a entornos cloud (Kubernetes Engine, COS, Spark y Airflow como servicio).
Desarrollo de transformaciones de datos y controles de calidad para asegurar consistencia y precisión.
Implementación y mantenimiento de pipelines CI/CD (automatización de despliegues y testing).
Desarrollo y ejecución de tests unitarios y de validación.
Automatización y optimización de pipelines de datos con Airflow.
Elaboración de documentación técnica y operativa.
Colaboración con equipos multidisciplinares en entornos Agile.
Impulso de buenas prácticas y mejora continua dentro del equipo.

️ Stack Tecnológico

Spark con Scala
Apache Airflow
Hadoop (HDFS)
Bases de datos SQL y NoSQL
Almacenamiento S3 / COS
Formatos de datos: Parquet, ORC
Herramientas CI/CD (GitLab, Jenkins)

Requirements

Otros conocimientos importantes

Oozie
Shell scripting
SDLC (ciclo de vida de desarrollo de software)
Metodologías Agile
Uso de IA generativa aplicada al desarrollo (prompts, testing, documentación, etc.)

Se valorará

Experiencia con:
Elasticsearch y Kibana
Streaming de datos (Kafka, event streaming)
HashiCorp Vault (HVault)
Conocimientos en:
Kubernetes
Dremio

Benefits & conditions

Ubicación: Madrid (modelo híbrido - 50% presencial)
️ Disponibilidad para viajes ocasionales a Italia
Experiencia: a partir de 2-3 años
Salario: competitivo, según experiencia
️ Inglés: mínimo B2 (imprescindible, entorno internacional), * Proyecto internacional con tecnologías punteras
Entorno dinámico y colaborativo
Posibilidad de crecimiento profesional
Cultura orientada a la innovación y mejora continua