Data Engineer

Baoss

Municipality of Madrid, Spain

2 days ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Regular working hours

Languages

Spanish, English

Experience level

Intermediate

Job location

Municipality of Madrid, Spain

Tech stack

Airflow

Amazon Web Services (AWS)

Big Data

Databases

Continuous Integration

Elasticsearch

Hadoop

Hadoop Distributed File System

NoSQL

Apache Oozie

Scala

Shell Script

SQL Databases

Parquet

Spark

Gitlab

Kubernetes

Kafka

Kibana

Jenkins

Job description

Buscamos un Data Engineer con experiencia en ecosistemas Big Data para participar en un proyecto internacional enfocado en la migración de infraestructura Hadoop hacia entornos cloud basados en Kubernetes., Formarás parte de un equipo de ingeniería de datos responsable del diseño, desarrollo y automatización de pipelines de datos, trabajando con tecnologías como Spark, Scala, Airflow y herramientas CI/CD dentro de un entorno ágil., Migración de infraestructura Hadoop a cloud utilizando Kubernetes Engine, COS, Spark as a Service y Airflow as a Service. Desarrollo de procesos de transformación y calidad de datos para garantizar consistencia y precisión. Implementación de pipelines de datos utilizando Scala, SQL y Apache Spark. Automatización de procesos mediante Airflow y herramientas de orquestación. Creación y mantenimiento de pipelines CI/CD para despliegues y testing automatizado. Desarrollo de tests unitarios y validación de procesos de datos. Elaboración de documentación técnica y operativa. Colaboración con equipos de negocio y tecnología para diseñar soluciones de datos escalables.

Requirements

Experiencia con Apache Spark y Scala Experiencia en Hadoop ecosystem Conocimientos de SQL y bases de datos NoSQL Experiencia con Apache Airflow Experiencia con HDFS Experiencia con CI/CD (GitLab, Jenkins o similares) Conocimiento de S3 / COS Storage Experiencia trabajando con Parquet y ORC Conocimientos adicionales valorables Kubernetes / containerización Oozie Shell scripting Dremio

Elasticsearch / Kibana Kafka o procesamiento streaming, Idiomas: Inglés (Alto)

Formación Mínima: FP2/Grado Superior

Nivel Profesional: Empleado

Benefits & conditions

Proyecto internacional en entorno Big Data Modelo de trabajo híbrido en Madrid (1 día presencial) Participación en proyectos de modernización de plataformas de datos Entorno tecnológico moderno, * Jornada completa Jornada