Data Engineer

Data Engineer
Legutio, Spain
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
Spanish
Experience level
Intermediate
Compensation
€ 60K

Job location

Legutio, Spain

Tech stack

Agile Methodologies
Airflow
Amazon Web Services (AWS)
Big Data
Cloud Computing
Databases
Hadoop
Hadoop Distributed File System
Python
NoSQL
Scala
SQL Databases
Parquet
Spark

Job description

Una empresa de tecnología en España busca un/a Data Engineer para un proyecto estratégico dentro del sector bancario. Se requiere experiencia de 3-4 años en Big Data, especialmente con Spark, Scala, Python y Apache Airflow. La posición incluye migración de infraestructuras hacia la nube y desarrollo de pipelines de datos. La empresa ofrece un entorno flexible, oportunidades de formación y un paquete competitivo de beneficios, incluyendo seguro médico y transporte., * Participar en la migración de infraestructuras Hadoop legacy hacia arquitecturas cloud.

  • Desarrollar y optimizar pipelines de datos robustos y escalables.
  • Implementar procesos de transformación y calidad de datos utilizando Spark y SQL.
  • Automatizar pipelines mediante Airflow.
  • Construir y mantener CI/CD pipelines para despliegues y testing automático.
  • Realizar tests unitarios y validaciones de calidad de datos.
  • Escribir documentación técnica y operativa.
  • Colaborar con equipos de data, negocio y tecnología para entender necesidades.

Requirements

  • Experiencia como Data Engineer (mínimo 3-4 años) trabajando con ecosistemas Big Data.
  • Muy buen conocimiento de Spark con Scala y Python.
  • Experiencia con Apache Airflow para orquestación de pipelines.
  • Conocimiento sólido de SQL y bases de datos NoSQL.
  • Experiencia trabajando con Hadoop y HDFS.
  • Experiencia con S3 / Cloud Object Storage y formatos Parquet u ORC.
  • Experiencia trabajando en entornos Agile., Spark Scala Python SQL Hadoop Airflow

Benefits & conditions

Seguro Médico (incl. Fisioterapia y Psicología) Ticket Restaurante Transporte Plan de carrera personalizado Budget anual para formación y certificaciones

Apply for this position