Data Engineer Senior (PySpark / Airflow)

knowmad Mood

Madrid, Spain

about 2 months ago

Role details

Contract type

Permanent contract

Employment type

Full-time (> 32 hours)

Working hours

Regular working hours

Job source

indeed.com

Tech stack

Airflow Amazon Web Services Extract Transform Load (ETL) Python (Programming Language) SQL Databases Pyspark

Job description

Integración de datos desde múltiples fuentes (APIs, FTP, S3, bases de datos, Kafka, logs)
Desarrollo de pipelines de datos (batch y tiempo real) con PySpark, Python y Airflow
Automatización de flujos de trabajo y procesos de datos
Diseño de arquitecturas de datos (Medallion, star schema, data vault)
Optimización de rendimiento, escalabilidad y costes
Generación y mantenimiento de documentación técnica

Requirements

Sólida experiencia en:

Python
PySpark
Apache Airflow
SQL y modelado de datos
Experiencia en diseño y desarrollo de pipelines ETL/ELT
Conocimiento de entornos cloud (AWS preferiblemente)

Benefits & conditions

Contrato Indefinido

Remoto.

Formación interna y acceso a certificaciones. Consulta nuestro calendario aquí

About the company

Somos una compañía líder en transformación digital, en constante evolución y a la vanguardia de la tecnología. Nacimos para provocar un cambio real a través de la innovación y el desarrollo sostenible, con la misión de aportar valor a los clientes e impulsar nuestro talento.

Formado por más de 3.000 personas creativas, digitales e innovadoras conectadas a un propósito y capaces de generar conexiones con personas de todo el mundo. Un equipo responsable, flexible y con alta capacidad de adaptación a las necesidades de nuestros clientes y del mercado, a la vez que proporciona valor, visión, creatividad, expertise, profesionalidad y pasión por la tecnología en cada proyecto.

Los valores que marcan nuestro rumbo y nos guían hacia la excelencia son la colaboración, la innovación, el compromiso, la diversión y la conﬁanza.