Desarrollador Senior Big Data
Tecdata
Municipality of Madrid, Spain
6 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
Spanish Experience level
SeniorJob location
Municipality of Madrid, Spain
Tech stack
Agile Methodologies
Confluence
JIRA
CA Workload Automation Ae
Azure
Big Data
ETL
Data Transformation
Hive
Azure
Spark
Data Lake
PySpark
Atlassian Tools
Spark Streaming
Databricks
Control M
Job description
- Diseño y desarrollo de procesos ETL/ELT masivos en PySpark y Scala.
- Extracción y transformación de datos de Tarjetas y Medios de Pago.
- Optimización de jobs Spark y mantenimiento de pipelines existentes.
- Coordinación con equipos de Reporting, Riesgos y Arquitectura.
Requirements
- +4 años en PySpark (Spark SQL, DataFrames; Spark Streaming valorado).
- Nivel medio-alto en Scala. Experiencia en Azure Databrick (Unity Catalog, Delta Lake, workflows, job clusters).
- Orquestación con Azure Data Factory o similares (Autosys, Control-M).
- Experiencia en reporting regulatorio bancario (EBA/BdE) y medios de pago.
- Conocimiento de procesos internos Santander (ITSM, RLSE Data, Change Management, entornos DES/PRE/PRO).
- Experiencia con metodologías ágiles y Atlassian (Jira, Confluence)., * Certificaciones Azure (Databricks Data Engineer, Azure Data Engineer).
- Conocimiento de dbt, Great Expectations., * Proactividad y ownership de los pipelines end-to-end.
- Alta capacidad analítica y atención al detalle.
- Comunicación fluida con equipos funcionales y técnicos.
