> Markdown version of [/jobs/ext/1944662-data-engineer-databricks](https://www.wearedevelopers.com/jobs/ext/1944662-data-engineer-databricks). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md). --- # Data Engineer (Databricks) - **Company:** Capitole - **Location:** Huelva, Spain - **Contract:** Permanent contract - **Skills:** Microsoft Windows, Application Programming Interfaces (APIs), Code Review, Data Architecture, Regression Testing, DataOps, SAP (Applications), SQL Databases, Data Streaming, Transaction Data, Azure Service Bus, Simple Object Database Access, Azure Data Factory, Git, Data Lakes, Pyspark, Apache Kafka, Software Version Control, Databricks - **Published:** August 6, 2026 - **Apply:** https://www.buscojobs.com.es/data-engineer-databricks-en-huelva-ID-365696807 ## About the Role 5+ años de experiencia en ingeniería de datos en entornos productivos. Databricks: experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog. Arquitectura Medallion: diseño e implementación de capas Bronze / Silver / Gold con criterios claros de granularidad, particionado y SLA por capa. Modelado de datos: dominio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve; definición de claves surrogadas, SCDs y tablas de hechos. Lenguajes: PySpark y SQL avanzado (window functions, CTEs, optimización de queries). Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos; no es necesario dominio profundo. Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert. Familiaridad con control de versiones (Git) y prácticas de DataOps básicas. Valorables Experiencia en retail, travel retail o sectores con datos transaccionales de alto volumen. Conocimiento de herramientas de calidad de datos: Great Expectations, Soda o similar. Experiencia con dbt (data build tool) para transformaciones SQL sobre la capa Silver/Gold. Familiaridad con eventos en streaming: Kafka, Event Hubs o Databricks Structured Streaming. Conocimiento de herramientas de catálogo y linaje: Purview, Alation o Unity Catalog avanzado. Experiencia colaborando con equipos de ML en el diseño de feature stores (Feast, Tecton o solución custom). #J-*****-Ljbffr ## Description Buscamos un/a Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en entornos retail de alto volumen. La persona seleccionada será el referente técnico de la arquitectura de datos: desde la ingesta de fuentes operacionales (ERP, POS, e-commerce, footfall) hasta la exposición de datos listos para consumo por modelos de ML y herramientas de BI.El rol requiere dominio profundo de Databricks como plataforma central y sólido conocimiento de la arquitectura Medallion (Bronze / Silver / Gold), así como experiencia en modelado de datos dimensional y capacidad para trabajar con Azure Data Factory como orquestador de pipelines - aunque la mayor parte del trabajo de transformación residirá en Databricks.2. Responsabilidades principalesArquitectura y plataforma de datosDiseño y evolución de la arquitectura Medallion (Bronze Silver Gold) sobre Databricks / Delta Lake.Definición de estándares de ingesta, particionado, compactación y versionado de tablas Delta.Gobierno de la plataforma: Unity Catalog, gestión de permisos, linaje de datos y calidad (Great Expectations o similar).Evaluación y decisión de patrones de procesamiento: batch, micro-batch (Structured Streaming) y near real-time según el caso de uso.Modelado de datosDiseño de modelos dimensionales (esquemas estrella y copo de nieve) orientados a casos de uso de pricing, forecasting y personalización.Definición de tablas de hechos y dimensiones: transacciones POS, catálogo de productos, maestro de tiendas, calendario promocional.Colaboración con el equipo de ML para diseñar y mantener el feature store sobre la capa Gold.Documentación del modelo de datos en un catálogo semántico accesible para usuarios de negocio y analítica.Construcción de pipelines de ingesta desde fuentes heterogéneas: ERP (SAP u otros), POS, APIs de e-commerce, feeds de Retail Media, NPS.Uso de Azure Data Factory para orquestación de movimientos de datos entre sistemas origen y el lakehouse con preferencia por mantener la lógica de transformación en Databricks (PySpark / SQL).Implementación de patrones de ingesta incremental (CDC, watermark, upsert con Delta Merge) para minimizar latencia y coste.Testing de pipelines: validaciones de schema, checks de completitud y pruebas de regresión sobre datos.Operación y fiabilidadMonitorización de jobs en Databricks Workflows: alertas, reintentos y gestión de dependencias.Optimización de costes de cómputo: sizing de clusters, uso de Photon, Auto Loader y optimizaciones de Delta (OPTIMIZE / ZORDER).Soporte a incidencias de datos en producción (on-call rotatorio con el equipo).Trabajo estrecho con Data Scientists para garantizar que el feature store cubra los requisitos de los modelos de pricing y recomendación.Acompañamiento a analistas de negocio en la definición de métricas y KPIs sobre la capa Gold.Participación en code reviews, definición de convenciones de nombrado y estándares de calidad del equipo.5+ años de experiencia en ingeniería de datos en entornos productivos.Databricks: experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog.Arquitectura Medallion: diseño e implementación de capas Bronze / Silver / Gold con criterios claros de granularidad, particionado y SLA por capa.Modelado de datos: dominio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve; definición de claves surrogadas, SCDs y tablas de hechos.Lenguajes: PySpark y SQL avanzado (window functions, CTEs, optimización de queries).Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos; no es necesario dominio profundo.Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert.Familiaridad con control de versiones (Git) y prácticas de DataOps básicas.ValorablesExperiencia en retail, travel retail o sectores con datos transaccionales de alto volumen.Conocimiento de herramientas de calidad de datos: Great Expectations, Soda o similar.Experiencia con dbt (data build tool) para transformaciones SQL sobre la capa Silver/Gold.Familiaridad con eventos en streaming: Kafka, Event Hubs o Databricks Structured Streaming.Conocimiento de herramientas de catálogo y linaje: Purview, Alation o Unity Catalog avanzado.Experiencia colaborando con equipos de ML en el diseño de feature stores (Feast, Tecton o solución custom).#J-*****-Ljbffr ## Related Videos - [PySpark - Combining Machine Learning & Big Data](https://www.wearedevelopers.com/videos/44-pyspark-combining-machine-learning-big-data) - [Enjoying SQL data pipelines with dbt](https://www.wearedevelopers.com/videos/823-enjoying-sql-data-pipelines-with-dbt) - [How a Small Team Shrank a Microsoft Monorepo by 94%](https://www.wearedevelopers.com/videos/1236-how-a-small-team-shrank-a-microsoft-monorepo-by-94) - [Data Science in Retail](https://www.wearedevelopers.com/videos/586-data-science-in-retail) - [Empowering Retail Through Applied Machine Learning](https://www.wearedevelopers.com/videos/976-empowering-retail-through-applied-machine-learning) - [From Messy Queries to Scalable Systems - How Data Engineering actually works](https://www.wearedevelopers.com/videos/100203-from-messy-queries-to-scalable-systems-how-data-engineering-actually-works) ## Related Articles - [Making Data Warehouses Fast: A Developer’s Story](https://www.wearedevelopers.com/magazine/107-making-data-warehouses-fast-a-developer-s-story) - [Top Big Data Technologies That You Need to Know](https://www.wearedevelopers.com/magazine/108-top-big-data-technologies-that-you-need-to-know) - [Data Engineer Salary UK](https://www.wearedevelopers.com/magazine/253-data-engineer-salary-uk) - [Coffee with Developers - Maria Apazoglou - Making AI understandable for all in production](https://www.wearedevelopers.com/magazine/475-coffee-with-developers-maria-apazoglou-making-ai-understandable-for-all-in-production) - [Dev Digest 132 - Binging WADFlix?](https://www.wearedevelopers.com/magazine/473-dev-digest-132-binging-wadflix) - [Highest Paying Tech Companies for Developers](https://www.wearedevelopers.com/magazine/220-highest-paying-tech-companies-for-developers)