Data Platform Engineer (Azure Databricks & Unity Catalog). Remoto

eXperience IT Solutions
Municipality of Madrid, Spain
yesterday

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
Spanish, English
Experience level
Intermediate

Job location

Municipality of Madrid, Spain

Tech stack

Continuous Integration
Data Infrastructure
SQL Databases
Spark
Caching
GIT
Data Lake
PySpark
Machine Learning Operations
Terraform
Databricks

Job description

Desde nuestro grupo corporativo buscamos incorporar talento especializado para formar parte de proyectos estratégicos en entornos corporativos de primer nivel., Platform Engineering & Operations

  • Revisar y mejorar patrones de implementación en jobs, pipelines y componentes de la plataforma.
  • Identificar y resolver cuellos de botella en escalabilidad, fiabilidad y mantenibilidad.
  • Diseñar, mejorar y estandarizar componentes de la plataforma, configuraciones de workspaces y estructuras de entornos.
  • Monitorizar de forma continua la salud, rendimiento y estabilidad de la plataforma.

Gestión de Unity Catalog

  • Mantener una configuración consistente y segura de Unity Catalog en múltiples entornos.
  • Gestionar estructuras de gobernanza (catálogos, esquemas, permisos, service principals).
  • Asegurar que el modelo de acceso sea eficiente y amigable para desarrolladores., * Analizar y optimizar configuraciones de cómputo, autoscaling y patrones de carga.
  • Evaluar rendimiento de jobs en Spark, uso de Delta Lake y diseño de almacenamiento.
  • Aplicar buenas prácticas de optimización (partitioning, Z-ordering, caching, etc.).

Automatización & Infrastructure as Code

  • Desarrollar y mantener automatización de entornos mediante Databricks Asset Bundles (DABs) y Terraform.
  • Garantizar entornos reproducibles, versionados y alineados con principios de CI/CD.
  • Minimizar configuraciones manuales, promoviendo la automatización., * Documentar patrones de plataforma, runbooks operativos y buenas prácticas.
  • Dar soporte y guía a ingenieros y analistas en el uso de la plataforma Databricks.

Requirements

Actualmente buscamos un/a Data Platform Engineer, con inglés avanzado (mínimo B2), con experiencia sólida en ingeniería de plataformas de datos, automatización y gestión de entornos en Azure Databricks con Unity Catalog.

Este rol no está orientado al desarrollo de pipelines o modelos, sino a la operación, estandarización y mejora continua de la plataforma de datos, garantizando entornos escalables, fiables y seguros., * 3-5+ años en Platform/Data Engineering con experiencia sólida en Azure Databricks.

  • Conocimiento práctico de Unity Catalog (accesos, gobernanza, linaje, workspaces).
  • Experiencia en PySpark y SQL, incluyendo optimización (partitioning, Z-ordering, caching…).
  • Experiencia con CI/CD, Git e Infrastructure as Code (Terraform).
  • Enfoque en automatización y buenas prácticas de plataforma (evitar configuraciones manuales).
  • Nivel de inglés mínimo B2., * Experiencia en MLOps.
  • Experiencia en entornos multicloud.
  • Conocimientos en optimización de costes y rendimiento en plataformas cloud., Nuestro compromiso es promover ambientes de trabajo en los que se trate con respeto y dignidad a las personas, procurando siempre el desarrollo profesional de toda la plantilla. Garantizamos la igualdad de oportunidades en los procesos de selección, formación y promoción, ofreciendo un entorno laboral libre de cualquier tipo de discriminación por razón de género, edad, discapacidad, orientación sexual, identidad o expresión de género, estado civil o circunstancias personales o sociales.

Apply for this position