Principal Data Platform Architect
Role details
Job location
Tech stack
Job description
Una empresa de tecnología en Galicia busca un Principal Data Platform Architect para liderar la migración desde Palantir Foundry a Databricks. El candidato ideal debe tener experiencia avanzada en Databricks, habilidades expertas en PySpark, y ser capaz de definir y ejecutar una hoja de ruta de migración. Este rol implica colaborar con equipos de ingeniería de datos, optimizar flujos de trabajo de datos y garantizar la sostenibilidad de la plataforma. Se valorarán certificaciones en Databricks y plataformas en la nube., * Definir y ejecutar la hoja de ruta de migración de Palantir Foundry a Databricks.
- Analizar y rediseñar pipelines y ontologías existentes en flujos de trabajo escalables.
- Implementar marcos de validación para asegurar la precisión de los datos.
- Optimizar cargas de trabajo de Spark y configuraciones de clústeres.
- Colaborar con equipos de ingeniería de datos y partes interesadas para minimizar riesgos.
Requirements
- Se requiere experiencia probada en la migración de plataformas, incluyendo conversión de pipelines y rediseño de modelos de datos.
- Se requiere conocimiento profundo de la arquitectura de Databricks y optimización del rendimiento.
- Certificaciones relacionadas con Databricks o arquitectura de datos empresariales son valoradas., Experiencia avanzada en Databricks Experiencia en migraciones (Palantir * Databricks) Habilidades expertas en PySpark y Python Experticia avanzada en SQL y modelado de datos Experiencia en plataformas en la nube (preferiblemente Azure)