Data Governance Engineer
Getnet Platforms
Madrid, Spain
26 days ago
- Discuss this with your agent
- Open in Claude
- Open in ChatGPT
Apply on es.indeed.com
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Role details
Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Job source
Tech stack
Microsoft Access
Amazon Web Services
Data Governance
Identity and Access Management
Machine Learning
PCI Data Security Standards
SQL Databases
Apache Spark
AWS Lambda
Data Lakes
AWS Glue
Apache Kafka
+1 more
Confluent
Job description
- Implementar y operar el gobierno del dato -catalogación, calidad, seguridad, cumplimiento y linaje- directamente sobre la plataforma de ingeniería basada en AWS, Confluent, Glue, Spark y Delta Lake, sin limitarse a su definición documental., * Diseñar e implementar el modelo de gobierno de acceso mediante AWS Lake Formation, incluyendo permisos a nivel de tabla, columna y fila, Tag-Based Access Control e integración con IAM.
- Administrar y evolucionar AWS Glue Data Catalog, gestionando esquemas, clasificaciones, propietarios y sensibilidad de datos, incluida la identificación de PII.
- Definir e implementar controles automatizados de calidad de datos sobre pipelines Spark y Delta Lake, incluyendo validaciones de esquema, completitud, duplicados y anomalías.
- Integrar los controles de calidad y gobierno en AWS Glue, Lambda y EMR.
- Diseñar políticas de retención, versionado y linaje sobre tablas Delta Lake mediante time travel, Change Data Feed y auditoría de cambios.
- Definir junto con Ingeniería de Datos estándares de nombrado, particionado y contratos de datos para topics Kafka y tablas Delta.
- Establecer mecanismos de clasificación y protección de datos sensibles, incluyendo cifrado, enmascaramiento y controles de acceso diferenciados por rol o dominio.
- Dar soporte técnico y normativo a los equipos de Data Science y Machine Learning en el acceso gobernado a feature stores y datasets certificados.
- Auditar el cumplimiento de los controles en pipelines desarrollados con Lambda, Glue y EMR.
- Producir métricas e informes de calidad y gobierno, incluyendo data quality scorecards, catálogos de dominios e indicadores de salud del linaje.
- Actuar como punto de referencia entre Ingeniería, Seguridad, Legal, Compliance y las áreas de Negocio.
Requirements
- 3+ años de experiencia en gobierno, calidad o arquitectura de datos, con una base técnica real de ingeniería. La posición requiere experiencia implementando controles técnicos y automatizaciones, y no se limita a tareas de proceso o documentación.
Estudios
- Technical degree-level education: Bachelor’s degree in Engineering, Technology Sciences, Mathematics, Economics, Physics, Chemistry, Statistics, or similar.
Technical skills
- AWS Lake Formation y AWS Glue Data Catalog.
- Catalogación, crawlers y clasificadores.
- Apache Spark para procesamiento batch y streaming.
- Delta Lake para implementar controles de calidad y gobierno.
- Confluent Kafka, Schema Registry, contratos de datos y gobierno de topics.
- AWS Lambda para automatizar controles y flujos de gobierno event-driven.
- Amazon SageMaker y su relación con el gobierno de datos para Machine Learning.
- Feature stores y trazabilidad de datasets.
- Conocimiento de marcos normativos como GDPR, PCI-DSS u otros aplicables.
- Capacidad para traducir requisitos regulatorios en controles técnicos.
- SQL avanzado y capacidad para auditar y validar transformaciones en pipelines de datos., * Experiencia con herramientas de catalogación y linaje como DataHub, Collibra, Amundsen u OpenLineage.
- Conocimientos de arquitecturas data mesh.
- Experiencia con dominios de datos, contratos y productos de datos.
- Experiencia en sectores regulados, especialmente en el sector financiero o de medios de pago.
-
Certificaciones AWS relacionadas con seguridad o analítica de datos.
- Buscamos un perfil híbrido entre políticas y código, riguroso y con buenas habilidades de comunicación para colaborar con Compliance, Legal, Ingeniería y Negocio.
Apply for this position
This job is hosted externally. Click below to view the full posting and apply.
Apply on es.indeed.com
Prepare application
- Draft this with your agent
- Open in Claude
- Open in ChatGPT
Good distractions
Talks and stories from around this role — technically off-topic, practically not.
Moments
Explore playlistsVideos
See allRelated articles
See all
EM
Eli McGarvie
about 3 years ago
BB
Benedikt Bischof
Making Data Warehouses Fast: A Developer’s Story
about 4 years ago
CH
Chris Heilmann
Coffee with Developers - Maria Apazoglou - Making AI understandable for all in production
almost 2 years ago
EM
Eli McGarvie
Best Companies to work for in London: Top 25 Companies in 2023
over 3 years ago
EM
Eli McGarvie
Data Analyst Salary in the UK
about 3 years ago
DS
Dhannush Subramani
Top Big Data Technologies That You Need to Know
about 4 years ago