FULLREMOTE - Data Extraction Engineer

Capitole Consulting
Municipality of Madrid, Spain
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Shift work
Languages
Spanish, English
Experience level
Senior

Job location

Municipality of Madrid, Spain

Tech stack

ABAP
Artificial Intelligence
Airflow
Azure
Supervisory Control and Data Acquisition (SCADA)
Python
PostgreSQL
Microsoft SQL Server
SQL Azure
MongoDB
Message Queuing Telemetry Transport (MQTT)
NoSQL
Open Data Protocol
Azure
SAP Applications
SAP HANA
SQL Databases
Data Streaming
Data Lake
PySpark
Kafka
Databricks

Job description

Gestionar estrategias de carga (incrementales vs completas). * Colaborar con Data Architecture para optimizar la estructura del lakehouse. ________________________________________ Calidad del dato en origen * Validar datos en el momento de extracción: o Completitud o Tipos o Integridad referencial o Duplicados * Documentar esquemas y problemas de calidad. * Colaborar con equipos IT de planta y responsables de sistemas. ________________________________________ Colaboración y documentación * Trabajar con equipos de IA (plataformas tipo Azure AI Foundry). * Generar documentación técnica: o Especificaciones o Data contracts o Runbooks o ADRs * Participar en revisiones de arquitectura. ________________________________________ ️ Stack tecnológico * ️ Azure (ADLS Gen2, Event Hubs, AKS, Key Vault) * Databricks (Delta Lake, Unity Catalog) * SQL: SQL Server, PostgreSQL, Azure SQL, SAP HANA * NoSQL: MongoDB * Streaming: Kafka

Requirements

Debezium, Event Hubs * Orquestación: Apache Airflow * Lenguajes: Python, SQL, PySpark * Industrial (valorable): SCADA, MES, OPC-UA, MQTT ________________________________________ Perfil requerido Imprescindible * +4 años de experiencia en pipelines de datos en producción * Dominio avanzado de SQL (multi-motor) * Experiencia con MongoDB (CDC, change streams) * Experiencia sólida con Apache Airflow * Conocimiento de patrones CDC (Kafka, Debezium, Event Hubs) * Experiencia en lakehouse (Azure + Databricks) * Programación en Python ________________________________________ Valorable * Experiencia con SAP (CDS Views, ABAP, OData) * Conocimiento de entornos industriales (SCADA, MES, IoT) * Experiencia con dbt * Experiencia en entornos multinacionales * Background en automoción o industria ________________________________________ Soft skills * Alta orientación a la fiabilidad del dato * Capacidad para trabajar con sistemas legacy y poco documentados * Buena comunicación con perfiles técnicos y de negocio * Autonomía y proactividad en entornos complejos Idiomas: inglés B2 Ubicación: fullremote Horario / jornada intensiva: horario flexible, 40 horas a la semana, intensiva el viernes. 3 meses de jornada de verano. ¡Somos geniales, pero contigo lo seremos más! Para ello tendrás: · Presupuesto de 1.200€ en formación individual para que lo utilices en lo que tú quieras (eventos tecnológicos, libros, formaciones, certificaciones etc.). · Seguimiento con tu equipo todos los meses para tener un continuo feedback. · Flexibilidad horaria para ayudarte a conciliar tu vida profesional / familiar. · Seguro médico privado pagado íntegramente por Capitole · Retribución flexible (tickets restaurante, transporte y/o guardería). · Andjoy (Gymforless) · Descuentos en grandes marcas para emplead@s (Club Capitole) Para que conozcas a toda la familia: · Team Buildings cada dos meses. ¡No te puedes perder la fiesta de verano o la cena de Navidad! · Equipo de fútbol patrocinado por Capitole. · Comunidades tecnológicas para que compartas tus conocimientos e ideas con los demás equipos. ¡¡¡Compartir el conocimiento interno es fundamental!!! · ¡Por último y no menos importante un EQUIPAZO! ¿Aún no nos conoces? ¡¡Descúbrenos!! https://capitole-consulting.com/ Mira lo que opinan de nosotros https://www.glassdoor.es/Opiniones/Capitole-Consulting-Opiniones-E2060890.htm No dudes en enviarnos tu perfil, ¡estamos deseando conocerte! El empleado/a se adherirá a las políticas de seguridad de la información: - Tendrá acceso a la información confidencial relativa a Capitole y al proyecto en el que trabaja. - Tendrá que cumplir las políticas de seguridad y las políticas internas de la empresa y cliente. - Tendrá que firmar un NDA.

Apply for this position