Data Engineer Senior

Buescamos 2 Data Engineers Senior para incorporarse a un proyecto estratégico en Getnet, participando en la transformación de su plataforma de datos mediante la migración de procesos desde Stratio hacia Databricks. Buscamos perfiles con experiencia en ingeniería de datos, migraciones de plataformas Big Data y optimización de procesos en entornos cloud., * Analizar las ETLs existentes desarrolladas en Stratio.

• Migrar procesos implementados en Stratio hacia Databricks.
• Diseñar e implementar pipelines utilizando Apache Spark y Databricks.
• Optimizar procesos para aprovechar el procesamiento distribuido de Spark.
• Adaptar procesos de ingestión y transformación de datos.
• Migrar la orquestación de procesos desde Apache Airflow hacia Control-M.
• Desarrollar e integrar APIs REST, incluyendo autenticación, tratamiento de errores, reintentos y monitorización.
• Participar en pruebas funcionales y de rendimiento para validar la migración.
• Documentar las soluciones desarrolladas y colaborar en la definición de estándares.
• Trabajar junto a arquitectos de datos, analistas funcionales y responsables del proyecto., Al crear una alerta, aceptas nuestros Términos y condiciones y Política de privacidad, y el uso de cookies., Alemania Australia Austria Bélgica Brasil Canadá España Estados Unidos Francia India Italia México Nueva Zelanda Holanda Polonia Reino Unido Singapur Sudáfrica Suiza

Más de 3 años de experiencia como Data Engineer. Experiencia desarrollando ETLs complejas. Dominio de SQL y Python. Experiencia sólida con Apache Spark. Experiencia en Databricks (notebooks y pipelines). Experiencia en proyectos de migración de plataformas de datos. Experiencia en integración mediante APIs REST. Experiencia con Apache Airflow o Control-M (imprescindible al menos una de las dos herramientas). Capacidad para analizar procesos existentes y adaptarlos a una nueva arquitectura. ️ Conocimientos técnicos:

• Databricks

• Apache Spark

• SQL avanzado

• Python

• ETLs complejas

• Apache Airflow

• Control-M

• APIs REST

• OAuth y autenticación mediante tokens

• Procesamiento de respuestas JSON

• Gestión de errores y reintentos

• Git

• CI/CD Valorable:

• Delta Lake

• Stratio

• Arquitecturas Lakehouse

• Azure Data Lake / AWS S3

• Azure, AWS o GCP

• Data Quality

• DevOps aplicado a plataformas de datos

• Monitorización de procesos de datos, + Técnico

• Recepciónista
• Administrador
• Ventas
• Enfermero
• Limpieza
• Mantenimiento
• Telefonista
• Compras
• Recursos humanos

Tipo de trabajo

• Desde casa
• Estudiantes
• Online
• Trabajos Verticales
• En inglés
• Teletrabajo
• Media jornada