Data Engineer

En Aubay buscamos un/a Data Engineer con un perfil técnico sólido dentro del ámbito del Data Engineering, para integrarse en el IT For DATA Tribe y colaborar en modelo Extended Team. La persona seleccionada participará en un proyecto estratégico de migración de pipelines legacy en Hadoop hacia un Datahub en entorno cloud, con foco en la automatización, la calidad y la robustez de los procesos de datos. El rol puede implicar viajes ocasionales a Italia (1-2 veces al año) y requiere una experiencia mínima de 3 años en puestos similares., * Ejecutar la migración de infraestructura y pipelines Hadoop legacy hacia un entorno cloud basado en Kubernetes Engine, COS, Spark as a Service y Airflow as a Service.

• Implementar transformaciones de datos y controles de calidad utilizando Scala y SQL con Apache Spark.
• Diseñar y automatizar pipelines de datos y procesos de ingesta mediante orquestadores, principalmente Airflow.
• Configurar flujos de CI/CD para despliegues automáticos, testing y versionado.
• Desarrollar pruebas unitarias, validación de código y buenas prácticas de calidad.
• Elaborar documentación técnica y operativa de los procesos implementados.
• Colaborar con equipos cross-funcionales (data squads, negocio, IT OPS).
• Contribuir a la mejora continua del equipo y de las prácticas de ingeniería.

• Experiencia práctica con Apache Spark con Scala.
• SQL avanzado aplicado a grandes volúmenes de datos.
• Conocimiento sólido de Hadoop / HDFS.
• Experiencia con Apache Airflow.
• Pipelines y despliegues con CI/CD (GitLab, Jenkins).
• Experiencia con almacenamiento tipo S3 / COS.
• Bases de datos SQL y NoSQL.
• Experiencia con Oozie.
• Shell scripting.
• Conocimiento de SDLC y metodologías Agile.
• Inglés mínimo nivel B2 obligatorio.

Conocimientos valorables

• Kubernetes.
• Dremio.
• Elasticsearch / Kibana.
• Procesos de streaming (Kafka, event streaming).
• HVault.
• Experiencia previa en sector bancario.

Contrato indefinido Acceso a cursos online de tecnologías e idiomas Modalidad híbrida de trabajo (50%) Horario: Lunes a viernes de 9:00 a 18:00, con 1 hora de flexibilidad, * Jornada completa Jornada

• 3 años Experiencia

• Indefinido Tipo contrato

• Spark Scala SQL Hadoop