Data engineer - Hibrido (Madrid)

Buscamos un/a Data Engineer Senior para incorporarse a un equipo de datos, participando en el mantenimiento y evolución de la plataforma DataHub, así como en el diseño, desarrollo y optimización de pipelines de datos.

La persona seleccionada combinará tareas de desarrollo con mantenimiento y soporte de plataformas en producción, participando también en proyectos de modernización y migración de infraestructuras hacia entornos cloud.

Funciones principales

• Mantenimiento, soporte y evolución de la plataforma DataHub.
• Resolución de incidencias y problemas en entornos de producción (BAU).
• Diseño, desarrollo y optimización de pipelines de datos mediante Scala y Apache Spark.
• Desarrollo de procesos ETL/ELT e integración de datos de diferentes fuentes.
• Procesamiento y transformación de grandes volúmenes de información.
• Gestión y optimización de entornos Hadoop y HDFS.
• Automatización y orquestación de procesos mediante Apache Airflow y Oozie.
• Configuración y mantenimiento de pipelines CI/CD.
• Participación en migraciones de infraestructuras de datos hacia entornos cloud.
• Implementación de controles de calidad y validación de datos.
• Elaboración de documentación técnica y colaboración con equipos multidisciplinares.
• Experiencia profesional mínima de 6 años como Data Engineer o en posiciones similares.
• Al menos 3 años de experiencia en el entorno tecnológico específico del puesto.
• Experiencia sólida en desarrollo con Scala y Apache Spark.
• Conocimientos de Hadoop, HDFS y SQL.
• Experiencia en desarrollo de pipelines ETL/ELT y procesamiento de grandes volúmenes de datos.
• Conocimientos de Apache Airflow y Oozie.
• Experiencia con herramientas CI/CD (GitLab, Jenkins o similares).
• Conocimientos de almacenamiento S3 / Cloud Object Storage.
• Experiencia en mantenimiento y soporte de plataformas de datos en producción.
• Experiencia en automatización de procesos y buenas prácticas de desarrollo.

Conocimientos valorables

• Experiencia en migraciones de plataformas de datos a entornos cloud.
• Conocimientos de Kubernetes y contenerización.
• Experiencia con Dremio, Kafka, Elasticsearch y Kibana.
• Conocimientos de HashiCorp Vault y Dataiku.
• Experiencia en el sector bancario o financiero.
• Conocimientos de metodologías Agile y ciclo de vida del desarrollo de software (SDLC).

Condiciones

• Proyecto estable
• Modalidad híbrido: teletrabajo 50%
• Formación a medida (certificaciones, idiomas…)
• Desarrollo profesional en ambiente internacional

• Experiencia profesional mínima de 6 años como Data Engineer o en posiciones similares.
• Al menos 3 años de experiencia en el entorno tecnológico específico del puesto.
• Experiencia sólida en desarrollo con Scala y Apache Spark.
• Conocimientos de Hadoop, HDFS y SQL.
• Experiencia en desarrollo de pipelines ETL/ELT y procesamiento de grandes volúmenes de datos.
• Conocimientos de Apache Airflow y Oozie.
• Experiencia con herramientas CI/CD (GitLab, Jenkins o similares).
• Conocimientos de almacenamiento S3 / Cloud Object Storage.
• Experiencia en mantenimiento y soporte de plataformas de datos en producción.
• Experiencia en automatización de procesos y buenas prácticas de desarrollo.

Conocimientos valorables

• Experiencia en migraciones de plataformas de datos a entornos cloud.
• Conocimientos de Kubernetes y contenerización.
• Experiencia con Dremio, Kafka, Elasticsearch y Kibana.
• Conocimientos de HashiCorp Vault y Dataiku.
• Experiencia en el sector bancario o financiero.
• Conocimientos de metodologías Agile y ciclo de vida del desarrollo de software (SDLC).

• Proyecto estable
• Modalidad híbrido: teletrabajo 50%
• Formación a medida (certificaciones, idiomas…)
• Desarrollo profesional en ambiente internacional