Big Data Engineer (Spark, Scala & Data Lake) 100% Remoto

Zemsania
Madrid, Spain
13 days ago
Apply on www.jobleads.com
Prepare application

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Experience required
2 years minimum
Working hours
Regular working hours
Languages
English, Spanish

Tech stack

Airflow Amazon Web Services Microsoft Azure Big Data Continuous Integration Github Scala (Programming Language) SONAR (Symantec) SQL Databases Data Streaming Data Processing Apache Yarn
+6 more
Apache Spark Data Lakes Jenkins Servicenow Databricks Control M

Job description

Big Data Engineer Spark, Scala & Data Lake 100% Remoto

Descripción de la oportunidad

Buscamos un/a Big Data Engineer para incorporarse a un proyecto tecnológico en el sector financiero, especializado en el desarrollo y mantenimiento de plataformas de datos y arquitecturas Data Lake.

Formarás parte de un equipo multidisciplinar en el que trabajarás con grandes volúmenes de información, desarrollando pipelines de datos y optimizando procesos de ingesta, transformación y validación. Participarás en iniciativas relacionadas con el riesgo de mercado, contribuyendo a garantizar la calidad, fiabilidad y disponibilidad de los datos en entornos productivos.

Buscamos una persona con sólidos conocimientos técnicos, capacidad analítica, autonomía y buenas habilidades de comunicación, que disfrute trabajando en equipo y proponiendo mejoras continuas.

¿Cuál será tu misión?

  • Diseñar, desarrollar y mantener pipelines de datos utilizando Apache Spark, Scala y SQL.
  • Implementar procesos de ingesta, transformación, validación y publicación de datos.
  • Trabajar con arquitecturas Data Lake y plataformas de datos en la nube.
  • Orquestar procesos batch, dependencias y flujos de trabajo mediante herramientas como Control-M y Apache Airflow.
  • Optimizar el rendimiento, la escalabilidad y la fiabilidad de las cargas de trabajo basadas en Spark.
  • Garantizar la calidad, el linaje y la trazabilidad de los datos a lo largo de todo el ciclo de procesamiento.
  • Analizar deficiencias técnicas y funcionales, identificar oportunidades de mejora y proponer soluciones.
  • Dar soporte a los procesos de producción, incluyendo el análisis y la resolución de incidencias.
  • Realizar análisis de causa raíz y colaborar en la mejora continua de los procesos operativos.
  • Trabajar conjuntamente con equipos ágiles, funcionales y de soporte a producción para asegurar la correcta entrega de las soluciones.

¿Qué buscamos?

  • Más de 2 años de experiencia en Big Data, Data Lake o plataformas de datos en la nube.
  • Experiencia práctica sólida con Apache Spark, Scala y SQL para el procesamiento de grandes volúmenes de información.
  • Conocimientos de arquitectura Data Lake y desarrollo de pipelines de datos en entornos productivos.
  • Experiencia o conocimientos en controles de calidad, linaje y trazabilidad de datos.
  • Capacidad para analizar problemas técnicos, optimizar procesos y resolver incidencias.
  • Buenas habilidades de comunicación, trabajo en equipo y adaptación a entornos dinámicos.
  • Orientación a la calidad, la productividad y la mejora continua.
  • Nivel de inglés C1 imprescindible.

Se valorará especialmente

  • Experiencia con herramientas de orquestación y planificación de flujos de trabajo, especialmente Control-M y Apache Airflow.
  • Conocimientos de Databricks, Azure, YARN y servicios de computación de AWS.
  • Experiencia con prácticas de integración y despliegue continuo (CI/CD).
  • Familiaridad con herramientas como GitHub, Jenkins y Sonar.
  • Conocimiento de procesos de producción bancaria, monitorización operativa y gestión de incidencias mediante ServiceNow.
  • Conocimientos básicos de riesgo de mercado, incluyendo pérdidas y ganancias (P&L), valoraciones, métricas y flujos de datos para reporting regulatorio.
  • Conocimientos de español.

¿Qué ofrecemos?

  • Modalidad 100% remota, con trabajo a distancia.
  • Incorporación a un proyecto tecnológico dentro del sector financiero.
  • Participación en iniciativas de procesamiento de datos a gran escala.
  • Entorno técnico con tecnologías Big Data y soluciones cloud.
  • Colaboración con equipos multidisciplinares y orientación a la mejora continua.
  • Horario flexible, se

Requirements

Buscamos una persona con sólidos conocimientos técnicos, capacidad analítica, autonomía y buenas habilidades de comunicación, que disfrute trabajando en equipo y proponiendo mejoras continuas., * Más de 2 años de experiencia en Big Data, Data Lake o plataformas de datos en la nube.

  • Experiencia práctica sólida con Apache Spark, Scala y SQL para el procesamiento de grandes volúmenes de información.
  • Conocimientos de arquitectura Data Lake y desarrollo de pipelines de datos en entornos productivos.
  • Experiencia o conocimientos en controles de calidad, linaje y trazabilidad de datos.
  • Capacidad para analizar problemas técnicos, optimizar procesos y resolver incidencias.
  • Buenas habilidades de comunicación, trabajo en equipo y adaptación a entornos dinámicos.
  • Orientación a la calidad, la productividad y la mejora continua.
  • Nivel de inglés C1 imprescindible., * Experiencia con herramientas de orquestación y planificación de flujos de trabajo, especialmente Control-M y Apache Airflow.
  • Conocimientos de Databricks, Azure, YARN y servicios de computación de AWS.
  • Experiencia con prácticas de integración y despliegue continuo (CI/CD).
  • Familiaridad con herramientas como GitHub, Jenkins y Sonar.
  • Conocimiento de procesos de producción bancaria, monitorización operativa y gestión de incidencias mediante ServiceNow.
  • Conocimientos básicos de riesgo de mercado, incluyendo pérdidas y ganancias (P&L), valoraciones, métricas y flujos de datos para reporting regulatorio.
  • Conocimientos de español.

Benefits & conditions

  • Modalidad 100% remota, con trabajo a distancia.
  • Incorporación a un proyecto tecnológico dentro del sector financiero.
  • Participación en iniciativas de procesamiento de datos a gran escala.
  • Entorno técnico con tecnologías Big Data y soluciones cloud.
  • Colaboración con equipos multidisciplinares y orientación a la mejora continua.
  • Horario flexible, se

About the company

Big Data Engineer Spark, Scala & Data Lake 100% Remoto

Apply for this position

This job is hosted externally. Click below to view the full posting and apply.

Apply on www.jobleads.com
Prepare application

Good distractions

Loading talks and stories from around this role…