ingeniero de datos especializado en Spark

NWorld Advisory, Tech & Operations busca un ingeniero de datos especializado en Spark para un proyecto estratégico en el sector bancario. El candidato trabajará en la construcción y optimización de pipelines de datos a gran escala., * Construcción de procesos de datos complejos utilizando Spark.

• Liderar tareas de ingestión de datos y procesamiento masivo.
• Garantizar la integridad y calidad de los datos en los pipelines., Persona especializada en ingeniería de datos con sólida experiencia en Spark, para integrarse en un proyecto estratégico de alto impacto en el sector bancario. El perfil seleccionado trabajará en la construcción y optimización de pipelines de datos a gran escala., * Diseño y desarrollo de pipelines: Construcción de procesos de datos complejos utilizando Spark.
• Ciclo de vida del dato: Liderar tareas de ingestión de datos desde formatos de texto en staging zones, masterización desde raw data, encriptación y procesamiento masivo de datos.
• Gestión declarativa: Configuración y despliegue de pipelines mediante archivos HOCON, asegurando la modularidad entre datos de entrada, transformaciones y datos de salida.
• Validación y calidad: Garantizar la integridad del dato mediante el uso de esquemas de entrada/salida y la implementación de reglas de calidad.
• Optimización: Mejora continua del rendimiento en procesos distribuidos para garantizar la eficiencia en los tiempos de ejecución.

Se requiere entre 2 y 3 años de experiencia en entornos de gran escala, junto con sólidos conocimientos en computación en memoria y capacidad analítica. Se ofrecen oportunidades para mejora continua y desarrollo profesional en un ambiente dinámico., * Entre 2 y 3 años de experiencia trabajando con Apache Spark.

• Sólidos conocimientos en computación en memoria y optimización de shuffles.
• Experiencia en resolución de incidencias técnicas complejas en Big Data., * Experiencia técnica: Entre 2 y 3 años de experiencia real trabajando con Apache Spark en entornos productivos de gran escala.
• Procesamiento distribuido: Sólidos conocimientos en computación en memoria, optimización de shuffles (redistribución de datos entre nodos) y gestión de recursos en clústeres.
• Capacidad analítica: Experiencia en la resolución de incidencias técnicas complejas y depuración de procesos Big Data., * Ecosistema Kirby y Dataproc: Conocimiento del framework Kirby para el desarrollo ágil en Dataproc (GCP) y su arquitectura basada en componentes.
• Validación: Familiaridad con la herramienta Hammurabi (control de calidad del dato).
• Sector: Experiencia previa en proyectos tecnológicos para el sector financiero o bancario.