Data Engineer Cloudera CDP

Buscamos ampliar nuestro equipo con un/a Data Engineer Cloudera CDP, para participar en el diseño, construcción, evolución y operación de soluciones de ingeniería del dato sobre entornos Cloudera Data Platform, trabajando en proyectos de procesamiento de datos a gran escala y arquitecturas distribuidas. La persona seleccionada trabajará en modalidad de teletrabajo híbrido desde cualquiera de nuestras oficinas en España., * Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre Cloudera Data Platform (CDP).

• Desarrollar procesos distribuidos utilizando Apache Spark, PySpark, Spark SQL y SQL.
• Implementar procesos de ingesta, transformación, integración y movimiento de datos mediante Apache NiFi.
• Desarrollar soluciones de procesamiento en tiempo real con Apache Kafka o tecnologías equivalentes.
• Gestionar la evolución de esquemas de datos, particionamiento, distribución y compactación en entornos distribuidos.
• Analizar planes de ejecución, tiempos de procesamiento, consumo de recursos y cuellos de botella para optimizar el rendimiento de las soluciones.
• Garantizar la calidad del dato mediante reglas de validación, controles de integridad, reconciliación y gestión de incidencias.
• Integrar plataformas Cloudera con bases de datos, APIs, sistemas de ficheros, plataformas cloud y sistemas con equipos multidisciplinares para asegurar la correcta explotación y disponibilidad de los otras funciones propias del puesto., Atendiendo a la Ley Orgánica 3/2007, de 22 de marzo, Ayesa Digital se ha marcado como objetivo promover la defensa y aplicación efectiva del principio de igualdad entre hombres y mujeres, evitando cualquier tipo de discriminación laboral por razón de sexo, garantizando así las mismas oportunidades de ingreso.

• Titulación universitaria o formación equivalente en Ingeniería Informática, Telecomunicaciones, Matemáticas, Estadística o disciplinas relacionadas.
• Experiencia mínima de 3 a 5 años en proyectos de ingeniería del dato de 2 a 3 años trabajando con tecnologías Cloudera en entornos productivos.
• Certificación oficial Cloudera Data Engineer (imprescindible).
• Experiencia sólida en Cloudera Data Platform (CDP), Apache Spark y PySpark, Apache Hive e Impala, Apache Airflow y desarrollo de DAGs, Apache Kafka, HDFS y almacenamiento distribuido, procesamiento batch y streaming, procesos incrementales y captura de cambios (CDC), optimización de consultas y rendimiento, integraciones mediante APIs REST, JDBC y otros conectores, capacidad para desenvolverse en entornos de datos complejos y arquitecturas distribuidas, orientación a la calidad, el rendimiento y la mejora continua., Asimismo, fomentamos la diversidad, rechazando cualquier tipo de discriminación por razones de raza, sexo, diversidad funcional, religión, orientación sexual, identidad sexual, o cualquier otra condición personal o social, apostando por construir un entorno inclusivo y enriquecedor.

• Seguro médico
• Ticket Restaurant
• Guardería y Transporte
• Plan Bienestar: descuentos en viajes, tecnología, formación, deporte, belleza y ¡muchos más!
• Flexibilidad horaria, Smart Job y jornada intensiva en verano.
• Participación en proyectos de voluntariado social.
• Concursos y actividades organizados (deporte, escritura, fotografía, etc.).