Data Engineer - Cloudera

En AD4 Octogono estamos contratando.Buscamos un/a Data Engineer especializado/a en Cloudera para participar en el diseño, construcción, evolución y operación de soluciones de ingeniería del dato sobre Cloudera Data Platform (CDP) .Descripción del puesto Buscamos un/a profesional con experiencia en ingeniería del dato , especializado/a en arquitecturas distribuidas y con experiencia práctica en entornos productivos con Cloudera.La persona seleccionada participará en el desarrollo de procesos de ingesta, transformación, integración, procesamiento y explotación de datos , trabajando tanto con procesos batch como streaming y grandes volúmenes de información.Titulación Titulación universitaria o formación equivalente en: Ingeniería Informática.Ingeniería de Telecomunicaciones.Matemáticas.Estadística.Disciplinas relacionadas.Experiencia requerida Entre 3 y 5 años de experiencia en proyectos de ingeniería del dato.Entre 2 y 3 años de experiencia trabajando con tecnologías Cloudera en entornos productivos .Certificación oficial Cloudera Data Engineer, imprescindible.Conocimientos técnicos imprescindibles Cloudera Data Platform (CDP) .Apache Spark y PySpark .Spark SQL y SQL.Apache Hive.Apache Airflow y desarrollo de DAGs.Apache Kafka.Apache NiFi.HDFS y almacenamiento distribuido.Procesamiento batch y streaming.Procesos incrementales y captura de cambios.Optimización de consultas Hive e Impala.Integración mediante APIs REST.JDBC y otros conectores.Arquitecturas distribuidas.Gestión de grandes volúmenes de datos.Calidad, integridad y validación del dato.Conocimientos deseables Migración de procesos Hadoop tradicionales a Cloudera Data Platform .Modernización de procesos ETL hacia arquitecturas distribuidas.Desarrollo de soluciones basadas en Apache Iceberg .Integración de Kafka y NiFi .Gestión de grandes volúmenes de datos y procesos críticos.Experiencia con dbt u otras herramientas de transformación.Experiencia en entornos regulados.Experiencia en entornos con elevados requisitos de seguridad.Responsabilidades y funciones Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre Cloudera Data Platform.Desarrollar procesos distribuidos mediante Apache Spark, PySpark, Spark SQL y SQL .Desarrollar procesos de ingesta y movimiento de datos mediante Apache NiFi .Implementar soluciones de procesamiento en tiempo real mediante Apache Kafka o tecnologías equivalentes.Gestionar la evolución de esquemas, particionamiento, distribución y compactación de datos.Analizar planes de ejecución, tiempos de procesamiento y consumo de recursos.Identificar y resolver cuellos de botella y problemas de rendimiento.Garantizar la calidad del dato mediante reglas de validación y controles de integridad.Implementar procesos de reconciliación y gestión de datos erróneos.Integrar Cloudera con bases de datos, APIs, sistemas de ficheros, plataformas cloud y sistemas corporativos.Participar en la evolución y optimización de las arquitecturas de datos.Perfil buscado Buscamos un/a Data Engineer especializado/a en Cloudera , con experiencia hands-on en entornos productivos y capacidad para trabajar con arquitecturas distribuidas.Será especialmente valorable la experiencia en Spark/PySpark, Kafka, NiFi, Airflow e Iceberg , así como la participación en proyectos de modernización y migración de plataformas de datos.Condiciones Experiencia: 3-5 años en ingeniería del dato y 2-3 años con Cloudera.Certificación: Cloudera Data Engineer, imprescindible.Modalidad: Teletrabajo posible.Salario: ** € - ** € brutos anuales.

Titulación Titulación universitaria o formación equivalente en: Ingeniería Informática. Ingeniería de Telecomunicaciones. Matemáticas. Estadística. Disciplinas relacionadas. Experiencia requerida Entre 3 y 5 años de experiencia en proyectos de ingeniería del dato. Entre 2 y 3 años de experiencia trabajando con tecnologías Cloudera en entornos productivos . Certificación oficial Cloudera Data Engineer, imprescindible. Conocimientos técnicos imprescindibles Cloudera Data Platform (CDP) . Apache Spark y PySpark . Spark SQL y SQL. Apache Hive. Apache Airflow y desarrollo de DAGs. Apache Kafka. Apache NiFi. HDFS y almacenamiento distribuido. Procesamiento batch y streaming. Procesos incrementales y captura de cambios. Optimización de consultas Hive e Impala. Integración mediante APIs REST. JDBC y otros conectores. Arquitecturas distribuidas. Gestión de grandes volúmenes de datos. Calidad, integridad y validación del dato. Conocimientos deseables Migración de procesos Hadoop tradicionales a Cloudera Data Platform . Modernización de procesos ETL hacia arquitecturas distribuidas. Desarrollo de soluciones basadas en Apache Iceberg . Integración de Kafka y NiFi . Gestión de grandes volúmenes de datos y procesos críticos. Experiencia con dbt u otras herramientas de transformación. Experiencia en entornos regulados. Experiencia en entornos con elevados requisitos de seguridad. Responsabilidades y funciones Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre Cloudera Data Platform., Perfil buscado Buscamos un/a Data Engineer especializado/a en Cloudera , con experiencia hands-on en entornos productivos y capacidad para trabajar con arquitecturas distribuidas. Será especialmente valorable la experiencia en Spark/PySpark, Kafka, NiFi, Airflow e Iceberg , así como la participación en proyectos de modernización y migración de plataformas de datos. Condiciones Experiencia: 3-5 años en ingeniería del dato y 2-3 años con Cloudera. Certificación: Cloudera Data Engineer, imprescindible. Modalidad: Teletrabajo posible.

Salario: ** € - ** € brutos anuales.