> Markdown version of [/jobs/ext/4579228-senior-data-engineer-big-data-cloud-cloudera-spark-scala-y-gcp](https://www.wearedevelopers.com/jobs/ext/4579228-senior-data-engineer-big-data-cloud-cloudera-spark-scala-y-gcp). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md). --- # Senior Data Engineer - Big Data & Cloud | Cloudera, Spark, Scala Y Gcp - **Company:** Grupo TECDATA Engineering - **Location:** Madrid, Spain - **Contract:** Permanent contract - **Skills:** Apache HTTP Server, Big Data, BigTable, BigQuery, Cloud Computing, Data Architecture, Hadoop Distributed File System, Apache Hive, Identity and Access Management, Cloudera, Scala (Programming Language), Data Streaming, Google Cloud, Apache Spark, Pyspark, Yield Optimization, Apache Kafka, Spark Streaming - **Published:** November 5, 2026 - **Apply:** https://www.buscojobs.com.es/senior-data-engineer-big-data-cloud-cloudera-spark-scala-y-gcp-en-madrid-ID-378784691 ## About the Role Experiencia en migraciones de Cloudera a GCP , trabajando con HDFS y Google Cloud Storage. Dominio de Apache Spark, Scala y PySpark . Experiencia migrando procesos y workloads a Dataproc y Dataproc Serverless . Conocimientos de procesamiento batch y streaming con Spark Streaming y Apache Kafka , incluidos servicios gestionados de Kafka en GCP. Experiencia con Kudu y tecnologías de destino como Cloud SQL, Google Spanner y Bigtable. Conocimientos de Hive Metastore y Apache Ranger . Experiencia en gobierno y seguridad del dato con Dataplex, Cloud IAM y BigQuery Policy Tags . Experiencia en migración, validación y optimización de pipelines de datos en entornos cloud. Participar en la migración de componentes de almacenamiento, procesamiento batch y streaming desde Cloudera a GCP. Adaptar y migrar workloads de Spark, priorizando la reutilización del código existente. Implementar y optimizar procesos de datos en Dataproc y Dataproc Serverless. Migrar e integrar flujos de datos, garantizando su calidad, consistencia y rendimiento. Adaptar los mecanismos de gobierno, seguridad y control de acceso al ecosistema GCP. Validar los procesos migrados y optimizar el rendimiento y los costes de la plataforma. #J-*****-Ljbffr ## Description Buscamos un/aData Engineer Seniorcon experiencia sólida en proyectos de migración de plataformasCloudera a Google Cloud Platform (GCP), para participar en la modernización de la arquitectura de datos, trasladando los componentes de almacenamiento, procesamiento y gobierno del dato a entornos cloud.El objetivo será garantizar una migración eficiente y segura, priorizando la reutilización del código existente, la calidad de los datos y la optimización del rendimiento y los costes.Experiencia enmigraciones de Cloudera a GCP, trabajando con HDFS y Google Cloud Storage.Dominio deApache Spark, Scala y PySpark.Experiencia migrando procesos y workloads aDataproc y Dataproc Serverless.Conocimientos de procesamiento batch y streaming conSpark Streaming y Apache Kafka, incluidos servicios gestionados de Kafka en GCP.Experiencia conKuduy tecnologías de destino como Cloud SQL, Google Spanner y Bigtable.Conocimientos deHive Metastore y Apache Ranger.Experiencia en gobierno y seguridad del dato conDataplex, Cloud IAM y BigQuery Policy Tags.Experiencia en migración, validación y optimización de pipelines de datos en entornos cloud.Participar en la migración de componentes de almacenamiento, procesamiento batch y streaming desde Cloudera a GCP.Adaptar y migrar workloads de Spark, priorizando la reutilización del código existente.Implementar y optimizar procesos de datos en Dataproc y Dataproc Serverless.Migrar e integrar flujos de datos, garantizando su calidad, consistencia y rendimiento.Adaptar los mecanismos de gobierno, seguridad y control de acceso al ecosistema GCP.Validar los procesos migrados y optimizar el rendimiento y los costes de la plataforma.#J-*****-Ljbffr