Senior Data Engineer - Big Data & Cloud | Cloudera, Spark, Scala Y Gcp

Buscamos un/aData Engineer Seniorcon experiencia sólida en proyectos de migración de plataformasCloudera a Google Cloud Platform (GCP), para participar en la modernización de la arquitectura de datos, trasladando los componentes de almacenamiento, procesamiento y gobierno del dato a entornos cloud.El objetivo será garantizar una migración eficiente y segura, priorizando la reutilización del código existente, la calidad de los datos y la optimización del rendimiento y los costes.Experiencia enmigraciones de Cloudera a GCP, trabajando con HDFS y Google Cloud Storage.Dominio deApache Spark, Scala y PySpark.Experiencia migrando procesos y workloads aDataproc y Dataproc Serverless.Conocimientos de procesamiento batch y streaming conSpark Streaming y Apache Kafka, incluidos servicios gestionados de Kafka en GCP.Experiencia conKuduy tecnologías de destino como Cloud SQL, Google Spanner y Bigtable.Conocimientos deHive Metastore y Apache Ranger.Experiencia en gobierno y seguridad del dato conDataplex, Cloud IAM y BigQuery Policy Tags.Experiencia en migración, validación y optimización de pipelines de datos en entornos cloud.Participar en la migración de componentes de almacenamiento, procesamiento batch y streaming desde Cloudera a GCP.Adaptar y migrar workloads de Spark, priorizando la reutilización del código existente.Implementar y optimizar procesos de datos en Dataproc y Dataproc Serverless.Migrar e integrar flujos de datos, garantizando su calidad, consistencia y rendimiento.Adaptar los mecanismos de gobierno, seguridad y control de acceso al ecosistema GCP.Validar los procesos migrados y optimizar el rendimiento y los costes de la plataforma.#J-*****-Ljbffr

Experiencia en migraciones de Cloudera a GCP , trabajando con HDFS y Google Cloud Storage. Dominio de Apache Spark, Scala y PySpark . Experiencia migrando procesos y workloads a Dataproc y Dataproc Serverless . Conocimientos de procesamiento batch y streaming con Spark Streaming y Apache Kafka , incluidos servicios gestionados de Kafka en GCP. Experiencia con Kudu y tecnologías de destino como Cloud SQL, Google Spanner y Bigtable. Conocimientos de Hive Metastore y Apache Ranger . Experiencia en gobierno y seguridad del dato con Dataplex, Cloud IAM y BigQuery Policy Tags . Experiencia en migración, validación y optimización de pipelines de datos en entornos cloud. Participar en la migración de componentes de almacenamiento, procesamiento batch y streaming desde Cloudera a GCP. Adaptar y migrar workloads de Spark, priorizando la reutilización del código existente. Implementar y optimizar procesos de datos en Dataproc y Dataproc Serverless. Migrar e integrar flujos de datos, garantizando su calidad, consistencia y rendimiento. Adaptar los mecanismos de gobierno, seguridad y control de acceso al ecosistema GCP. Validar los procesos migrados y optimizar el rendimiento y los costes de la plataforma. #J-*****-Ljbffr