Azure Databricks Data Engineer

En AD4 Octogono estamos contratando.Buscamos un/a Data Engineer especializado/a en Azure Databricks para participar en el diseño, desarrollo y evolución de soluciones de ingeniería del dato sobre arquitecturas Lakehouse.Descripción del puesto Buscamos un/a profesional con al menos 3 años de experiencia en proyectos de ingeniería del dato y 2 años trabajando con Databricks en entornos productivos , con experiencia en procesamiento distribuido, arquitecturas Lakehouse y desarrollo de pipelines de datos.La persona seleccionada participará en el diseño y construcción de procesos batch y streaming, trabajando con Spark, PySpark, SQL y Delta Lake, así como en la optimización y evolución de plataformas de datos.Titulación Titulación universitaria o formación equivalente en: Ingeniería Informática.Ingeniería de Telecomunicaciones.Matemáticas.Estadística.Disciplinas relacionadas.Experiencia y certificación Mínimo 3 años de experiencia en proyectos de ingeniería del dato .Mínimo 2 años de experiencia con Databricks en entornos productivos .Databricks Certified Data Engineer Professional, imprescindible.Conocimientos técnicos imprescindibles Apache Spark y PySpark .Databricks Data Intelligence Platform .Delta Lake y Delta Tables .Databricks SQL.Delta Live Tables / Lakeflow Declarative Pipelines .Databricks Asset Bundles.Optimización mediante: Particionamiento.Z-Ordering.Liquid Clustering.Caching.File Compaction.Amazon Web Services y Databricks on AWS.Azure Data Lake Storage.Azure Data Factory.Microsoft Fabric.Azure Key Vault.Azure DevOps.Procesamiento batch y streaming.Arquitecturas Lakehouse.Arquitecturas Medallion: Bronze, Silver y Gold.Conocimientos deseables Migración de plataformas ETL tradicionales a Databricks.Integración con Kafka o plataformas de streaming equivalentes.Experiencia con dbt .Apache Airflow.Azure Data Factory u otras herramientas de orquestación.Uso de Terraform para el aprovisionamiento de recursos Databricks.Responsabilidades y funciones Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre Databricks.Implementar procesos de ingesta, transformación y carga mediante Apache Spark, PySpark y SQL .Diseñar y evolucionar arquitecturas Lakehouse basadas en Delta Lake .Construir modelos de datos organizados bajo arquitecturas Medallion: Bronze, Silver y Gold .Desarrollar y optimizar notebooks, jobs y workflows de Databricks.Aplicar técnicas de optimización de rendimiento sobre tablas Delta, consultas Spark y cargas de trabajo distribuidas.Participar en la definición de estándares de desarrollo, nomenclatura, versionado, despliegue y documentación.Colaborar con arquitectos de datos, analistas, científicos de datos, equipos de gobierno y responsables de negocio.Participar en la evolución y mejora continua de la plataforma de datos.Garantizar buenas prácticas en el desarrollo, despliegue y mantenimiento de soluciones de ingeniería del dato.Perfil buscado Buscamos un/a Data Engineer especializado/a en Azure Databricks , con experiencia práctica en entornos productivos y sólidos conocimientos de Spark, PySpark, Delta Lake y arquitecturas Lakehouse.Será especialmente valorable la experiencia en proyectos de migración hacia Databricks, integración con plataformas de streaming y automatización del aprovisionamiento mediante Terraform.Condiciones Experiencia: 3 años en ingeniería del dato y 2 años con Databricks.Certificación: Databricks Certified Data Engineer Professional, imprescindible.Modalidad: Posibilidad de teletrabajo.Horario: 40 horas semanales.Salario: ** € - ** € brutos anuales.

Titulación Titulación universitaria o formación equivalente en: Ingeniería Informática. Ingeniería de Telecomunicaciones. Matemáticas. Estadística. Disciplinas relacionadas. Experiencia y certificación Mínimo 3 años de experiencia en proyectos de ingeniería del dato . Mínimo 2 años de experiencia con Databricks en entornos productivos . Databricks Certified Data Engineer Professional, imprescindible. Conocimientos técnicos imprescindibles Apache Spark y PySpark . Databricks Data Intelligence Platform . Delta Lake y Delta Tables . Databricks SQL. Delta Live Tables / Lakeflow Declarative Pipelines . Databricks Asset Bundles. Optimización mediante: Particionamiento. Z-Ordering. Liquid Clustering. Caching. File Compaction. Amazon Web Services y Databricks on AWS. Azure Data Lake Storage. Azure Data Factory. Microsoft Fabric. Azure Key Vault. Azure DevOps. Procesamiento batch y streaming. Arquitecturas Lakehouse. Arquitecturas Medallion: Bronze, Silver y Gold. Conocimientos deseables Migración de plataformas ETL tradicionales a Databricks. Integración con Kafka o plataformas de streaming equivalentes. Experiencia con dbt . Apache Airflow. Azure Data Factory u otras herramientas de orquestación. Uso de Terraform para el aprovisionamiento de recursos Databricks., Perfil buscado Buscamos un/a Data Engineer especializado/a en Azure Databricks , con experiencia práctica en entornos productivos y sólidos conocimientos de Spark, PySpark, Delta Lake y arquitecturas Lakehouse. Será especialmente valorable la experiencia en proyectos de migración hacia Databricks, integración con plataformas de streaming y automatización del aprovisionamiento mediante Terraform. Condiciones Experiencia: 3 años en ingeniería del dato y 2 años con Databricks.

Certificación: Databricks Certified Data Engineer Professional, imprescindible. Modalidad: Posibilidad de teletrabajo. Horario: 40 horas semanales. Salario: ** € - ** € brutos anuales.