Azure Databricks Data Engineer

Bluetab, an IBM en Murcia, busca un Data Engineer con 4-5 años de experiencia en Scala, Python o PySpark. El candidato ideal diseñará y ejecutará pipelines de datos en Databricks y optimizará el rendimiento y almacenamiento de datos en Azure.

Las responsabilidades incluyen la integración de diversas fuentes de datos y colaboración con equipos multidisciplinares. Se brindan oportunidades de mejora continua y desarrollo profesional., * Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark.

• Diseñar arquitecturas Data Lake y Data Warehouse en Azure.

• Transformar datos a gran escala usando Spark., Bluetab, an IBM Company. We are looking for a Data Engineer with 4-5 years of experience, proficient in Scala, Python or PySpark, capable of designing, building, and executing large-scale data pipelines in Databricks and Azure cloud. Lo que harás en el día a día

• Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark, ejecutando procesos Spark en Databricks, garantizando rendimiento, calidad y escalabilidad.

• Diseñar y construir arquitecturas Data Lake y Data Warehouse en entornos Cloud, predominante Azure pero también AWS o GCP.

• Transformar datos a gran escala mediante Spark, aplicando buenas prácticas de procesamiento distribuido.

• Optimizar queries y almacenamiento en Databricks, asegurando eficiencia en el consumo de datos y reducción de costos.

• Integrar múltiples fuentes de datos, asegurando su calidad, consistencia y trazabilidad.

• Colaborar con equipos multidisciplinares, impulsando la mejora continua en procesos de ingesta, transformación y entrega de datos.

• 4-5 años de experiencia en ingeniería de datos.
• Capacidad para diseñar y ejecutar pipelines de datos a gran escala.
• Experiencia en entornos de nube, preferiblemente Azure.