Azure Databricks Data Engineer

Bluetab
Municipality of Santiago de Compostela, Spain
3 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
Spanish
Experience level
Senior
Compensation
€ 60K

Job location

Municipality of Santiago de Compostela, Spain

Tech stack

Amazon Web Services (AWS)
Azure
Cloud Computing
Data Warehousing
Python
Scala
Spark
Data Lake
PySpark
Data Delivery
Databricks

Job description

Bluetab, an IBM busca un Data Engineer con 4-5 años de experiencia. El candidato debe ser experto en Scala, Python o PySpark y capaz de desarrollar pipelines de datos en Databricks y en la nube de Azure.

Este puesto implica optimizar el rendimiento y la calidad de los datos, diseñar arquitecturas para Data Lake y Data Warehouse, y colaborar con equipos multidisciplinares en la mejora continua de procesos., * Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark.

  • Diseñar arquitecturas de Data Lake y Data Warehouse.

  • Transformar datos a gran escala mediante Spark.

  • Optimizar queries y almacenamiento en Databricks.

  • Integrar múltiples fuentes de datos., Bluetab, an IBM Company. We are looking for a Data Engineer with 4-5 years of experience, proficient in Scala, Python or PySpark, capable of designing, building, and executing large-scale data pipelines in Databricks and Azure cloud. Lo que harás en el día a día

  • Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark, ejecutando procesos Spark en Databricks, garantizando rendimiento, calidad y escalabilidad.

  • Diseñar y construir arquitecturas Data Lake y Data Warehouse en entornos Cloud, predominante Azure pero también AWS o GCP.

  • Transformar datos a gran escala mediante Spark, aplicando buenas prácticas de procesamiento distribuido.

  • Optimizar queries y almacenamiento en Databricks, asegurando eficiencia en el consumo de datos y reducción de costos.

  • Integrar múltiples fuentes de datos, asegurando su calidad, consistencia y trazabilidad.

  • Colaborar con equipos multidisciplinares, impulsando la mejora continua en procesos de ingesta, transformación y entrega de datos.

Requirements

  • 4-5 años de experiencia como Data Engineer.
  • Experiencia en Scala, Python o PySpark.
  • Conocimiento en entornos Cloud, preferiblemente Azure., Scala Python PySpark Diseño de pipelines de datos Optimización de consultas

Apply for this position