Azure Databricks Data Engineer

Bluetab
Cevico de la Torre, Spain
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
Spanish
Experience level
Senior
Compensation
€ 60K

Job location

Cevico de la Torre, Spain

Tech stack

Airflow
Azure
Data Transformation
Data Warehousing
Python
Scala
Spark
Data Lake
PySpark
Data Lakehouse
Terraform
Databricks

Job description

Con un enfoque en la escalabilidad y eficiencia, se colaborará con equipos multidisciplinarios para mejorar los procesos de ingestión y transformación de datos. Se valorará el conocimiento de herramientas de automatización como Terraform y Airflow., * Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark.

  • Diseñar y construir arquitecturas Data Lake y Data Warehouse en Azure.
  • Transformar datos a gran escala usando Spark.

Requirements

  • Mínimo de 4-5 años de experiencia consolidada.
  • Experiencia desarrollando con Scala, Python o PySpark en Spark para procesamiento distribuido.
  • Conocimientos de arquitecturas Data Lakehouse., Scala Python PySpark SQL avanzado Databricks

Apply for this position