Azure Databricks Data Engineer
Role details
Job location
Tech stack
Job description
Bluetab, an IBM en Valladolid busca un Data Engineer apasionado del Cloud Azure. Se requiere al menos 4-5 años de experiencia en ingeniería de datos, con habilidades en Scala, Python o PySpark y procesos Spark en entornos Cloud.
Las responsabilidades incluyen desarrollar pipelines de datos, construir arquitecturas Data Lake, optimizar queries y colaborar con equipos multidisciplinares. Esta es una excelente oportunidad para trabajar en un entorno innovador y desafiante., * Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark.
- Diseñar y construir arquitecturas Data Lake y Data Warehouse.
- Transformar datos a gran escala mediante Spark.
- Optimizar queries y almacenamiento en Databricks.
- Integrar múltiples fuentes de datos., Bluetab, an IBM Company. certificados Great Place to Work & Best Work to Place como una de las mejores compañías para trabajar. Una compañía muy techie que nos ha llevado a ser el brazo fuerte de IBM en Data, Cloud, ML & IA y donde, para empresas clave de diversos sectores, ayudamos a acelerar y optimizar estrategias en plataformas de datos y en la nube, sacando al máximo las ventajas de su arquitectura y entornos de desarrollo.
Dentro de nuestra línea estratégica de Cloud Native estamos buscando apasionados/as del Cloud Azure (somos Databricks & Gold Microsoft Partner) para participar en proyectos a nivel nacional e internacional donde podrás ponerte a prueba al máximo., * Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark desarrollando y ejecutando procesos en Spark, o sobre Databricks, garantizando rendimiento, calidad y escalabilidad.
- Diseñar y construir arquitecturas Data Lake y Data Warehouse en entornos Cloud (Azure mayormente o sino en entornos AWS o GCP).
- Transformar datos a gran escala mediante Spark, aplicando buenas prácticas de procesamiento distribuido.
- Optimizar queries y almacenamiento en Databricks, asegurando eficiencia en el consumo de datos y reducción de costos.
- Integrar múltiples fuentes de datos, asegurando su calidad, consistencia y trazabilidad.
- Colaborar con equipos multidisciplinares, impulsando la mejora continua en procesos de ingesta, transformació
Requirements
- Experiencia consolidada de al menos 4-5 años en ingeniería de datos.
- Dominio en el desarrollo y ejecución de procesos Spark.
- Conocimiento en arquitecturas Data Lake y Data Warehouse en entornos Cloud., En Bluetab, an IBM Company, llevamos la ingeniería de datos al siguiente nivel. Buscamos un Data Engineer con al menos 4-5 años de experiencia consolidada, que domine Scala, Python o PySpark, desarrollando y ejecutando procesos Spark, o sobre Databricks en entornos Cloud. Si te apasiona el mundo del Big Data, disfrutas enfrentándote a retos complejos y te encanta optimizar pipelines de datos a gran escala, esta es tu posibilidad para unirte a un equipo donde la innovación, la escalabilidad y la eficiencia son nuestra hoja de ruta.