Azure Databricks Data Engineer
Role details
Job location
Tech stack
Job description
Bluetab, an IBM, busca un Data Engineer con al menos 4-5 años de experiencia consolidada en la optimización de pipelines de datos. El candidato ideal dominará Scala, Python o PySpark, trabajando en desarrollos de procesos en entornos Cloud como Azure.
Este rol incluye la creación de arquitecturas Data Lake y Data Warehouse y optimización de queries en Databricks. La oportunidad de trabajar en proyectos a nivel nacional e internacional es ideal para quienes buscan retos en Big Data., * Desarrollar y optimizar pipelines de datos.
- Diseñar arquitecturas Data Lake y Data Warehouse.
- Transformar datos a gran escala utilizando Spark., Bluetab, an IBM Company. certificados Great Place to Work & Best Work to Place como una de las mejores compañías para trabajar.
Una compañía muy techie que nos ha llevado a ser el brazo fuerte de IBM en Data, Cloud, ML & IA y donde, para empresas clave de diversos sectores, ayudamos a acelerar y optimizar estrategias en plataformas de datos y en la nube, sacando al máximo las ventajas de su arquitectura y entornos de desarrollo.
Dentro de nuestra línea estratégica de Cloud Native estamos buscando apasionados/as del Cloud Azure (somos Databricks & Gold Microsoft Partner) para participar en proyectos a nivel nacional e internacional donde podrás ponerte a prueba al máximo., * Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark desarrollando y ejecutando procesos en Spark, o sobre Databricks, garantizando rendimiento, calidad y escalabilidad.
- Diseñar y construir arquitecturas Data Lake y Data Warehouse en entornos Cloud (Azure mayormente o sino en entornos AWS o GCP).
- Transformar datos a gran escala mediante Spark, aplicando buenas prácticas de procesamiento distribuido.
- Optimizar queries y almacenamiento en Databricks, asegurando eficiencia en el consumo de datos y reducción de costos.
- Integrar múltiples fuentes de datos, asegurando su calidad, consistencia y trazabilidad.
- Colaborar con equipos multidisciplinares, impulsando la mejora continua en procesos de ingesta y transformación.
Requirements
- Experiencia de al menos 4-5 años en ingeniería de datos.
- Dominio de Scala, Python o PySpark.
- Experiencia en optimización de pipelines de datos a gran escala., En Bluetab, an IBM Company, llevamos la ingeniería de datos al siguiente nivel. Buscamos un Data Engineer con al menos 4-5 años de experiencia consolidada, que domine Scala, Python o PySpark, desarollando y ejecutando procesos Spark, o sobre Databricks en entornos Cloud. Si te apasiona el mundo del Big Data, disfrutas enfrentándote a retos complejos y te encanta optimizar pipelines de datos a gran escala, esta es tu ocasión para unirte a un equipo donde la innovación, la escalabilidad y la eficiencia son nuestra hoja de ruta.