Data Engineer Senior - Azure & Databricks New

NEORIS
1 month ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
Spanish, English
Experience level
Junior

Job location

Remote

Tech stack

Data analysis
Automation of Tests
Azure
Continuous Integration
ETL
DevOps
Python
Object-Oriented Software Development
Scrum
Data Processing
Azure
Pytest
PySpark
Kafka
Spark Streaming
Databricks

Job description

  • Diseñar, desarrollar y mantener pipelines de datos eficientes y escalables en Azure y Databricks.
  • Implementar procesos ETL/ELT utilizando PySpark y Azure Data Factory.
  • Desarrollar procesos de ingestión y procesamiento de datos en tiempo real mediante Spark Structured Streaming y Kafka.
  • Automatizar pruebas unitarias e integraciones utilizando frameworks como pytest y unittest.
  • Gestionar secretos de forma segura mediante Azure Key Vault y monitorear procesos con Log Analytics.
  • Participar en el modelado de datos utilizando tablas Delta y otras estructuras optimizadas para analítica.
  • Colaborar con equipos multidisciplinarios para garantizar la calidad y disponibilidad de los datos.

Requirements

  • Certificación vigente: Databricks Certified Data Engineer Associate.
  • Mínimo 5 años de experiencia en proyectos de ingeniería de datos, incluyendo:
  • Programación orientada a objetos.
  • Desarrollo de procesos ETL.
  • Modelado de datos.
  • Al menos 3 años de experiencia en:
  • Azure Data Factory.
  • Azure Databricks.
  • Desarrollo de procesos de carga con PySpark en Python.
  • Automatización de pruebas unitarias e integración con pytest y unittest.
  • Gestión de logs con Log Analytics.
  • Gestión de secretos con Azure Key Vault.
  • Modelado de datos con tablas Delta.
  • Al menos 1 año de experiencia en:
  • Procesamiento de datos en streaming con Spark Structured Streaming.
  • Desarrollo de consumidores y publicadores de eventos en Kafka usando Python.
  • Orquestación de procesos en Azure Databricks mediante Azure Data Factory., * Certificación DP-203: Azure Data Engineer Associate.
  • Experiencia en entornos ágiles (Scrum, Kanban).
  • Conocimientos en DevOps para Data (CI/CD, infraestructura como código).
  • Inglés intermedio-avanzado.

Benefits & conditions

  • Contrato indefinido con salario competitivo
  • Modalidad flexible y posibilidad de trabajo remoto.
  • Plan de carrera personalizado y formación continua (certificaciones, inglés, etc.).
  • Participación en proyectos estables con alto componente técnico.
  • Flexibilidad horaria y enfoque en la conciliación.
  • Beneficios sociales adaptados a tus necesidades

Apply for this position