Databricks Architect

Capgemini
Municipality of Madrid, Spain
3 days ago

Role details

Contract type
Apprenticeship
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
Spanish, English
Experience level
Senior

Job location

Municipality of Madrid, Spain

Tech stack

Artificial Intelligence
Data analysis
Unit Testing
Azure
Code Review
Continuous Integration
Data Architecture
ETL
SQL Databases
Spark
Caching
Generative AI
Data Lake
PySpark
Software Version Control
Key Vault
Databricks

Job description

Como parte del equipo de Data & AI te unirás a un proyecto relevante del sector bancario, y tendrás la oportunidad de seguir formándote, certificándote y reorientando tu perfil dentro de otras áreas del dato., * Diseñar arquitecturas cloud de datos y analítica en Azure

  • Diseñar e implementar procesos ETL/ELT robustos utilizando PySpark, SQL y notebooks de Databricks.
  • Crear pipelines de alto rendimiento batch y streaming, alineados con los principios de la arquitectura Medallion.
  • Trabajar con Delta Lake para garantizar transacciones ACID, versionado, optimización de tablas y manejo eficiente del dato.
  • Aplicar técnicas avanzadas de optimización en Databricks (Auto Loader, Z-Ordering, cachés, Photon, tuning de Spark, etc.) para garantizar fiabilidad, eficiencia y escalabilidad.
  • Colaborar estrechamente con los arquitectos para comprender los diseños de las soluciones y convertirlos en implementaciones de alta calidad.
  • Garantizar el cumplimiento de las mejores prácticas de ingeniería: pruebas unitarias, CI/CD, control de versiones, monitorización y documentación.
  • Realizar revisiones de código entre pares, asesorar a ingenieros júnior y contribuir a las mejoras de procesos del equipo.
  • Integrar servicios de Azure (Data Factory, Data Lake, Event Hub, Synapse, Key Vault, Monitor, Log Analytics) en soluciones de datos end-to-end.
  • Mantener estándares rigurosos de calidad, validación, seguridad y gobernanza del dato, incluyendo el uso de Unity Catalog

Requirements

  • +5 años de experiencia en arquitectura de datos en entorno Azure
  • Dominio de Databricks. Se valoran positivamente las certificaciones de Databricks
  • Habilidades comunicativas, trabajo en equipo y mentalidad de aprendizaje continuo.
  • Nivel fluido de inglés, acostumbrado/a a realizar reuniones técnicas., * Proyectos variados y desafiantes: Trabajarás en retos multisectoriales, evitando la rutina y exponiéndote a tecnologías diversas.
  • Flexibilidad y modelo híbrido: Cultura orientada al equilibrio vida-trabajo.
  • Aprendizaje continuo:
  • Formación en tecnologías cloud, data governance, visualización…
  • Participación real en proyectos con IA generativa, Business AI y tecnologías emergentes del dato.
  • Diversidad de clientes e innovación constante: Proyectos de impacto real con organizaciones líderes.
  • Entornos colaborativos e inclusivos: Equipos dinámicos, multiculturales y orientados al crecimiento.
  • Crecimiento profesional y "challenge" técnico: Autonomía, mentoring, certificaciones y oportunidades de ampliar tu rol dentro del área de Data & AI.

About the company

Capgemini ist einer der weltweit führenden Anbieter von Management- und IT-Beratung, Technologie-Services und Digitaler Transformation. Als ein Wegbereiter für Innovation unterstützt das Unternehmen seine Kunden bei deren komplexen Herausforderungen rund um Cloud, Digital und Plattformen.

Apply for this position