Desarrollador Big Data (Spark+Java)
Vermont Solutions
Municipality of Madrid, Spain
9 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
Spanish Experience level
IntermediateJob location
Municipality of Madrid, Spain
Tech stack
Java
Big Data
Databases
Continuous Integration
Data Governance
Data Transformation
Github
MongoDB
NoSQL
Openshift
Cloudera
Data Streaming
Spark
Kubernetes
Kafka
Docker
Confluent
Databricks
Microservices
Job description
Tu desarrollo principal debe estar orientado a Big Data, con una sólida base en Java, para integrarte en un equipo dinámico orientado a la gestión y orquestación de flujos de datos a gran escala. Serás una pieza clave en la administración y definición de topics, streams y pipelines dentro de plataformas como Confluent, Cloudera o Databricks., * Administrar y configurar topics y streams en plataformas de datos (Confluent/Kafka).
- Definir, crear y mantener pipelines de datos en entornos de Big Data.
- Trabajar con datalakes y plataformas como Cloudera o Databricks para la gestión y gobierno de datos.
- Procesar y analizar grandes volúmenes de datos con Spark (batch y/o streaming).
- Automatizar procesos y flujos de trabajo relacionados con la ingesta y transformación de datos.
- Implementación de prácticas de CI/CD para asegurar la calidad y agilidad en el desarrollo.
- Trabajar con tecnologías de contenedores para desplegar y gestionar nuestras aplicaciones.
Requirements
- Perfil orientado a Big Data, con experiencia administrando topics/streams en Kafka/Confluent.
- Experiencia con plataformas de datos como Cloudera o Databricks, incluyendo la creación y gestión de flujos de datos.
- Necesitarás experiencia en Microservicios con foco en el consumo y procesamiento de streams.
- Experiencia con Spark, tanto para procesamiento como dentro de pipelines de datos.
- Experiencia con GitHub Actions u otras herramientas de CI/CD.
- Conocimientos y experiencia trabajando con Spark.
- Manejo de bases de datos NoSQL, preferiblemente MongoDB.
- Conocimientos de Docker, Kubernetes u OpenShift.
Benefits & conditions
- Plan de Formación: Acceso a certificaciones técnicas y programas de formación continua para que siempre estés a la vanguardia. ?
- Desarrollo Profesional: Un plan de carrera definido para que puedas visualizar tu futuro con nosotros y crecer en cada etapa de tu trayectoria. ?
- Plan de Retribución Flexible: Adaptamos nuestra oferta a tus necesidades con beneficios como seguro médico privado, cheques para estudios de idiomas, guardería y tarjeta de transporte. ?
- Ambiente de Trabajo Innovador: Te integrarás en un equipo de profesionales motivados en un entorno que prioriza la innovación y el trabajo en equipo. ? ? ?
- Espacios Inclusivos: Creemos firmemente en un modelo de gestión sostenible y políticas de igualdad efectiva. Valoramos y fomentamos un ambiente de trabajo abierto e inclusivo, donde todos puedan contribuir y sentirse bienvenidos. ?