Desarrollador Senior en Spark - Madrid

En Deloitte estamos comprometidos con generar un impacto en la sociedad, en nuestros clientes y en ti., * Diseñar, desarrollar y optimizar procesos de procesamiento distribuido de datos con Apache Spark.

• Implementar y mantener pipelines de datos en AWS Glue y/o Amazon EMR.
• Colaborar con arquitectos y analistas de datos en la definición de soluciones escalables y de alto rendimiento.
• Analizar e interpretar los QueryPlan generados por Spark y utilizar SparkUI para detectar patrones, cuellos de botella y oportunidades de optimización.
• Asegurar la calidad del código, las pruebas y la documentación técnica.
• Identificar oportunidades de mejora en rendimiento y costes en entornos cloud., * "route" se utiliza para la adhesión de la sesión
• "careerSiteCompanyId" se utiliza para enviar la solicitud al centro de datos correcto
• "JSESSIONID" se sitúa en el dispositivo del visitante durante la sesión para que el servidor lo pueda identificar
• "Load balancer cookie" (el nombre real de la cookie puede variar) evita que el visitante rebote de una instancia a otra, Estas cookies nos permiten realizar un seguimiento de los análisis mediante el recuento de visitas y fuentes de tráfico para que podamos medir y mejorar el rendimiento de nuestro sitio web. Pueden ser establecidos por nosotros o por proveedores externos, para ayudarnos a saber qué páginas son las más y menos populares y ver cómo los visitantes se mueven por el sitio web.

• Experiencia sólida en Apache Spark (PySpark o Scala).
• Conocimiento avanzado de AWS Glue y/o Amazon EMR.
• Capacidad para analizar y optimizar ejecuciones en Spark, incluyendo interpretación de QueryPlan y uso de SparkUI.
• Experiencia en el desarrollo de ETL/ELT en entornos distribuidos.
• Manejo de Python y buenas prácticas de programación.
• Conocimientos de servicios complementarios en AWS (S3, DynamoDB, Lambda, IAM, etc.).
• Experiencia trabajando en entornos ágiles y colaborativos.

Valoramos también

• Certificaciones en AWS (Data Engineer o Solutions Architect, nivel associate o prefessional).
• Experiencia en microservicios y arquitecturas basadas en eventos.
• Conocimientos en orquestación de pipelines (Step Functions, Airflow u otros).

¿Cómo es trabajar en Deloitte?

Proyectos de alto impacto donde tendrás un largo recorrido y aprendizaje

️ Un día a día híbrido-flexible: tendrás horario flexible y un buen equilibrio entre el teletrabajo y el trabajo en equipo en nuestras oficinas o las de nuestros clientes

Buen ambiente dentro y fuera de la oficina: disfrutarás de varios teambuildings al año, actividades culturales y deportivas… ¡y mucho más!

️ Bienestar integral: cuídate con nuestro programa de salud física, mental y financiera… ¡y con equipo médico en las oficinas!

Impacto social: Podrás apuntarte a una gran cantidad de voluntariados de alcance nacional e internacional y a proyectos pro-bono con los que poner tu tiempo y talento al servicio de quienes más lo necesitan

Beneficios exclusivos por ser parte de Deloitte: podrás disfrutar de un gran catálogo de beneficios y de un completo plan de retribución flexible, Nombre: QSI_HistorySession

Huésped: assets.adobedtm.com

Duración: Algunos segundos

Tipo: Tercero

Categoría: Cookies de análisis y rendimiento

Deloitte drives progress. Our firms around the world help our clients become market leaders wherever they compete. Deloitte invests in outstanding people with diverse talents and backgrounds, empowering them to achieve more than they can elsewhere. Our work combines consulting with action and integrity. We believe that when our clients and society are stronger, so are we.