Spark Structured Streaming

Pixie
yesterday

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
Spanish

Job location

Tech stack

Data analysis
Apache HTTP Server
Databases
Data Architecture
Information Engineering
DevOps
Python
DataOps
SQL Databases
Data Streaming
Kafka
Spark Streaming

Job description

La posición ofrece la oportunidad de participar en proyectos de arquitectura de datos de alto impacto, trabajando con tecnologías modernas de procesamiento distribuido y entornos Lakehouse.

Requirements

Experiencia con bases de datos SQL y NoSQLCapacidad para diseñar arquitecturas end-to-end escalables y orientadas al negocio ValorableExperiencia con herramientas de data quality y observabilidadConocimientos en streaming: Kafka Spark Structured Streaming otras tecnologías en tiempo real Experiencia en seguridad y compliance, Experiencia en entornos cloud y plataformas distribuidasConocimientos DevOps/DataOps serán valorados ResponsabilidadesDiseño y evolución de arquitecturas de datos escalables y fiablesDesarrollo de pipelines y procesos de transformación con Python y SparkOrquestación de workflows y gestión de procesos mediante Apache AirflowColaboración con equipos de Data Engineering, Analytics y Data Science para habilitar soluciones data-driven

Apply for this position