DATA ENGINEER

Atresmedia Corporación de Medios de Comunicación, S.A

Municipality of Madrid, Spain

15 days ago

Role details

Contract type

Temporary contract

Employment type

Full-time (> 32 hours)

Working hours

Regular working hours

Languages

Spanish

Experience level

Intermediate

Job location

Remote

Municipality of Madrid, Spain

Tech stack

Airflow

Amazon Web Services (AWS)

ETL

Identity and Access Management

Python

Power BI

SQL Databases

Scripting (Bash/Python/Go/Ruby)

Snowflake

Spark

State Machines

GIT

Cloudformation

Cloudwatch

Terraform

Jenkins

Job description

El puesto se integra en el Área de IT de Atresmedia. La persona seleccionada trabajará junto al equipo de Data & Analytics en el desarrollo y mantenimiento de los procesos de ingesta, transformación y orquestación de datos que alimentan nuestro Datalake y Data Warehouse corportativo (Snowflake). Formarás parte de un equipo altamente colaborativo, y tu misión principal será asegurar la calidad, fiabilidad y eficiencia de los pipelines de datos que soportan el reporting, la analítica y los productos de datos de la compañía. Se ofrece un entorno estable en compañía líder del sector, con modelo híbrido y posibilidades de desarrollo profesional., * Diseñar, desarrollar y mantener procesos ETL/ELT sobre AWS, utilizando Scala y Apache Spark.

Implementar y monitorizar flujos de orquestación en Apache Airflow.
Participar en la migración y mejora de procesos actualmente orquestados con AWS Step Functions.
Colaborar con el equipo de Data Architecture en la evolución del Datalake y del modelo de datos en Snowflake.
Asegurar la trazabilidad y calidad de los datos a lo largo de los distintos entornos (Desarrollo, Preproducción, Producción).
Mantener buenas prácticas de versionado de código y despliegue continúo utilizando Git y Jenkins.
Contribuir a la optimización de costes y rendimiento en las cargas y transformaciones.

Requirements

Grado o master en Ingeniería matemática, matemáticas, estadística o similar.
Experiencia mínima de 2 a 4 años en ingeniería de datos o desarrollo de pipelines en entornos cloud.
Experiencia práctica en AWS (Lambda, S3, Step Functions, IAM, CloudWatch).
Conocimientos sólidos en Apache Spark y desarrollo en Scala.
Experiencia en la creación y mantenimiento de pipelines de datos.
Familiaridad con Airflow como herramienta de orquestación.
Conocimientos de SQL avanzado y trabajo con Snowflake u otros Data Warehouses cloud.
Experiencia trabajando con Git y Jenkins en entornos colaborativos.

Valorable