> Markdown version of [/jobs/ext/729234-senior-data-engineer-data-scraping-madrid](https://www.wearedevelopers.com/jobs/ext/729234-senior-data-engineer-data-scraping-madrid). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# Senior Data Engineer (Data Scraping), Madrid

- **Company:** WayOps
- **Location:** Madrid, Spain
- **Contract:** Permanent contract
- **Skills:** Artificial Intelligence, Airflow, Amazon Web Services, Amazon S3, Databases, Data Integration, Amazon DynamoDB, Identity and Access Management, PostgreSQL, MongoDB, MySQL, Unstructured Data, Large Language Models, State Machines, Generative AI, Backend, AWS Glue, Cloudwatch, Amazon Simple Queue Service (SQS)
- **Published:** June 29, 2026
- **Apply:** https://www.empleate.gob.es/empleo/#/oferta/1849715390

## About the Role

Infraestructura en AWS (imprescindible):- S3, Lambda, ECS/ECR, Step Functions - CloudWatch (monitorización de crawlers), IAM (segmentación de permisos) - SQS/SNS (orquestación y comunicación) - AWS Glue o EMR (deseable) - Bases de datos:- PostgreSQL, MySQL, MongoDB o DynamoDB - Integración de datos y diseño de modelos de almacenamiento para alto volumen Además se valorará positivamente contar con experiencia o conocimientos en: - Orquestación: Airflow, Prefect o Dagster - Infraestructura serverless y contenedores optimizados para crawling - Integración de datos con LLMs, RAG pipelines o agentes inteligentes - Visualización o análisis exploratorio de datos - Diseño de pipelines distribuido

## Description

contenido en webs dinámicas y altamente protegidas. El especialista también deberá procesar y transformar grandes volúmenes de datos dentro de arquitecturas cloud-native, integrando los resultados en los sistemas analíticos de la organización. PROYECTO EQUIPO El proyecto tiene como objetivo habilitar la automatización completa de la adquisición de datos externos y su disponibilidad en AWS para alimentar plataformas analíticas y modelos de IA Generativa. Esto incluirá el desarrollo de crawlers inteligentes, estrategias anti-bot, rotación de proxies y la estructuración de datos no estructurados en formatos optimizados para su posterior consumo. El perfil seleccionado trabajará en estrecha colaboración con los Data Scientists, AI Engineers y equipos de Backend, bajo la supervisión del Product Manager y siguiendo las directrices arquitectónicas definidas para entornos AWS. El ecosistema integra servicios como Lambda, ECS, S3, Step Functions y bases de datos distribuidas


## Related Videos

- [From Messy Queries to Scalable Systems - How Data Engineering actually works](https://www.wearedevelopers.com/videos/100203-from-messy-queries-to-scalable-systems-how-data-engineering-actually-works)
- [40 Minutes to Build a Serverless COVID-19 REST and GraphQL APIs](https://www.wearedevelopers.com/videos/208-40-minutes-to-build-a-serverless-covid-19-rest-and-graphql-apis)
- [Alibaba Big Data and Machine Learning Technology](https://www.wearedevelopers.com/videos/37-alibaba-big-data-and-machine-learning-technology)
- [MySQL Protocol Features You Should Be Aware Of](https://www.wearedevelopers.com/videos/100267-mysql-protocol-features-you-should-be-aware-of)
- [Enjoying SQL data pipelines with dbt](https://www.wearedevelopers.com/videos/823-enjoying-sql-data-pipelines-with-dbt)
- [NoSQL Data Modeling for Front-end Developers](https://www.wearedevelopers.com/videos/297-nosql-data-modeling-for-front-end-developers)

## Related Articles

- [Dev Digest 120 - Apple and peers](https://www.wearedevelopers.com/magazine/455-dev-digest-120-apple-and-peers)
- [MLops – Deploying, Maintaining And Evolving Machine Learning Models in Production](https://www.wearedevelopers.com/magazine/115-mlops-deploying-maintaining-and-evolving-machine-learning-models-in-production)
- [Making Data Warehouses Fast: A Developer’s Story](https://www.wearedevelopers.com/magazine/107-making-data-warehouses-fast-a-developer-s-story)
- [Fully Remote Software Engineer Jobs](https://www.wearedevelopers.com/magazine/447-fully-remote-software-engineer-jobs)
- [Dev Digest 121 - AI goes offline](https://www.wearedevelopers.com/magazine/456-dev-digest-121-ai-goes-offline)
- [Find a Developer Job: 12 Best Job Sites For Developers](https://www.wearedevelopers.com/magazine/165-find-a-developer-job-12-best-job-sites-for-developers)