> Markdown version of [/jobs/ext/1474652-senior-data-engineer-data-scraping](https://www.wearedevelopers.com/jobs/ext/1474652-senior-data-engineer-data-scraping). Every page supports `.md` or `Accept: text/markdown`. Links point to the HTML versions so they work for humans too. Agent guide: [/agents.md](https://www.wearedevelopers.com/agents.md).

---

# Senior Data Engineer (Data Scraping)

- **Company:** Wayops
- **Location:** Madrid, Spain (Remote available)
- **Contract:** Permanent contract
- **Skills:** HTML, Artificial Intelligence, Airflow, Amazon Web Services, Amazon S3, Data Analysis, Proxy Servers, Cloud Engineering, Databases, Data Cleansing, Web Scraping, Extract Transform Load (ETL), Amazon DynamoDB, Identity and Access Management, JSON, Python (Programming Language), MongoDB, MySQL, Selenium, Unstructured Data, Extensible Markup Language (XML), Large Language Models, State Machines, Generative AI, Backend, Pandas, Pyspark, Playwright
- **Published:** July 29, 2026
- **Apply:** https://www.buscojobs.com.es/senior-data-engineer-data-scraping-en-madrid-ID-365103954

## About the Role

p h3Experiencia Conocimientos /h3 pBuscamos un perfil con al menos 4 años de experiencia en scraping avanzado y análisis de datos, y una profunda especialización en Python aplicada a crawling masivo y automatización web.
/p pSe valorará especialmente la experiencia construyendo scrapers distribuidos en AWS y la exposición reciente a tecnologías de scraping impulsado por IA.
/p pSerá necesario tener experiencia con: /p ul libCore Scraping Crawling: /b ul liPlaywright, Selenium, BeautifulSoup, Requests / aio liFirecrawl, Crawl4AI, Browserless o agentes LLM para crawling inteligente /li liEstrategias anti-bot, rotación de proxies y browser fingerprinting /li /ul /li libProcesamiento Data Engineering: /b ul liPython (Pandas, Polars, PySpark) /li liPipelines ETL/ELT, normalización y limpieza de datos masivos /li liParsing avanzado (HTML, JSON, XML, documentos estructurados y no estructurados) /li /ul /li libInfraestructura en AWS (imprescindible): /b ul liS3, Lambda, ECS/ECR, Step Functions /li liCloudWatch (monitorización de crawlers), IAM (segmentación de permisos) /li liSQS/SNS (orquestación y comunicación) /li liAWS Glue o EMR (deseable) /li /ul /li libBases de datos: /b ul liPostgreSQL, MySQL, MongoDB o DynamoDB /li liIntegración de datos y diseño de modelos de almacenamiento para alto volumen /li /ul /li /ul pAdemás se
valorará positivamente contar con experiencia o conocimientos en: /p ul liOrquestación: Airflow, Prefect o Dagster /li liInfraestructura serverless y contenedores optimizados para crawling /li liIntegración de datos con LLMs, RAG pipelines o agentes inteligentes /li liVisualización o análisis exploratorio de datos /li liDiseño de pipelines distribuidos de alta concurrencia /li /ul h3Contratación Ubicación /h3 pLa posición tiene sede en Madrid y se rige por un contrato a tiempo completo con vocación de estabilidad.
Dada la criticidad del proyecto y la necesidad de una colaboración estrecha con los equipos de negocio y técnicos, el rol requiere presencialidad en las oficinas (operando bajo un modelo híbrido, habitualmente de 3 días presenciales y 2 de teletrabajo).

## Description

ph3Overview /h3 pBuscamos un perfil Senior Data Scraping Analysis Specialist con sólida experiencia en Python que quiera desarrollar su carrera profesional construyendo pipelines de crawling inteligente y extracción masiva de datos desplegados en ecosistemas AWS de alto rendimiento./p h3Responsabilidades /h3 pLa persona seleccionada se incorporará al equipo Funcional con la misión crítica de conectar fuentes externas de información con los sistemas internos de análisis y los nuevos agentes de IA en la nube.El rol implica diseñar y mantener pipelines avanzados de scraping y crawling, capaces de operar a gran escala en entornos AWS, garantizando resiliencia, trazabilidad, observabilidad y cumplimiento de estándares de seguridad./p pSerá imprescindible dominar técnicas clásicas de scraping (Playwright, Selenium, BeautifulSoup) junto con nuevas soluciones impulsadas por IA, como Firecrawl, Crawl4AI o agentes LLM capaces de automatizar la navegación y extracción de contenido en webs dinámicas y altamente protegidas.El especialista también deberá procesar y transformar grandes volúmenes de datos dentro de arquitecturas cloud-native, integrando los resultados en los sistemas analíticos de la organización./p h3Proyecto Equipo /h3 pEl proyecto tiene como objetivo habilitar la automatización completa de la adquisición de datos externos y su disponibilidad en AWS para alimentar plataformas analíticas y modelos de IA Generativa.Esto incluirá el desarrollo de crawlers inteligentes, estrategias anti-bot, rotación de proxies y la estructuración de datos no estructurados en formatos optimizados para su posterior consumo./p pEl perfil seleccionado trabajará en estrecha colaboración con los Data Scientists, AI Engineers y equipos de Backend, bajo la supervisión del Product Manager y siguiendo las directrices arquitectónicas definidas para entornos AWS.El ecosistema integra servicios como Lambda, ECS, S3, Step Functions y bases de datos distribuidas, por lo que la capacidad de diseñar pipelines cloud-native será clave para el éxito del rol./p h3Experiencia Conocimientos /h3 pBuscamos un perfil con al menos 4 años de experiencia en scraping avanzado y análisis de datos, y una profunda especialización en Python aplicada a crawling masivo y automatización web./p pSe valorará especialmente la experiencia construyendo scrapers distribuidos en AWS y la exposición reciente a tecnologías de scraping impulsado por IA./p pSerá necesario tener experiencia con: /p ul libCore Scraping Crawling: /b ul liPlaywright, Selenium, BeautifulSoup, Requests / aio liFirecrawl, Crawl4AI, Browserless o agentes LLM para crawling inteligente /li liEstrategias anti-bot, rotación de proxies y browser fingerprinting /li /ul /li libProcesamiento Data Engineering: /b ul liPython (Pandas, Polars, PySpark) /li liPipelines ETL/ELT, normalización y limpieza de datos masivos /li liParsing avanzado (HTML, JSON, XML, documentos estructurados y no estructurados) /li /ul /li libInfraestructura en AWS (imprescindible): /b ul liS3, Lambda, ECS/ECR, Step Functions /li liCloudWatch (monitorización de crawlers), IAM (segmentación de permisos) /li liSQS/SNS (orquestación y comunicación) /li liAWS Glue o EMR (deseable) /li /ul /li libBases de datos: /b ul liPostgreSQL, MySQL, MongoDB o DynamoDB /li liIntegración de datos y diseño de modelos de almacenamiento para alto volumen /li /ul /li /ul pAdemás se valorará positivamente contar con experiencia o conocimientos en: /p ul liOrquestación: Airflow, Prefect o Dagster /li liInfraestructura serverless y contenedores optimizados para crawling /li liIntegración de datos con LLMs, RAG pipelines o agentes inteligentes /li liVisualización o análisis exploratorio de datos /li liDiseño de pipelines distribuidos de alta concurrencia /li /ul h3Contratación Ubicación /h3 pLa posición tiene sede en Madrid y se rige por un contrato a tiempo completo con vocación de estabilidad.Dada la criticidad del proyecto y la necesidad de una colaboración estrecha con los equipos de negocio y técnicos, el rol requiere presencialidad en las oficinas (operando bajo un modelo híbrido, habitualmente de 3 días presenciales y 2 de teletrabajo)./p /p #J-*****-Ljbffr /li


## Related Videos

- [Modern Web Data Extraction: Techniques, Tools, and Legal & Ethical Considerations](https://www.wearedevelopers.com/videos/2046-modern-web-data-extraction-techniques-tools-and-legal-ethical-considerations)
- [MySQL Protocol Features You Should Be Aware Of](https://www.wearedevelopers.com/videos/100267-mysql-protocol-features-you-should-be-aware-of)
- [The Resilience of the World Wide Web](https://www.wearedevelopers.com/videos/1281-the-resilience-of-the-world-wide-web)
- [Tips and Tricks for Working with JSON](https://www.wearedevelopers.com/videos/1229-tips-and-tricks-for-working-with-json)
- [From clicks to cribs - How to find your dream home with web scraping](https://www.wearedevelopers.com/videos/767-from-clicks-to-cribs-how-to-find-your-dream-home-with-web-scraping)
- [Coding for Good: Achieving social change with an app](https://www.wearedevelopers.com/videos/1645-coding-for-good-achieving-social-change-with-an-app)

## Related Articles

- [Fully Remote Software Engineer Jobs](https://www.wearedevelopers.com/magazine/447-fully-remote-software-engineer-jobs)
- [Find a Developer Job: 12 Best Job Sites For Developers](https://www.wearedevelopers.com/magazine/165-find-a-developer-job-12-best-job-sites-for-developers)
- [Where To Find Software Engineering Jobs](https://www.wearedevelopers.com/magazine/396-where-to-find-software-engineering-jobs)
- [Spanish Business Culture and Etiquette](https://www.wearedevelopers.com/magazine/353-spanish-business-culture-and-etiquette)
- [Dev Digest 121 - AI goes offline](https://www.wearedevelopers.com/magazine/456-dev-digest-121-ai-goes-offline)
- [Is Software Engineering Over-Saturated?](https://www.wearedevelopers.com/magazine/418-is-software-engineering-over-saturated)