Senior Data Engineer (Data Scraping), Madrid

contenido en webs dinámicas y altamente protegidas. El especialista también deberá procesar y transformar grandes volúmenes de datos dentro de arquitecturas cloud-native, integrando los resultados en los sistemas analíticos de la organización. PROYECTO EQUIPO El proyecto tiene como objetivo habilitar la automatización completa de la adquisición de datos externos y su disponibilidad en AWS para alimentar plataformas analíticas y modelos de IA Generativa. Esto incluirá el desarrollo de crawlers inteligentes, estrategias anti-bot, rotación de proxies y la estructuración de datos no estructurados en formatos optimizados para su posterior consumo. El perfil seleccionado trabajará en estrecha colaboración con los Data Scientists, AI Engineers y equipos de Backend, bajo la supervisión del Product Manager y siguiendo las directrices arquitectónicas definidas para entornos AWS. El ecosistema integra servicios como Lambda, ECS, S3, Step Functions y bases de datos distribuidas

Infraestructura en AWS (imprescindible):- S3, Lambda, ECS/ECR, Step Functions - CloudWatch (monitorización de crawlers), IAM (segmentación de permisos) - SQS/SNS (orquestación y comunicación) - AWS Glue o EMR (deseable) - Bases de datos:- PostgreSQL, MySQL, MongoDB o DynamoDB - Integración de datos y diseño de modelos de almacenamiento para alto volumen Además se valorará positivamente contar con experiencia o conocimientos en: - Orquestación: Airflow, Prefect o Dagster - Infraestructura serverless y contenedores optimizados para crawling - Integración de datos con LLMs, RAG pipelines o agentes inteligentes - Visualización o análisis exploratorio de datos - Diseño de pipelines distribuido