Data Engineer

Profi Workers Data & Analytics Data Engineer - Amsterdam Full Time kim@profi-workers.nl Voor een datagedreven organisatie in de financiële sector zoeken wij een ervaren Data Engineer die ETL-processen slim en schaalbaar kan inrichten. Je werkt aan het bouwen van dataplatforms die realtime en batchverwerking combineren, met aandacht voor performance, betrouwbaarheid en datakwaliteit. Over de functie Je ontwikkelt en onderhoudt data pipelines in een cloudomgeving (Azure of AWS) en integreert verschillende databronnen tot betrouwbare datasets voor analytics, reporting en AI-toepassingen. Je werkt met tooling zoals PySpark , Airflow , Kafka , Databricks , en levert datasets op die voldoen aan governance-eisen zoals GDPR, security en lineage. Je werkt nauw samen met data scientists, BI-specialisten en platform engineers en hebt impact op onderwerpen als klantanalyse, risicobeoordeling, fraudeanalyse of operationele optimalisatie. Wat je gaat doen - Ontwerpen en bouwen van schaalbare

ETL/ELT-processen in Azure of AWS - Inrichten van workflows met Airflow of andere orchestration tools - Bouwen van data pipelines met PySpark, SQL, Kafka en/of Databricks - Samenwerken met data-analisten en -scientists aan betrouwbare datastromen - Beheren en optimaliseren van data lakes, warehouse-architecturen en schemastructuren - Bijdragen aan monitoring, logging, data quality en metadata management Wat we zoeken - Minimaal 3 jaar ervaring als Data Engineer in een complexe (cloud)dataomgeving - Ervaring met PySpark, Airflow en Kafka in een productieomgeving - Kennis van Azure Data Factory, Databricks of AWS Glue is een pré - Sterke SQL-vaardigheden en kennis van data partitioning, parallel processing en schema evolution - Begrip van data governance, security, privacy (GDPR) en versiebeheer van pipelines - Je schakelt makkelijk met zowel technische teams als business stakeholders Wat je krijgt - Een vast dienstverband in een moderne, dat...