Data Engineer Azure
Role details
Job location
Tech stack
Job description
Als Data Engineer ben je verantwoordelijk voor het bouwen van schaalbare dataoplossingen op het Azure-platform. Je werkt intensief samen in een klein, hecht team en hebt een hoge mate van zelfstandigheid. Je krijgt de vrijheid en verantwoordelijkheid om mee te denken over nieuwe toepassingen die het dataplatform kunnen verrijken.
Requirements
Je hoofdrol in één zin: schaalbare software architectuur neerzetten die ruwe data vanuit verschillende bronnen transformeert naar waardevolle dataproducten voor de business. Wat je gaat doen - Productiewaardige datapipelines ontwikkelen in Python en PySpark volgens medallion-architectuur (bronze, silver, gold) op Delta Lake - Data ontsluiten uit diverse bronsystemen: relationele databases, NoSQL databases, Blob/S3 storage, REST API's en SFTP servers - Uitgebreide tests schrijven: unit tests, integratietests en BDD-tests voor datatransformaties, geïntegreerd in CI/CD processen via Azure DevOps - Datakwaliteit validaties ontwerpen en implementeren voor vroegtijdige signalering van dataproblemen - Nauw samenwerken met data- en businessanalisten aan datamodellen die businesswaarde leveren - Zelfstandig technische oplossingen ontwerpen binnen de cloud architectuur van het dataplatform - Actief bijdragen aan kennisdeling binnen het engineering team Wat je meebrengt - HBO/WO werk- en denkniveau met relevante ervaring als data engineer - Expertise in productiewaardige Python-code ontwikkeling met nette projectstructuur - Ervaring met Azure cloud services en data engineering tools - Kennis van moderne data engineering praktijken en methodologieën - Vloeiend Nederlands (vere...