Data Engineer Azure

BeFrank
Amsterdam, Netherlands
2 days ago

Role details

Contract type
Permanent contract
Employment type
Full-time (> 32 hours)
Working hours
Regular working hours
Languages
Dutch

Job location

Amsterdam, Netherlands

Tech stack

Amazon Web Services (AWS)
Unit Testing
Azure
Continuous Integration
Information Engineering
Relational Databases
Python
NoSQL
Software Architecture
Raw Data
File Transfer Protocol (FTP)
Data Lake
PySpark
Integration Tests
REST

Job description

Als Data Engineer ben je verantwoordelijk voor het bouwen van schaalbare dataoplossingen op het Azure-platform. Je werkt intensief samen in een klein, hecht team en hebt een hoge mate van zelfstandigheid. Je krijgt de vrijheid en verantwoordelijkheid om mee te denken over nieuwe toepassingen die het dataplatform kunnen verrijken.

Requirements

Je hoofdrol in één zin: schaalbare software architectuur neerzetten die ruwe data vanuit verschillende bronnen transformeert naar waardevolle dataproducten voor de business. Wat je gaat doen - Productiewaardige datapipelines ontwikkelen in Python en PySpark volgens medallion-architectuur (bronze, silver, gold) op Delta Lake - Data ontsluiten uit diverse bronsystemen: relationele databases, NoSQL databases, Blob/S3 storage, REST API's en SFTP servers - Uitgebreide tests schrijven: unit tests, integratietests en BDD-tests voor datatransformaties, geïntegreerd in CI/CD processen via Azure DevOps - Datakwaliteit validaties ontwerpen en implementeren voor vroegtijdige signalering van dataproblemen - Nauw samenwerken met data- en businessanalisten aan datamodellen die businesswaarde leveren - Zelfstandig technische oplossingen ontwerpen binnen de cloud architectuur van het dataplatform - Actief bijdragen aan kennisdeling binnen het engineering team Wat je meebrengt - HBO/WO werk- en denkniveau met relevante ervaring als data engineer - Expertise in productiewaardige Python-code ontwikkeling met nette projectstructuur - Ervaring met Azure cloud services en data engineering tools - Kennis van moderne data engineering praktijken en methodologieën - Vloeiend Nederlands (vere...

About the company

Azure Jobboard presenteert een uitdagende vacature voor een Data Engineer bij een innovatieve pensioenvennootschap in Amsterdam. Onze organisatie is recentelijk live gegaan met een geavanceerd dataplatform en zoekt een zelfstandige professional om het datateam te versterken. Jouw impact als Data Engineer

Apply for this position