Data Engineer
Digipolis
Antwerp, Belgium
2 days ago
Role details
Contract type
Permanent contract Employment type
Full-time (> 32 hours) Working hours
Regular working hours Languages
DutchJob location
Antwerp, Belgium
Tech stack
API
Databases
ETL
Relational Databases
Python
NoSQL
Query Optimization
SQL Databases
Data Processing
Spark
Microsoft Fabric
Job description
Als Data Engineer teken je binnen het nieuwe cloud-gebaseerde dataplatform zelfstandig dataprojecten uit voor onze klanten en zorg je samen met je collega's voor de concrete implementatie ervan. Je streeft ernaar potentieel te halen uit grote hoeveelheden gestructureerde en ongestructureerde data. Je voorziet een rapporteringsomgeving waarop de klant/eindgebruiker zelf analyses en rapporten kan raadplegen. Je bent vertrouwd met verschillende technologieën binnen een medaillon architectuur. Je analyseert welke rapporteringsvragen er zijn, zodanig dat je de data hierop kan modelleren. Als data engineer deel jij je kennis met collega's zodat het team zich steeds verder blijft ontwikkelen.
- Je modelleert data op basis van rapporteringsnoden en bouwt datamodellen en rapporteringsomgevingen die bruikbaar zijn voor diverse stakeholders.
- Je zet data om naar geavanceerde inzichten (predictive en prescriptive) op een innovatieve manier.
- Je ontwikkelt performante datapipelines en integraties vanuit verschillende bronnen en neemt ownership op binnen projecten.
- Je voert projecten zelfstandig uit.
- Je spoort opportuniteiten op vanuit de beschikbare data en processen van de organisatie of klant.
- Je communiceert met eindgebruikers en partners over rapportering en databehoeften, en vraagt feedback over het geleverde werk en de samenwerking.
Requirements
- Kennis van datawarehouse-architecturen.
- Grondige kennis van ETL/ELT-architecturen, batch & speed data-architecturen en integratiepatronen.
- Ervaring met het bouwen van performante datapipelines en integraties met tools zoals Microsoft Fabric, Spark en gerelateerde technologieën.
- Sterke SQL-kennis, inclusief query-optimalisatie en kennis van relationele databanken.
- Ervaring met verschillende databronnen zoals relationele databases, API's en NoSQL-technologieën
- Kennis van datamodelering volgens Kimball methodologie.
- Kennis van Python en het Python-data-ecosysteem (data science libraries, dataverwerking en -analyse).
- Inzicht in lakehouse en datamesh architecturen.