Cloud / Data Engineer

Data Architectuur & Modellering: je hebt ruime ervaring met het inrichten van de Medallion Architectuur (Bronze, Silver, Gold) binnen Databricks. Je bent sterk in het vertalen van complexe business logica naar helder gestructureerde datasets, bij voorkeur volgens Kimball (dimensioneel modelleren), en weet robuuste goud-lagen te bouwen.

Engineering & Transformaties: je bent bedreven in het ontwikkelen van robuuste datapijplijnen met Kubernetes, PySpark en SQL, en je kent de mogelijkheden van Spark Declarative Pipelines (SDP). Met diepgaande kennis van dbt (data build tool) ontwerp je modulaire en onderhoudbare transformaties.

Storage & Performance-optimalisatie: je hebt bewezen affiniteit met het maximaliseren van de platform-performance. Dat doe je door het inzetten van de juiste Databricks compute clusters en het benutten van schaalmogelijkheden. Je bent goed op de hoogte van optimalisaties binnen Delta Lake, zoals Partitioning, Clustering, Z-Ordering en Liquid Clustering.

Governance & Security: het inrichten van centrale governance via Unity Catalog kent voor jou geen geheimen. Je implementeert RBAC (Role-Based Access Control) en je hanteert data security best practices als standaard bij de bouw van oplossingen.

Platform & Deployment: je zet maximaal in op automatisering en 'Engineering Excellence' via Databricks Asset Bundles (DABs) voor betrouwbare en reproduceerbare deployments. Daarnaast ben je vaardig in het instrumenteren, monitoren en debuggen van Databricks jobs, pijplijnen en plat form componenten.

Backend & SQL/Postgres (pre): Met Django ontwikkel je API's, implementeer je authenticatie en zorg je voor betrouwbare koppelingen met data bases, waaronder Postgres.

Monitoring & MLOps (pre): Je zorgt voor goede monitoring en logging (Application Insights, Databricks metrics) en hebt idealiter ervaring met MLOps (model lifecycle management).

Kennisdeling en ontwikkeling: Je hebt ervaring in het opleiden van interne medewerkers, waarbij je kennis overdraagt en aantoonbaar de expertise van teamleden verhoogt.

Je hebt minimaal 4 jaar ervaring met Cloud data platforms op Microsoft Azure met Databricks.

Je hebt minimaal 3 jaar ervaring in het ontwerpen en realiseren van dataplatformen, datapijplijnen met Kubernetes.

Je hebt minimaal 3 jaar ervaring in het ontwerpen en uitwerken van een technische data solution architectuur, met aandacht voor Governance Security.

Je hebt minimaal 3 jaar ervaring in het ontwikkelen van datapijplijnen met PySpark en SQL.

Je hebt kennis van en ervaring met Microsoft Azure, in het bijzonder Databricks, Storage, Active Directory en Key Vault

Je hebt binnen één of meerdere opdrachten de verantwoordelijkheid gedragen voor de resalisatie van (een significant deel van) een data-platform, waarbij hij of zij betrokken is geweest vanaf de start van het traject tot en met de implementatie en oplevering van de oplossing.

Je hebt kennis van en ervaring met het naar productie brengen van modellen en deze te beheren en schalen met Azure, Kubernetes, Databricks.

Je werkt volgens best practices (CI/CD, testing, versioning, IaC).

Je bent in staat om collega's/teamleden te laten groeien in data-engineering vaardigheden.

Analyseren

Klantgerichtheid

Omgevingsbewustzijn

Plannen en organiseren

Resultaatgerichtheid

Samenwerken

Voortgangscontrole

Zelfontwikkeling

Resultaatgericht in samenwerking