Data engineer

Onze opdrachtgever werkt voor meerdere enterprise organisaties en ontwerpen en bouwen de data intake en verwerkingsoplossingen die bedrijfskritische data ontsluiten. Ze werken veel met cloudplatformen zoals Azure, maar zijn bewust platform? en tool agnostisch. De technische uitdaging staat namelijk centraal.

• Je werkt volgens Scrum/Agile principes en begrijpt wat nodig is voor productieklare datastromen.
• Je hebt een hbo- of wo-opleiding afgerond.
• Je hebt 2-3 jaar ervaring met het ontwikkelen van data-intake en verwerkingsscripts.
• Je hebt stevige kennis van SQL, Python en Spark.
• Je begrijpt de basis van het uitrollen van datasolutions in containeromgevingen (zoals Kubernetes).
• Ervaring met Azure Data Factory, Databricks of Microsoft Fabric is een pré.
• Affiniteit met datamodellering en dashboarding (bijv. Power BI) is een plus.
• Je communiceert helder in Nederlands en Engels.
• Idealiter heb je al gewerkt met data lakes en dataplatformen in een enterprise-context.

De oplossingen draaien in productieomgevingen en vormen een essentieel onderdeel van de business value chain. Dat betekent:

• hoge eisen aan datakwaliteit en dataconsistentie;
• focus op beschikbaarheid en performance;
• end to end inzicht via monitoring en alerting;

• verantwoordelijkheid nemen als er iets misgaat. Concreet betekent dit dat je:

• Data connectors en datapijplijnen ontwikkelt met Python, Spark en aanverwante technologieën.
• Ruwe data structureert, verrijkt en normaliseert tot modellen die direct bruikbaar zijn voor analytics en reporting.
• Validatie- en kwaliteitscontroles ontwerpt en integreert in datapijplijnen;
• Monitoring en alerting inricht zodat latency, dataverlies of falende jobs direct zichtbaar zijn.
• Incidenten analyseert en oplost door snel tot de kern van het probleem te komen - structureel, niet pleister?plakken.
• Samenwerkt met eindgebruikers en stakeholders om te toetsen of de data daadwerkelijk doet wat het moet doen.
• Mede verantwoordelijk bent voor het deployen, onderhouden en optimaliseren van data-oplossingen in een cloud- en containerized omgeving.Functie-eisen Jij voelt je thuis in een engineering?omgeving waar kwaliteit en eigenaarschap belangrijker zijn dan snelle hacks.

We gebruiken cookies voor statistieken en marketing om de site te verbeteren. Analytische en marketingcookies worden pas geplaatst nadat je ze accepteert. Meer info in ons Privacy.