Data engineer

Opdrachtomschrijving

Het Datalab van het Ministerie van Volksgezondheid, Welzijn en Sport (VWS) biedt de directies van VWS een omgeving om hun data-initiatieven onder te brengen. Het platform is gebouwd op Microsoft Azure, met Databricks als centrale component. Vanuit Den Haag werk je aan het onderhoud van de bestaande omgeving en aan de verdere ontwikkeling van het platform.

Als data engineer ontwerp en implementeer je ETL- en ELT-processen die data vanuit bronsystemen via het data lake naar de productielaag brengen. Daarbij werk je met Python en PySpark. Ook ontwerp en onderhoud je de centrale semantische modellen, zodat datastructuren en definities op elkaar aansluiten en er stabiele Power BI-rapportages kunnen worden gebouwd.

De opdracht omvat daarnaast de migratie naar een vernieuwd platform en het via API ontsluiten van bronsystemen. Je onderhoudt het Azure-dataplatform samen met de beheerpartij van de cloudomgeving en bent hiervoor het aanspreekpunt. Binnen het team pak je de complexere datavraagstukken, waaronder moeilijke datatransformaties en schema-updates, op. Ook lever je een bijdrage aan de doorontwikkeling van het platform en verken je hoe AI de werklast van operationele teams kan verlagen.

Gevraagd profiel

VWS zoekt een ervaren data engineer die binnen het team als technische ruggengraat voor complexe datavraagstukken opereert. Je hebt ervaring met het ontwerpen en implementeren van dataprocessen met Python en PySpark, het werken met Azure en Databricks en het ontwikkelen en onderhouden van semantische modellen voor Power BI-rapportages.

Je bent technisch sterk, neemt verantwoordelijkheid voor complexe transformaties en schema-updates en fungeert als aanspreekpunt voor het Azure-dataplatform. Daarnaast denk je actief mee over de aanpak van nieuwe initiatieven en de verdere ontwikkeling van de dataomgeving.

Eisen

• Minimaal 3 jaar aantoonbare werkervaring heeft als data engineer op Microsoft Azure
• Aantoonbare ervaring heeft met Databricks (onder meer Delta Lake en Unity Catalog)
• Uitstekende programmeervaardigheden heeft in Python en aantoonbare ervaring met PySpark
• Minimaal 3 jaar ervaring heeft met het opzetten van ETL/ELT-processen en het bouwen en orkestreren van pipelines
• Minimaal 3 jaar ervaring heeft met datamodellering, conceptueel en dimensioneel, en met het ontwerpen en onderhouden van semantische modellen
• Aantoonbare ervaring heeft met API-integraties en het ontsluiten van bronsystemen
• Aantoonbare ervaring heeft met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform)
• In het bezit is van een of meer relevante Azure datacertificeringen (de DP reeks binnen de azure certificaten)
• Minimaal 5 jaar aantoonbare ervaring heeft met het werken in een agile omgeving
• De Nederlandse taal in woord en geschrift beheerst

Wensen

• Ervaring heeft met platformmigraties, van on-premises of legacy naar een cloud dataplatform, is een pré

Competenties

• Analytisch denkt
• Nauwkeurig werkt
• Klantgericht
• Organisatiesensitief
• Goed samenwerkt in teamverband
• Zich goed kan verplaatsen in de gebruikers