Data engineer migratie (datalab)

Opdrachtomschrijving

Voor het Datalab van VWS bij het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) werk je aan het onderhoud en de doorontwikkeling van een dataplatform voor de data-initiatieven van de directies van VWS. Het platform is gebouwd op Microsoft Azure, met Databricks als centrale component. De opdracht vindt plaats in Den Haag.

Je richt je onder meer op de migratie naar een vernieuwd platform en op het via API ontsluiten van bronsystemen. Je ontwerpt en implementeert ETL- en ELT-processen die data met Python en PySpark van bron naar de productielaag in het data lake brengen. Daarnaast ontwerp en onderhoud je de centrale semantische modellen, zodat datastructuren en definities op elkaar aansluiten en er stabiele Power BI-rapportages op kunnen worden gebouwd.

Ook onderhoud je het Azure-dataplatform samen met de beheerpartij van de cloudomgeving en ben je hiervoor het aanspreekpunt. Je draagt bij aan een betrouwbare datavoorziening, ondersteunt de doorontwikkeling en nieuwe initiatieven en verkent hoe AI kan helpen om de werklast bij operationele teams te verlagen.

Gevraagd profiel

Je bent een ervaren data engineer die binnen een team de technische ruggengraat vormt voor complexe datavraagstukken. Je hebt ervaring met het ontwerpen en implementeren van ETL- en ELT-processen met Python en PySpark, het werken met datalakes en het ontwerpen en onderhouden van semantische modellen voor stabiele rapportages.

Je bent gewend een Azure-dataplatform samen met een cloudbeheerpartij te onderhouden en als aanspreekpunt op te treden. Bij moeilijke datatransformaties en schema-updates neem je de technische lead. Je denkt actief mee over de aanpak van doorontwikkeling en nieuwe initiatieven en onderzoekt hoe AI praktisch kan bijdragen aan het verminderen van de operationele werklast.

Eisen

• Minimaal 3 jaar aantoonbare werkervaring heeft als data engineer op Microsoft Azure
• Aantoonbare ervaring heeft met Databricks (onder meer Delta Lake en Unity Catalog)
• Uitstekende programmeervaardigheden heeft in Python en aantoonbare ervaring met PySpark
• Minimaal 3 jaar ervaring heeft met het opzetten van ETL/ELT-processen en het bouwen en orkestreren van pipelines
• Minimaal 3 jaar ervaring heeft met datamodellering, conceptueel en dimensioneel, en met het ontwerpen en onderhouden van semantische modellen
• Aantoonbare ervaring heeft met API-integraties en het ontsluiten van bronsystemen
• Aantoonbare ervaring heeft met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform)
• In het bezit is van een of meer relevante Azure datacertificeringen (de DP reeks binnen de azure certificaten)
• Minimaal 5 jaar aantoonbare ervaring heeft met het werken in een agile omgeving
• Minimaal 32 uur per week beschikbaar is
• HBO/WO werk- en denkniveau heeft in een bèta- of ICT-richting
• De Nederlandse taal in woord en geschrift beheerst

Wensen

• Ervaring heeft met platformmigraties, van on-premises of legacy naar een cloud dataplatform

Competenties

• Analytisch denkt
• Nauwkeurig werkt
• Klantgericht is
• Organisatiesensitief is
• Goed samenwerkt in teamverband
• Zich goed kan verplaatsen in de gebruikers