Senior Data Engineer

Beschrijving opdracht

Als Senior Data Engineer binnen het Data & AI Competence Center (DACC) bij het ministerie van Sociale Zaken en Werkgelegenheid (SZW) bouw je een centrale, herbruikbare en onderhoudbare voorziening op het Cloud Data Platform (Azure/Databricks) voor het ontsluiten van publieke databronnen.

Je inventariseert en ontsluit openbare bronnen (bijv. open.overheid.nl, parlementaire data), realiseert robuuste ingestie- en transformatiepipelines en structureert data zodat deze geschikt is voor hergebruik in dashboards, analyses en AI-toepassingen.

Belangrijke aspecten zijn opschoning, verrijking, datamodellering, metadata, monitoring, foutafhandeling en documentatie — met nadruk op schaalbaarheid en beheerbaarheid in plaats van ad‑hoc oplossingen.

Je werkt hands‑on in een Agile/sprintteam, stemt af met stakeholders (DACC, data‑afnemers, architectuur, platformbeheer) en legt de technische basis voor toekomstige databronnen en afnemers.

De opdracht richt zich op een lange termijn, centrale en herhaalbare inrichting binnen SZW/NLA waarbij prioritering en invulling per iteratie gezamenlijk met het team worden bepaald.

Vereist profiel

• WO werk- en denkniveau, bij voorkeur in informatica, data engineering of software engineering.
• Minimaal 5 jaar aantoonbare werkervaring als Data Engineer of in een vergelijkbare rol.
• Aantoonbare ervaring met het ontwerpen en bouwen van data‑pipelines en integraties in een cloudomgeving; bij voorkeur Microsoft Azure.
• Praktische ervaring met Databricks, Spark, Python en SQL.
• Ervaring met het ontsluiten en verwerken van externe bronnen (REST API’s, open datasets, bestanden in verschillende formaten) binnen een Azure‑omgeving.
• Ervaring met opschonen, transformeren, modelleren en verrijken van data voor meervoudig hergebruik door verschillende afnemers.
• Ervaring met het inrichten van robuuste, onderhoudbare en herhaalbare oplossingen inclusief logging, monitoring, foutafhandeling en herstelprocedures.
• Kennis van data‑architectuur, datamodellering en datakwaliteit; ervaring met metadata en documentatie is een pré.
• Adequate communicatieve vaardigheden, vermogen om technische keuzes helder toe te lichten en om kennis over te dragen binnen het team.
• Ervaring met en bereidheid om te werken binnen overheidskaders op het gebied van beheer, beveiliging en herbruikbaarheid.

Eisen

• Kandidaat beschikt over WO werk- en denkniveau.
• Kandidaat heeft minimaal 5 jaar werkervaring als Data Engineer of in een vergelijkbare rol.
• Kandidaat beschikt over kennis van data-engineering in Microsoft Azure, waaronder het ontwerpen en/of bouwen en/of beheren van dataoplossingen en/of het werken met gangbare programmeer- en querytalen.
• Kandidaat heeft ervaring met het ontsluiten en/of combineren en/of verwerken van data uit externe bronnen binnen een Azure-omgeving (zoals via API’s, databestanden en andere gegevensbronnen in verschillende formaten).

Wensen

• Mate waarin de kandidaat kennis heeft van Azure Databricks, Spark, Python, SQL en het bouwen van robuuste, herhaalbare data-pipelines, inclusief monitoring, foutafhandeling en beheerbaarheid.
• Mate waarin de kandidaat ervaring heeft met het ontsluiten, opschonen, transformeren en beschikbaar maken van publieke of externe databronnen voor meervoudig intern gebruik, bij voorkeur in een overheidscontext of vergelijkbare complexe omgeving.
• Mate waarin de kandidaat beschikt over de gevraagde competenties en senioriteit, zoals zelfstandig complexe data-vraagstukken oppakken, samenwerken met verschillende stakeholders, technisch richting geven en kennis overdragen aan teamleden.
• Mate van ervaring en/of affiniteit met de organisatie van de opdrachtgever.
• Ervaring met Azure Data Platform-componenten naast Databricks, zoals Azure Storage en Data Factory.
• Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen voor dataopwerking.
• Ervaring met publieke of overheidsdatabronnen, zoals open.overheid.nl, parlementaire data of andere open data-voorzieningen.
• Ervaring met metadata, lineage en documentatie van datasets.
• Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen aan beheer, beveiliging en herbruikbaarheid.

Competenties

• Minimaal WO-werk- en denkniveau, bij voorkeur in een relevante richting zoals informatica, data engineering of software engineering.
• Minimaal 5 jaar ervaring als Data Engineer of in een vergelijkbare rol.
• Aantoonbare ervaring met het ontwerpen en bouwen van data-pipelines en data-integraties in een cloudomgeving, bij voorkeur Microsoft Azure.
• Ervaring met Databricks, Spark, Python en SQL.
• Ervaring met het ontsluiten en verwerken van data uit externe bronnen, zoals REST API’s, open datasets en bestanden in verschillende formaten.
• Ervaring met het opschonen, transformeren en modelleren van data voor hergebruik door verschillende afnemers.
• Ervaring met het inrichten van robuuste, onderhoudbare en herhaalbare oplossingen, inclusief monitoring, foutafhandeling en documentatie.
• Kennis van data-architectuur, datamodellering en datakwaliteit.
• Ervaring met werken in een Agile/sprintteam.
• In staat om zelfstandig technische vraagstukken op te pakken.
• In staat om goed samen te werken met collega’s uit verschillende disciplines.
• Goede communicatieve vaardigheden.
• In staat om technische keuzes helder toe te lichten aan teamleden en stakeholders.