Senior Data Engineer

Samenvatting

Het ministerie van Sociale Zaken en Werkgelegenheid (SZW) zoekt een Senior Data Engineer voor het Data & AI Competence Center (DACC) binnen de directie CIV.

De opdracht richt zich op het centraal ontsluiten, verrijken en beschikbaar stellen van publieke databronnen (zoals open.overheid.nl en Tweede Kamer-data) op het Cloud Data Platform (Azure, met Databricks).

Je bouwt robuuste, herhaalbare data-ingestie- en transformatiepipelines, zorgt voor schoonmaken, verrijken, modelleren en beschikbaarstelling voor dashboards, analyses en AI-toepassingen.

Belangrijke aandachtspunten zijn foutafhandeling, logging, monitoring, herstelbaarheid, metadata, kwaliteit en beheer, zodat oplossingen onderhoudbaar en schaalbaar zijn voor meerdere afnemers binnen SZW/NLA.

De rol is hands-on en teamgericht: je realiseert technische oplossingen, neemt deel aan afstemming met stakeholders en draagt kennis over binnen het team; locatie Den Haag.

Vereist profiel

• Aantoonbare ervaring als Senior Data Engineer met meerdere jaren praktijkwerk in productieomgevingen (bij voorkeur ≥5 jaar).
• Diepgaande kennis van Azure-data services en Databricks; ervaring met het opzetten van data-pipelines, Delta Lake en schaalbare transformaties.
• Sterke programmeervaardigheden in Python en/of Scala en zeer goede SQL-vaardigheden voor datatransformaties en modellering.
• Ervaring met API-integraties en het ontsluiten van open/publieke databronnen, inclusief verwerking van verschillende formaten en throttling/quotabeheer.
• Kennis van logging, monitoring, foutafhandeling en herstelmechanismen; ervaring met CI/CD voor data-pipelines is een pre.
• Inzicht in metadata, datamodellering, data governance, privacy en informatiebeveiliging en het toepassen daarvan in herbruikbare oplossingen.
• Sterke communicatieve vaardigheden en ervaring met stakeholdermanagement; je kunt technische keuzes motiveren en kennis overdragen aan collega’s.
• Proactieve, hands-on werkhouding, gericht op robuuste, onderhoudbare en herbruikbare oplossingen en het werken in een collegiale, informele omgeving.

Eisen

• Minimaal 5 jaar ervaring als Data Engineer of in een vergelijkbare rol.
• Aantoonbare ervaring met het ontwerpen en bouwen van data-pipelines en data-integraties in een cloudomgeving, bij voorkeur Microsoft Azure.
• Ervaring met Databricks, Spark, Python en SQL.
• Ervaring met het ontsluiten en verwerken van data uit externe bronnen, zoals REST API’s, open datasets en bestanden in verschillende formaten.
• Ervaring met het opschonen, transformeren en modelleren van data voor hergebruik door verschillende afnemers.
• Ervaring met het inrichten van robuuste, onderhoudbare en herhaalbare oplossingen, inclusief monitoring, foutafhandeling en documentatie.
• Kennis van data-architectuur, datamodellering en datakwaliteit.
• Ervaring met werken in een Agile/sprintteam.
• Kandidaat beschikt over WO werk- en denkniveau.
• Kandidaat heeft minimaal 5 jaar werkervaring als Data Engineer of in een vergelijkbare rol.
• Kandidaat beschikt over kennis van data-engineering in Microsoft Azure, waaronder het ontwerpen en/of bouwen en/of beheren van dataoplossingen en/of het werken met gangbare programmeer- en querytalen.
• Kandidaat heeft ervaring met het ontsluiten en/of combineren en/of verwerken van data uit externe bronnen binnen een Azure-omgeving ( zoals via API’s, databestanden en andere gegevensbronnen in verschillende formaten)

Wensen

• Ervaring met Azure Data Platform-componenten naast Databricks, zoals Azure Storage, en Data Factory.
• Ervaring met Delta Lake, medallion-architectuur of vergelijkbare patronen voor data opwerking.
• Ervaring met publieke of overheidsdatabronnen, zoals open.overheid.nl, parlementaire data of andere open data-voorzieningen.
• Ervaring met metadata, lineage en documentatie van datasets.
• Ervaring binnen een overheidsorganisatie of in een omgeving met hoge eisen aan beheer, beveiliging en herbruikbaarheid.
• Mate waarin de kandidaat kennis van Azure Databricks, Spark, Python, SQL en het bouwen van robuuste, herhaalbare data-pipelines, inclusief monitoring, foutafhandeling en beheerbaarheid.
• Mate waarin de kandidaat ervaring heeft met het ontsluiten, opschonen, transformeren en beschikbaar maken van publieke of externe databronnen voor meervoudig intern gebruik, bij voorkeur in een overheidscontext of vergelijkbare complexe omgeving.
• Mate van ervaring en/of affiniteit met de organisatie van de opdrachtgever.

Competenties

• In staat om zelfstandig technische vraagstukken op te pakken en tegelijk goed samen te werken met collega’s uit verschillende disciplines.
• Goede communicatieve vaardigheden en in staat om technische keuzes helder toe te lichten aan teamleden en stakeholders.
• Technische senioriteit: zelfstandig complexe data-vraagstukken oppakken, samenwerken met verschillende stakeholders, technisch richting geven en kennis overdragen aan teamleden.