Senior Data Engineer - NVWA

Opdracht samenvatting

Voor de Nederlandse Voedsel- en Warenautoriteit (NVWA) voeren we een pilot uit om te onderzoeken of een open source, Kubernetes‑gebaseerd dataplatform de huidige analyse- en rapportageomgeving kan vervangen.

De Senior Data Engineer is de inhoudelijke motor van de pilot: bouwen van representatieve casussen (van bronontsluiting tot ontsluiting naar de business), vertalen van bestaande functionaliteit naar de nieuwe stack en opleveren van reproduceerbare resultaten.

Technische componenten in de pilot zijn onder andere Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA, draaiend op Kubernetes; de kandidaat bouwt ingestie-, transformatie- en ontsluitingspijplijnen en realiseert herbruikbare bouwblokken en configuratie als code.

Belangrijke taken zijn daarnaast kennisoverdracht aan ontwikkelaars volgens het principe 'voordoen > samendoen > zelf doen', bewaken van doorlooptijden en het vastleggen van bevindingen op functionaliteit, performance, beheerlast, beveiliging en kosten als input voor besluitvorming.

De pilot wordt uitgevoerd in samenwerking met de NVWA‑datateams en DICTU; de uitkomst vormt input voor het toekomstige dataplatform van de NVWA. Locatie: Utrecht. Tariefindicatie: €105,-. Let op: rol alleen beschikbaar voor detacheerders/leveranciers of voor ZZP'ers die op onze payroll komen; we kunnen dit telefonisch toelichten.

Vereist profiel

Er wordt gezocht naar een ervaren senior data engineer met aantoonbare, brede praktijkervaring in het bouwen en beheren van dataplatformen en datapijplijnen, die zich snel nieuwe (open source) technologieën eigen kan maken en ontwikkelteams kan meenemen.

• Opleiding: minimaal HBO of WO afgerond.
• Ervaring: minimaal 10 jaar aantoonbare werkervaring in de IT.
• Talen & tooling: minimaal 5 jaar aantoonbare ervaring met SQL en Python.
• Data engineering: minimaal 5 jaar ervaring als data engineer en met het bouwen/beheren van dataplatformen en datapijplijnen.
• DevOps/praktijk: minimaal 3 jaar aantoonbare ervaring met CI/CD, versiebeheer en configuratie als code.
• Vaardigheid: zelfstandig productief op basis van vergelijkbare moderne dataplatformen (bijv. Databricks, Microsoft Fabric of eigen Spark‑omgeving) en snel eigen maken van een open source stack.
• Soft skills: aantoonbaar vermogen om ontwikkelaars uit meerdere teams mee te nemen en effectieve kennisoverdracht te realiseren.

Pre: ervaring met gedistribueerde dataverwerking (Spark/PySpark, Databricks, Fabric of gelijkwaardig), inrichting van security en toegangsbeheer, migratie/vervanging van dataplatformen, ervaring binnen (semi‑)publieke sectoren en politieke/bestuurlijke sensitiviteit.

Eisen

• Kandidaat heeft minimaal een afgeronde HBO opleiding of WO opleiding.
• Kandidaat heeft minimaal 5 jaar aantoonbaar werkervaring met SQL en Python.
• Kandidaat heeft minimaal 3 jaar aantoonbare werkervaring met CI/ CD, versiebeheer en configuratie als code.
• Kandidaat heeft minimaal 10 jaar aantoonbare werkervaring in de IT.
• Kandidaat heeft minimaal 5 jaar werkervaring als data engineer en met het bouwen en beheren van dataplatformen en datapijplijnen.

Wensen

• Kandidaat heeft minimaal 3 jaar werkervaring met gedistribueerde dataverwerking op een modern platform zoals spark/pyspark, databricks, fabric of gelijkwaardig.
• Kandidaat heeft aantoonbaar ervaring met dataomgevingen, inclusief inrichting van security, rechten en toegangsbeheer.
• Kandidaat heeft aantoonbaar ervaring met de migratie of vervanging van een bestaand dataplatform, inclusief het aantoonbaar overzetten van functionaliteit.
• Kandidaat heeft aantoonbare werkervaring met het bouwen van dataplatformen en datapijplijnen op schaal, en aantoonbaar vermogen om zich een nieuwe (open source (o.a. Spark, Trino, dbt, Airflow, NiFi)) stack snel eigen te maken.
• Kandidaat heeft aantoonbaar vermogen om ontwikkelaars uit meerdere teams mee te nemen en kennis over te dragen.
• Kandidaat heeft aantoonbaar ervaring binnen de (semi-)publieke sector in een politiek-bestuurlijk gevoelige omgeving.
• Kandidaat begrijpt de opdracht en past bij de organisatie.

Competenties

• Objectief.
• Pragmatisch.
• Politiek bestuurlijke sensitiviteit.
• Verbindend vermogen.
• Didactisch.
• Resultaatgericht.
• Passie.