Data Engineer (2FTE)

Opdrachtbeschrijving

Als Cloud/Data Engineer werk je in een DevOps-team aan schaalbare, efficiënte en veilige data-platforms in Azure, met Databricks of Kubernetes als kerntechnologie.

Je bouwt en onderhoudt Medallion-architecturen (Bronze, Silver, Gold) en vertaalt complexe businesslogica naar heldere, dimensionele datasets volgens Kimball-principes.

Je ontwikkelt robuuste datapijplijnen met PySpark, SQL en Kubernetes, gebruikt Spark Declarative Pipelines en ontwerpt modulaire transformaties met dbt.

Je optimaliseert storage en performance binnen Delta Lake (partitioning, clustering, Z‑Ordering, Liquid Clustering) en beheert compute-resources op Databricks.

Je implementeert governance en security via Unity Catalog en RBAC, automatiseert deployments met Databricks Asset Bundles en zorgt voor monitoring, debugging en (optioneel) MLOps-ondersteuning.

Vereist profiel

• Ruime ervaring met Databricks en/of Kubernetes in Azure-omgevingen, inclusief Databricks compute optimalisatie.
• Diepgaande kennis van Medallion Architectuur en ervaring met dimensioneel modelleren (Kimball) en het bouwen van goud-lagen.
• Sterke engineeringvaardigheden: PySpark, SQL, Spark Declarative Pipelines; ervaring met dbt voor modulaire transformaties.
• Aantoonbare kennis van Delta Lake-optimalisaties (partitioning, clustering, Z‑Ordering, Liquid Clustering) en storage best practices.
• Ervaring met data governance en security: Unity Catalog, RBAC en data security best practices.
• Bekendheid met automatisering en reproducible deployments via Databricks Asset Bundles (DABs) en met monitoring/instrumentatie van jobs en pijplijnen.
• Backend-ervaring (pré): Django voor API’s en koppelingen met Postgres; kennis van Application Insights en logging; MLOps-ervaring is een pre.
• Ervaring in kennisdeling en opleiden van collega’s, met bewezen verhoging van teamexpertise.
• Context: je werkt binnen het Programma AI van RVO in Utrecht; de opdracht betreft Data Engineer (2 FTE).

Eisen

• Minimaal 4 jaar aantoonbare ervaring met cloud data platforms op Microsoft Azure met Databricks, aantoonbaar middels cv.
• Minimaal 3 jaar ervaring in het ontwerpen en realiseren van dataplatformen en datapijplijnen met Kubernetes.
• Minimaal 3 jaar ervaring in het ontwerpen en uitwerken van een technische data solution architectuur, met aandacht voor Governance & Security.
• Minimaal 3 jaar ervaring in het ontwikkelen van datapijplijnen met PySpark en SQL.

Wensen

• Kennis van en ervaring met Microsoft Azure, in het bijzonder Databricks, Storage, Active Directory en Key Vault, met verantwoordelijkheid voor de realisatie van (een significant deel van) een data-platform van start tot implementatie en oplevering. De ervaring blijkt uit de beschrijving van de werkzaamheden en resultaten in het cv.
• Kennis van en ervaring met het naar productie brengen van modellen en deze te beheren en schalen met Azure, Kubernetes, Databricks.
• Werken volgens best practices (CI/CD, testing, versioning, IaC), blijkend uit concrete voorbeelden in cv of motivatie.
• In staat om collega’s/teamleden te laten groeien in data-engineering vaardigheden, blijkend uit concrete voorbeelden in cv of motivatie.

Competenties

• Resultaatgericht in samenwerking
• Continu op zoek naar verbetering
• Professionele beheersing van de Nederlandse taal.