Opleidingsniveau
HBO/WO in Informatica, Computer Science, Data Science of gelijkwaardige werkervaring
Salarisindicatie in loondienst
€65000 - €90000 per jaar
Indicatie uurtarief bij ZZP
€450 - €900 per uur
Doorgroeimogelijkheden
Lead Data Engineer, Data Architect, Engineering Manager, Head of Data
Competenties & vaardigheden
PySpark, SQL, Databricks, Delta Lake, Data Modeling
Gerelateerde functies
Data Architect, Big Data Engineer, Platform Engineer, Machine Learning Engineer
Functiebeschrijving
Een Data Engineer ontwerpt en bouwt schaalbare cloud-gebaseerde dataplatforms en dataprocessen waarmee ruwe bronnen worden omgezet in betrouwbare, semantisch rijke datasets voor analytische en operationele doeleinden.
De rol omvat het realiseren van lagen-architecturen (bijv. Medallion: Bronze, Silver, Gold), het vertalen van complexe businesslogica naar dimensionele modellen volgens Kimball-principes en het ontwikkelen van robuuste datapijplijnen met PySpark en SQL op platforms zoals Databricks of Kubernetes in Azure.
Daarnaast is de engineer verantwoordelijk voor storage- en performance-optimalisaties binnen Delta Lake, voor implementatie van governance en security (Unity Catalog, RBAC) en voor het automatiseren van deploys en monitoring van jobs; dit werk komt zowel voor in zzp opdrachten als in longer-term interim werk en opdrachten overheid.
De functie wordt vaak uitgevoerd binnen projectvormen zoals DAS of via tijdelijke opdrachten waarbij samenwerken met data scientists, platform engineers en stakeholders vereist is.
Salarisindicatie
Op reguliere contractbasis bedraagt het brutoloon doorgaans tussen €65.000 en €90.000 per jaar, afhankelijk van ervaring en verantwoordelijkheden.
Als consultant of zzp opdrachten liggen de dagtarieven doorgaans tussen €450 en €900 per dag, met hogere tarieven voor korte specialistische opdrachten en opdrachten overheid.
Bij inzet via interim-bureaus of binnen DAS-constructies kunnen prijzen en secundaire voorwaarden variëren op basis van scope, duur en compliance-eisen.
Typische werkzaamheden
Ontwerpen van technische data-architectuur inclusief partitioning, clustering en Z‑Ordering voor Delta Lake ten behoeve van performance en kostenreductie.
Ontwikkelen van end-to-end datapijplijnen in PySpark en SQL, orkestratie op Kubernetes of Databricks en het toepassen van dbt voor modulaire transformaties.
Implementeren van governance, security en toegangsbeheer (Unity Catalog, RBAC), CI/CD voor notebooks en jobs, en opzetten van monitoring, logging en debugging voor productieomgevingen.
Leiden van kennisdeling, code reviews en opleiden van collega’s om teamcapaciteit en kwaliteit te verhogen.
Hoe word je specialist
Begin met een relevante HBO/WO-opleiding en verdiep je in cloudplatformen (Azure) en Databricks via praktijkprojecten en certificeringen.
Verwerf ervaring met PySpark, Delta Lake-optimalisaties, dbt en Kubernetes door meerdere projecten, bij voorkeur inclusief opdrachten overheid en zzp opdrachten voor variatie in datasets en eisen.
Leer CI/CD, IaC en observability-tools toe te passen in end-to-end pipelines en vergroot verantwoordelijkheden door architectural ownership en mentoring.
Breid je profiel uit met Databricks- en Azure-certificaten, deelname aan DAS-implementaties en het aantoonbaar schalen van modellen naar productie.
Opleidingsniveau
HBO/WO in Informatica, Computer Science, Data Science of gelijkwaardige werkervaring
Salarisindicatie in loondienst
€65000 - €90000 per jaar
Indicatie uurtarief bij ZZP
€450 - €900 per uur
Doorgroeimogelijkheden
Lead Data Engineer, Data Architect, Engineering Manager, Head of Data
Competenties & vaardigheden
PySpark, SQL, Databricks, Delta Lake, Data Modeling
Gerelateerde functies
Data Architect, Big Data Engineer, Platform Engineer, Machine Learning Engineer
Functiebeschrijving
Een Data Engineer ontwerpt en bouwt schaalbare cloud-gebaseerde dataplatforms en dataprocessen waarmee ruwe bronnen worden omgezet in betrouwbare, semantisch rijke datasets voor analytische en operationele doeleinden.
De rol omvat het realiseren van lagen-architecturen (bijv. Medallion: Bronze, Silver, Gold), het vertalen van complexe businesslogica naar dimensionele modellen volgens Kimball-principes en het ontwikkelen van robuuste datapijplijnen met PySpark en SQL op platforms zoals Databricks of Kubernetes in Azure.
Daarnaast is de engineer verantwoordelijk voor storage- en performance-optimalisaties binnen Delta Lake, voor implementatie van governance en security (Unity Catalog, RBAC) en voor het automatiseren van deploys en monitoring van jobs; dit werk komt zowel voor in zzp opdrachten als in longer-term interim werk en opdrachten overheid.
De functie wordt vaak uitgevoerd binnen projectvormen zoals DAS of via tijdelijke opdrachten waarbij samenwerken met data scientists, platform engineers en stakeholders vereist is.
Salarisindicatie
Op reguliere contractbasis bedraagt het brutoloon doorgaans tussen €65.000 en €90.000 per jaar, afhankelijk van ervaring en verantwoordelijkheden.
Als consultant of zzp opdrachten liggen de dagtarieven doorgaans tussen €450 en €900 per dag, met hogere tarieven voor korte specialistische opdrachten en opdrachten overheid.
Bij inzet via interim-bureaus of binnen DAS-constructies kunnen prijzen en secundaire voorwaarden variëren op basis van scope, duur en compliance-eisen.
Typische werkzaamheden
Ontwerpen van technische data-architectuur inclusief partitioning, clustering en Z‑Ordering voor Delta Lake ten behoeve van performance en kostenreductie.
Ontwikkelen van end-to-end datapijplijnen in PySpark en SQL, orkestratie op Kubernetes of Databricks en het toepassen van dbt voor modulaire transformaties.
Implementeren van governance, security en toegangsbeheer (Unity Catalog, RBAC), CI/CD voor notebooks en jobs, en opzetten van monitoring, logging en debugging voor productieomgevingen.
Leiden van kennisdeling, code reviews en opleiden van collega’s om teamcapaciteit en kwaliteit te verhogen.
Hoe word je specialist
Begin met een relevante HBO/WO-opleiding en verdiep je in cloudplatformen (Azure) en Databricks via praktijkprojecten en certificeringen.
Verwerf ervaring met PySpark, Delta Lake-optimalisaties, dbt en Kubernetes door meerdere projecten, bij voorkeur inclusief opdrachten overheid en zzp opdrachten voor variatie in datasets en eisen.
Leer CI/CD, IaC en observability-tools toe te passen in end-to-end pipelines en vergroot verantwoordelijkheden door architectural ownership en mentoring.
Breid je profiel uit met Databricks- en Azure-certificaten, deelname aan DAS-implementaties en het aantoonbaar schalen van modellen naar productie.
Opdrachtbeschrijving
Als Cloud/Data Engineer werk je in een DevOps-team aan schaalbare, efficiënte en veilige data-platforms in Azure, met Databricks of Kubernetes als kerntechnologie.
Je bouwt en onderhoudt Medallion-architecturen (Bronze, Silver, Gold) en vertaalt complexe businesslogica naar heldere, dimensionele datasets volgens Kimball-principes.
Je ontwikkelt robuuste datapijplijnen met PySpark, SQL en Kubernetes, gebruikt Spark Declarative Pipelines en ontwerpt modulaire transformaties met dbt.
Je optimaliseert storage en performance binnen Delta Lake (partitioning, clustering, Z‑Ordering, Liquid Clustering) en beheert compute-resources op Databricks.
Je implementeert governance en security via Unity Catalog en RBAC, automatiseert deployments met Databricks Asset Bundles en zorgt voor monitoring, debugging en (optioneel) MLOps-ondersteuning.
Vereist profiel
- Ruime ervaring met Databricks en/of Kubernetes in Azure-omgevingen, inclusief Databricks compute optimalisatie.
- Diepgaande kennis van Medallion Architectuur en ervaring met dimensioneel modelleren (Kimball) en het bouwen van goud-lagen.
- Sterke engineeringvaardigheden: PySpark, SQL, Spark Declarative Pipelines; ervaring met dbt voor modulaire transformaties.
- Aantoonbare kennis van Delta Lake-optimalisaties (partitioning, clustering, Z‑Ordering, Liquid Clustering) en storage best practices.
- Ervaring met data governance en security: Unity Catalog, RBAC en data security best practices.
- Bekendheid met automatisering en reproducible deployments via Databricks Asset Bundles (DABs) en met monitoring/instrumentatie van jobs en pijplijnen.
- Backend-ervaring (pré): Django voor API’s en koppelingen met Postgres; kennis van Application Insights en logging; MLOps-ervaring is een pre.
- Ervaring in kennisdeling en opleiden van collega’s, met bewezen verhoging van teamexpertise.
- Context: je werkt binnen het Programma AI van RVO in Utrecht; de opdracht betreft Data Engineer (2 FTE).
Eisen
- Minimaal 4 jaar aantoonbare ervaring met cloud data platforms op Microsoft Azure met Databricks, aantoonbaar middels cv.
- Minimaal 3 jaar ervaring in het ontwerpen en realiseren van dataplatformen en datapijplijnen met Kubernetes.
- Minimaal 3 jaar ervaring in het ontwerpen en uitwerken van een technische data solution architectuur, met aandacht voor Governance & Security.
- Minimaal 3 jaar ervaring in het ontwikkelen van datapijplijnen met PySpark en SQL.
Wensen
- Kennis van en ervaring met Microsoft Azure, in het bijzonder Databricks, Storage, Active Directory en Key Vault, met verantwoordelijkheid voor de realisatie van (een significant deel van) een data-platform van start tot implementatie en oplevering. De ervaring blijkt uit de beschrijving van de werkzaamheden en resultaten in het cv.
- Kennis van en ervaring met het naar productie brengen van modellen en deze te beheren en schalen met Azure, Kubernetes, Databricks.
- Werken volgens best practices (CI/CD, testing, versioning, IaC), blijkend uit concrete voorbeelden in cv of motivatie.
- In staat om collega’s/teamleden te laten groeien in data-engineering vaardigheden, blijkend uit concrete voorbeelden in cv of motivatie.
Competenties
- Resultaatgericht in samenwerking
- Continu op zoek naar verbetering
- Professionele beheersing van de Nederlandse taal.