Senior Data Engineer.

Opdrachtomschrijving

Als Senior Data Engineer richt je op Azure een robuuste, schaalbare en geautomatiseerde Databricks-infrastructuur in met Infrastructure-as-Code (IaC).

Je sluit bronsystemen aan via Kafka Connect voor betrouwbare batch- en streaming data-integratie en bouwt data-pijplijnen die ontsluiten, verwerken en beschikbaar maken.

Je implementeert en verfijnt DataOps-principes: CI/CD voor data, automatisering, monitoring en reproduceerbaarheid van data workloads.

Je zorgt dat de cloudomgeving voldoet aan overheids-eisen op het gebied van beveiliging en governance en zet netwerk- en securityconstructies (hub/spoke, Private Endpoints, NSG’s, UDR’s, microsegmentatie) op.

Je werkt nauw samen met het bestaande team, draagt kennis over via documentatie en sessies en zorgt dat de organisatie zelfvoorzienend wordt na afronding van de opdracht.

Vereist profiel

• Seniore engineer met aantoonbare ervaring in Azure en uitgebreide praktijkkennis van Azure Databricks.
• Sterke kennis van DataOps-principes: CI/CD voor data, automatisering, monitoring en reproduceerbaarheid.
• Ervaring met Kafka Connect of vergelijkbare tooling voor zowel batch als streaming integratie.
• Ervaring met het opzetten van IaC (ARM, Bicep, Terraform of gelijkwaardig) voor geautomatiseerde uitrol van infrastructuur.
• Diepgaande kennis van Azure netwerksecurity en architectuur: hub/spoke, NSG’s, Private Endpoints, UDR’s en microsegmentatie.
• Ervaring met monitoring en observability (Azure Monitor, Log Analytics/KQL en/of Splunk) en het opzetten van detecties en alerts.
• Ervaring met toegangsbeheer voor Databricks: Entra ID/IAM, Unity Catalog-rechten en workspace-toegang.
• Pré: ervaring met Azure beveiligingsproducten (Defender for Cloud, Sentinel/SIEM), SOC-processen en KQL-detecties.
• Pré: certificering Databricks Data Engineer Associate of Microsoft DP-750 (Azure Databricks).
• Ervaring met werken binnen de overheid of publieke sector en bekendheid met bijbehorende kaders en processen.
• Sterke communicatieve vaardigheden, vermogen om teams mee te nemen, kennisoverdracht te organiseren en veranderingen volwassen te begeleiden.
• Bereidheid tot samenwerking met leveranciers/contractpartijen en kennis van administratieve vereisten zoals WKA/G-rekening bij plaatsing.

Locatie en context

Standplaats: Bilthoven (Utrecht). Opdrachtgever: Rijksinstituut voor Volksgezondheid en Milieu (RIVM).

Rol: Senior Data Engineer — doel is het professioneel en schaalbaar inrichten van een Azure Landing Zone en het versneld overdragen van kennis aan het interne team.

Eisen

• Je kunt infrastructure-as-code processen opstellen en geeft werkwijze verder vorm op Azure, waarbij je zorgt voor robuuste, geautomatiseerde uitrol van de Databricks infrastructuur op Azure realiseert.
• Je kunt met Azure Databricks bronsystemen ontsluiten aan via Kafka Connect om data betrouwbaar te ontsluiten, verwerken en beschikbaar te maken.
• Sterke kennis van Azure Databricks en DataOps-principes (CI/CD voor data, automatisering, monitoring, reproducibility).
• Ervaring met Kafka Connect of vergelijkbare tooling voor batch en streaming data integratie.
• Ervaring met het opzetten van IaC op basis van ARM/Bicep/Terraform of vergelijkbaar.
• Ervaring met Azure netwerksecurity: hub/spoke, NSG's, Private Endpoints, UDR's en micro segmentatie.
• Ervaring met het inrichten van monitoring: Azure Monitor, Log Analytics (KQL) en/of Splunk.
• Ervaring van het inrichten van toegangsbeheer voor Databricks: Entra ID/IAM, Unity Catalog rechten en workspace toegang.
• Ervaring met Azure infrastructuurbeveiliging: Defender for Cloud, Sentinel (SIEM), SOC processen en KQL detecties.
• Certificering Databricks Data Engineer Associate of Microsoft DP 750 (Azure Databricks).
• Ervaring met werken binnen de overheid, zodat je bekend bent met de bijbehorende processen en kaders.

Competenties

• Vermogen om mensen mee te nemen, kennis over te dragen en een team op een volwassen manier te begeleiden in nieuwe werkwijzen.
• Ervaring met ontwikkeling en samenwerking binnen de Rijksoverheid of andere publieke organisaties.
• Ervaring met het coördineren van ontwikkeling over meerdere teams, domeinen of organisaties heen.