Data Engineer Java

Beschrijving

Als Senior Data Engineer binnen het Data Office werk je aan de doorontwikkeling en het beheer van CREDO, het centrale data- en analyticsplatform van de RET.

Je ontwikkelt en onderhoudt schaalbare datapipelines en PySpark-notebooks binnen een lakehouse-architectuur met medallion-structuur (bronze, silver, gold) en Delta Lake.

Je levert technische oplossingen voor het ontsluiten, verwerken en dimensioneel modelleren van gestructureerde en ongestructureerde databronnen, en draagt bij aan migratie naar Microsoft Fabric.

Je bewaakt performance, datakwaliteit, monitoring en kosten, en werkt nauw samen met data-analisten, data stewards, platform engineers en stakeholders in een agile omgeving.

Je levert werkende en gedocumenteerde datapipelines, bouwt datamodellen en implementeert data quality checks en CI/CD-processen, met directe impact op de operationele efficiëntie van het vervoersnetwerk.

Eindresultaat

Realiseer de verdere ontwikkeling van het operationele CREDO-dataplatform door het opleveren van één of meer roadmaponderdelen binnen de doelarchitectuur, inclusief werkende en gedocumenteerde datapipelines, PySpark-notebooks en datamodellen voor de ontsluiting en verwerking van diverse databronnen.

Functie & taken

• Bijdragen aan en realiseren van speerpunten op de CREDO-roadmap.
• Migratie van CREDO van Synapse naar Microsoft Fabric, inclusief omzetten van pipelines, notebooks en datamodellen.
• Bouwen en optimaliseren van schaalbare datapipelines met focus op performance en kostenbeheersing.
• Implementeren van dimensionele datamodellen en data quality frameworks (ETL/ELT checks, cleansing).
• Beheren van SQL-datawarehouses (Azure SQL Database, Fabric Database) en toepassen van CI/CD voor build, test en deployment.
• Analyseren en oplossen van complexe technische problemen, code reviews, documentatie en monitoring.
• Actief delen van kennis en coachen van collega data engineers.

Vereist profiel

• Ervaren Senior Data Engineer met aantoonbare ervaring in Azure-omgevingen en cloud-native dataoplossingen.
• Diepe kennis van PySpark, lakehouse-architecturen, Delta Lake en medallion-structuren (bronze/silver/gold).
• Ervaring met migraties en working knowledge van Microsoft Fabric en Synapse.
• Vaardig in dimensioneel modelleren, SQL (Azure SQL, Fabric Database) en het ontwikkelen van duurzame datapijplijnen.
• Ervaring met data quality frameworks, monitoring, performance tuning en kostenoptimalisatie.
• Kennis van CI/CD-praktijken voor data oplossingen en het integreren van quality & security checks.
• Sterke communicatieve vaardigheden, ervaring met agile werken en het vermogen om stakeholders te vertalen naar technische oplossingen.
• Zelfstandig, zorgvuldig en bedreven in samenwerken binnen multidisciplinary teams; bereid om kennis te delen en collega’s te coachen.

Contract & startdatum

Contract: maximaal 2 jaar.

Startdatum: zo spoedig mogelijk, maar uiterlijk 2-11-2026.

Omvang: Senior Data Engineer, 36 uur per week (2 FTE).

Eisen

• De RET is op zoek naar een zelfstarter, die zijn weg snel weet te vinden in een nieuwe werkomgeving. Verder breng je mee:
• Je hebt meer dan 7 jaar werkervaring als data engineer met de ontwikkeling en het beheer van een dataplatform in de Azure Cloud en daarbij gewerkt met Microsoft Fabric en/of Azure Synapse Analytics.
• Je hebt ervaring met het implementeren van oplossingen in een complexe omgeving, met meerdere bronsystemen, afhankelijkheden en stakeholders. Ervaring met het dataproducten gebaseerd op SAP en SuccessFactors is een belangrijke pre.
• Je hebt ervaring met een lakehouse-architectuur en medallion principes.
• Je hebt uitgebreide kennis en minimaal 5 jaar ervaring met dimensioneel datamodellering, programmeren in SQL en werken met PySpark notebooks.
• Je hebt ervaring met het standaardiseren en automatiseren van workflows. Je hebt gewerkt met Azure DevOps, GIT en volgens CI/CD principes.
• Je hebt ervaring met het werken in een agile werkomgeving. Je bent gewend de lead te nemen bij het vertalen van epics naar features binnen squads en je weet hoe andere engineers te challengen bij het aanscherpen van user stories.
• Je beschikt over één of meerdere relevante Microsoft Azure-certificeringen, passend bij het vakgebied data engineering, zoals Azure Data Engineer Associate (DP-203).

Competenties

• Uitstekende communicatieve vaardigheden en het vermogen om effectief te communiceren met alle niveaus van de organisatie.
• • Sterk probleemoplossend vermogen en vermogen om snel obstakels te identificeren en op te lossen.
• • In staat zijn om complexe datavraagstukken en technische uitdagingen te analyseren en hiervoor schaalbare, efficiënte oplossingen te ontwerpen.
• • Het vermogen om technische teams te ondersteunen en hun vaardigheden te ontwikkelen, vooral in een omgeving waarin het team nog beperkte ervaring heeft met het platform.