Opleidingsniveau
Hbo of wo in Informatica of Data Science
Salarisindicatie in loondienst
60000-85000
Indicatie uurtarief bij ZZP
75-100 per uur
Doorgroeimogelijkheden
Lead Data Engineer, Data Architect
Competenties & vaardigheden
Ervaring met databases, kennis van ELT/ETL, sterke communicatieve vaardigheden, ervaring met Agile-methodieken, kennis van datalake concepten
Gerelateerde functies
Data Analyst, Data Scientist, Cloud Engineer
Functiebeschrijving
Als Senior Data Engineer ben je verantwoordelijk voor het beheren en optimaliseren van datastromen binnen een organisatie. Je speelt een cruciale rol in het transformeren van ruwe data naar waardevolle informatie die gebruikt kan worden voor besluitvorming en strategische planning. Je werkt samen met diverse teams en afdelingen om informatiebehoeften te doorgronden en ontwikkelt daaropvolgend technische oplossingen die bijdragen aan de bedrijfsdoelstellingen. Het gebruik van moderne technologieën zoals Databricks, Airflow, en datalake concepten zoals Delta Lake zijn essentieel in deze rol, waarbij je continu streeft naar innovatie en efficiëntie.
Typisch Salaris
Typische Functietaken
Typische taken van een Senior Data Engineer omvatten het ontwerpen en implementeren van ETL/ELT flows, het onderhouden en optimaliseren van databases zoals SQL Server en Databricks, en het afstemmen van technische oplossingen op de behoeften van verschillende bedrijfsafdelingen. Daarnaast ben je verantwoordelijk voor het werken volgens Agile/Safe methodieken, het documenteren van je werkprocessen en het coachen van minder ervaren collega's. Ook het toepassen van best practices voor software-engineering, zoals versiebeheer en testautomatisering, valt onder je verantwoordelijkheden. Dit omvat ook het werken met datamodellen en het waarborgen van datakwaliteit.
Specialisatie in deze functie
Om een specialist te worden als Senior Data Engineer is een hbo- of wo-opleiding in een relevante richting, zoals Informatica of Data Science, vaak vereist. Vanzelfsprekend is het opdoen van minstens 5 jaar relevante werkervaring cruciaal. Veel professionals kiezen ervoor om zich te specialiseren in specifieke technologieën zoals Databricks of datalake concepten om hun waarde op de arbeidsmarkt te verhogen. Certificeringen in bekende tools en frameworks zoals Informatica of GIS kunnen ook een significant voordeel bieden. Netwerken en deelnemen aan vakgroepen kan de zichtbaarheid vergroten, vooral binnen de wereld van interim werk en zzp opdrachten, waar connecties vaak leiden tot nieuwe mogelijkheden in de sector.
Opleidingsniveau
Hbo of wo in Informatica of Data Science
Salarisindicatie in loondienst
60000-85000
Indicatie uurtarief bij ZZP
75-100 per uur
Doorgroeimogelijkheden
Lead Data Engineer, Data Architect
Competenties & vaardigheden
Ervaring met databases, kennis van ELT/ETL, sterke communicatieve vaardigheden, ervaring met Agile-methodieken, kennis van datalake concepten
Gerelateerde functies
Data Analyst, Data Scientist, Cloud Engineer
Functiebeschrijving
Als Senior Data Engineer ben je verantwoordelijk voor het beheren en optimaliseren van datastromen binnen een organisatie. Je speelt een cruciale rol in het transformeren van ruwe data naar waardevolle informatie die gebruikt kan worden voor besluitvorming en strategische planning. Je werkt samen met diverse teams en afdelingen om informatiebehoeften te doorgronden en ontwikkelt daaropvolgend technische oplossingen die bijdragen aan de bedrijfsdoelstellingen. Het gebruik van moderne technologieën zoals Databricks, Airflow, en datalake concepten zoals Delta Lake zijn essentieel in deze rol, waarbij je continu streeft naar innovatie en efficiëntie.
Typisch Salaris
Typische Functietaken
Typische taken van een Senior Data Engineer omvatten het ontwerpen en implementeren van ETL/ELT flows, het onderhouden en optimaliseren van databases zoals SQL Server en Databricks, en het afstemmen van technische oplossingen op de behoeften van verschillende bedrijfsafdelingen. Daarnaast ben je verantwoordelijk voor het werken volgens Agile/Safe methodieken, het documenteren van je werkprocessen en het coachen van minder ervaren collega's. Ook het toepassen van best practices voor software-engineering, zoals versiebeheer en testautomatisering, valt onder je verantwoordelijkheden. Dit omvat ook het werken met datamodellen en het waarborgen van datakwaliteit.
Specialisatie in deze functie
Om een specialist te worden als Senior Data Engineer is een hbo- of wo-opleiding in een relevante richting, zoals Informatica of Data Science, vaak vereist. Vanzelfsprekend is het opdoen van minstens 5 jaar relevante werkervaring cruciaal. Veel professionals kiezen ervoor om zich te specialiseren in specifieke technologieën zoals Databricks of datalake concepten om hun waarde op de arbeidsmarkt te verhogen. Certificeringen in bekende tools en frameworks zoals Informatica of GIS kunnen ook een significant voordeel bieden. Netwerken en deelnemen aan vakgroepen kan de zichtbaarheid vergroten, vooral binnen de wereld van interim werk en zzp opdrachten, waar connecties vaak leiden tot nieuwe mogelijkheden in de sector.
Opdracht samenvatting
Voor de Nederlandse Voedsel- en Warenautoriteit (NVWA) voeren we een pilot uit om te onderzoeken of een open source, Kubernetes‑gebaseerd dataplatform de huidige analyse- en rapportageomgeving kan vervangen.
De Senior Data Engineer is de inhoudelijke motor van de pilot: bouwen van representatieve casussen (van bronontsluiting tot ontsluiting naar de business), vertalen van bestaande functionaliteit naar de nieuwe stack en opleveren van reproduceerbare resultaten.
Technische componenten in de pilot zijn onder andere Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA, draaiend op Kubernetes; de kandidaat bouwt ingestie-, transformatie- en ontsluitingspijplijnen en realiseert herbruikbare bouwblokken en configuratie als code.
Belangrijke taken zijn daarnaast kennisoverdracht aan ontwikkelaars volgens het principe 'voordoen > samendoen > zelf doen', bewaken van doorlooptijden en het vastleggen van bevindingen op functionaliteit, performance, beheerlast, beveiliging en kosten als input voor besluitvorming.
De pilot wordt uitgevoerd in samenwerking met de NVWA‑datateams en DICTU; de uitkomst vormt input voor het toekomstige dataplatform van de NVWA. Locatie: Utrecht. Tariefindicatie: €105,-. Let op: rol alleen beschikbaar voor detacheerders/leveranciers of voor ZZP'ers die op onze payroll komen; we kunnen dit telefonisch toelichten.
Vereist profiel
Er wordt gezocht naar een ervaren senior data engineer met aantoonbare, brede praktijkervaring in het bouwen en beheren van dataplatformen en datapijplijnen, die zich snel nieuwe (open source) technologieën eigen kan maken en ontwikkelteams kan meenemen.
- Opleiding: minimaal HBO of WO afgerond.
- Ervaring: minimaal 10 jaar aantoonbare werkervaring in de IT.
- Talen & tooling: minimaal 5 jaar aantoonbare ervaring met SQL en Python.
- Data engineering: minimaal 5 jaar ervaring als data engineer en met het bouwen/beheren van dataplatformen en datapijplijnen.
- DevOps/praktijk: minimaal 3 jaar aantoonbare ervaring met CI/CD, versiebeheer en configuratie als code.
- Vaardigheid: zelfstandig productief op basis van vergelijkbare moderne dataplatformen (bijv. Databricks, Microsoft Fabric of eigen Spark‑omgeving) en snel eigen maken van een open source stack.
- Soft skills: aantoonbaar vermogen om ontwikkelaars uit meerdere teams mee te nemen en effectieve kennisoverdracht te realiseren.
Pre: ervaring met gedistribueerde dataverwerking (Spark/PySpark, Databricks, Fabric of gelijkwaardig), inrichting van security en toegangsbeheer, migratie/vervanging van dataplatformen, ervaring binnen (semi‑)publieke sectoren en politieke/bestuurlijke sensitiviteit.
Eisen
- Kandidaat heeft minimaal een afgeronde HBO opleiding of WO opleiding.
- Kandidaat heeft minimaal 5 jaar aantoonbaar werkervaring met SQL en Python.
- Kandidaat heeft minimaal 3 jaar aantoonbare werkervaring met CI/ CD, versiebeheer en configuratie als code.
- Kandidaat heeft minimaal 10 jaar aantoonbare werkervaring in de IT.
- Kandidaat heeft minimaal 5 jaar werkervaring als data engineer en met het bouwen en beheren van dataplatformen en datapijplijnen.
Wensen
- Kandidaat heeft minimaal 3 jaar werkervaring met gedistribueerde dataverwerking op een modern platform zoals spark/pyspark, databricks, fabric of gelijkwaardig.
- Kandidaat heeft aantoonbaar ervaring met dataomgevingen, inclusief inrichting van security, rechten en toegangsbeheer.
- Kandidaat heeft aantoonbaar ervaring met de migratie of vervanging van een bestaand dataplatform, inclusief het aantoonbaar overzetten van functionaliteit.
- Kandidaat heeft aantoonbare werkervaring met het bouwen van dataplatformen en datapijplijnen op schaal, en aantoonbaar vermogen om zich een nieuwe (open source (o.a. Spark, Trino, dbt, Airflow, NiFi)) stack snel eigen te maken.
- Kandidaat heeft aantoonbaar vermogen om ontwikkelaars uit meerdere teams mee te nemen en kennis over te dragen.
- Kandidaat heeft aantoonbaar ervaring binnen de (semi-)publieke sector in een politiek-bestuurlijk gevoelige omgeving.
- Kandidaat begrijpt de opdracht en past bij de organisatie.
Competenties
- Objectief.
- Pragmatisch.
- Politiek bestuurlijke sensitiviteit.
- Verbindend vermogen.
- Didactisch.
- Resultaatgericht.
- Passie.