Data Engineer (Senior)

Omschrijving

Inhuren van een Data team voor de oplevering van een overdraagbare Proof of Concept voor de geautomatiseerde detectie en verklaring van trendwijzigingen in binnenvaarttrafieken.

De organisatie beschikt over gedetailleerde gegevens over de goederentrafieken op het waterwegennetwerk onder haar beheer. Deze gegevens maken analyses mogelijk van vervoersstromen, herkomst en bestemming, corridors, ladingen en lossingen, tonnages, doorvaarten en andere reiskenmerken. Door de verdere digitalisering neemt zowel de beschikbaarheid als de bruikbaarheid van deze gegevens toe.

De organisatie wil onderzoeken in welke mate technologie kan helpen om relevante evoluties automatisch te detecteren, mogelijke verklarende parameters te identificeren en de bewijskracht en onzekerheid van de gevonden verbanden transparant weer te geven. Het beoogde resultaat is geen autonoom beslissingssysteem. Het is een ondersteunend analyse-instrument waarbij inhoudelijke validatie door de organisatie noodzakelijk blijft.

De opdracht moet aantonen of een dergelijke aanpak technisch, organisatorisch en operationeel haalbaar is binnen de ICT-context van de organisatie. De verworven inzichten moeten bruikbaar zijn voor beleidsvoorbereiding, corridorwerking, commerciële opvolging en, in een latere ontwikkelingsfase, beleid rond modal shift.

Binnen de Afdeling Algemene Ondersteuning (AAO) van de organisatie is de cel ICT daarom op zoek naar 2 profielen voor het uitvoeren van deze PoC.

Voorwerp en doelstellingen van de opdracht

• De opdracht heeft tot doel een Proof of Concept (POC) te ontwerpen, te bouwen, te testen, te documenteren (inclusief onderhoudbaarheid) en overdraagbaar op te leveren. De POC detecteert en analyseert trendwijzigingen in de binnenvaarttrafieken en koppelt die waar mogelijk aan relevante interne en externe verklarende variabelen.
• Geautomatiseerde detectie van relevante evoluties, afwijkingen en trendbreuken in de geselecteerde trafiekdata.
• Onderzoek naar directe en indirecte verbanden met interne en externe parameters, zonder correlatie automatisch als causaliteit voor te stellen.
• Transparante rapportering van bron, methode, sterkte van het verband, onzekerheid, beperkingen en reproduceerbaarheid van elke verklaring.
• Oplevering van een werkend en testbaar prototype binnen de door de organisatie goedgekeurde projectomgeving. De keuze voor de oplossing wordt bepaald door wat het best voldoet aan de vooropgestelde doelstellingen op vlak van functionaliteit, kost, doorlooptijd, beveiliging, technische haalbaarheid, toegangsbeheer, dataclassificatie en integratiemogelijkheden. De organisatie evalueert hierbij niet alleen of het prototype functioneel werkt, maar ook of het prototype voldoende aansluit bij de architectuur-, beveiligings-, beheer- en integratievereisten om later duurzaam binnen de organisatie te worden ingezet.
• Volledige overdracht van broncode, configuratie, technische documentatie en kennis, zodat de organisatie of een door de organisatie aangeduide derde de POC verder kan beheren en uitbreiden.

Profiel : Data Engineer (Senior)

Technische context

Verantwoordelijkheden van de Data Engineer:

• Ontwikkelen van ETL-processen in Azure Databricks
• Ontwerpen en beheren van lakehouse architecturen
• Uitwerken van datakwaliteitscontroles, monitoring en logging
• Samenwerken met Data scientist om datasets beschikbaar te maken voor analyses en machine learning
• Uitwerken van technische documentatie, deployment procedures en kennisoverdracht

Vaardigheden

Aantoonbare ervaring als Data Engineer

• Minimaal 5 jaar ervaring als data engineer in meerdere projecten
• Aantoonbare ervaring met Azure Cloud
• Aantoonbare ervaring met databanken (Oracle, MS SQL)
• Aantoonbare ervaring met Databricks Unity Catalog
• Aantoonbare ervaring met het opzetten van CI/CD pipelines binnen Azure DevOps
• Aantoonbare ervaring met programmeertalen zoals Python, Java of Scala voor het ontwikkelen van datastromen en ETL-processen
• Aantoonbare kennis van Azure Databricks platform deployment
• Taalvereiste: Nederlandstalig op Europees CEFR - niveau C2
• Aantoonbare AI/ML kennis is een plus
• Aantoonbare ervaring in Datastage en SAS is een pluspunt
• Aantoonbare ervaring in het ontwerpen en implementeren van Extract, Transform, Load (ETL) processen
• Certificeringen binnen Azure zijn een pluspunt, minimaal fundamentals AZ-900 en DP-900
• Gedreven teamspeler die ook volledig zelfstandig kan werken
• Ervaring met projecten binnen de Overheid is een pluspunt
• Verplichte aantoonbare certificatie van Databricks Data Engineer Associate