Skip to Content

Medior AI Engineer — LLMOps & Run for AI Agents and RAG (Azure / Kubernetes) (JP057236)

Brussel, Belgium

Apply Now!

Context

De organisatie bouwt verschillende AI-diensten voor medewerkers en klanten, die uiteenlopen van retrieval-based assistants tot AI-agents die tools en bedrijfssystemen namens gebruikers aanroepen. Deze AI-diensten worden gebouwd en beheerd op het AI-platform van de organisatie. De eerste diensten gaan live vanaf december 2026, met meer in 2027.

Jouw rol

We zoeken een Medior AI Engineer om het AI Center of Excellence (Digital Innovation & AI - delivery team) te versterken en de Run-fase van onze AI-diensten in productie te beheren. Je neemt elke dienst over van de Senior AI Engineers die deze hebben gebouwd en zorgt ervoor dat deze betrouwbaar, meetbaar, veilig en kostenefficiënt blijft. Je werkt samen met de interne AI Platform Architect, twee Senior AI Engineers (Build), de business- en content owners van elke dienst en de IT-operatieteams.

Het AI-platform draait op een hybride model: beheerde Azure-diensten (Microsoft Foundry met de OpenAI modelreeks voor LLM en embeddings, Azure AI Search, Azure API Management, Azure AI Content Safety) gecombineerd met zelf-gehoste open-source componenten op AKS (agent orchestratie in Python met LangChain, ingestie-pijplijn), met MLflow op Databricks voor evaluatie en tracing (OpenTelemetry). Het Digital Innovation / AI CoE team beheert Infrastructure-as-Code voor alle applicatiegerichte Azure-resources, met Terraform en Azure DevOps pipelines.

Wat je zal leveren

  • Beheer van AI-diensten in productie: monitoren van beschikbaarheid, latency en fouten, afhandelen van incidenten en serviceverzoeken, analyseren van root causes en oplossen of escaleren;
  • Beheer van antwoordkwaliteit: onderhouden van evaluatiesets (golden sets) met business content owners, volgen van antwoordkwaliteit, non-answer rate en gebruikersfeedback, detecteren en onderzoeken van kwaliteitsregressies;
  • Beheer van ingestiepijplijnen: incrementele updates, falende documenten, indexgezondheid en onboarding van nieuwe contentbronnen of businessdomeinen binnen bestaande connectors;
  • Beheer van agentintegraties: monitoren van tool- en integratie-aanroepen naar bedrijfssystemen, afhandelen van fouten en time-outs, en beoordelen van actielogs en uitzonderingen voor agents die namens gebruikers handelen;
  • Veilig beheren van wijzigingen: modelversie-upgrades en -uitfaseringen, prompt- en configuratiewijzigingen, afhankelijkheids- en beveiligingsupdates, elk geval gevalideerd tegen evaluatiesets voor release;
  • Volgen van runkosten: tokenverbruik en kosten per dienst, alerting bij afwijkingen en voorstellen voor optimalisaties;
  • Onderhoud van Terraform, Helm en Azure DevOps artefacten, en zorgen voor consistente DEV, TST, ACC en PROD omgevingen;
  • Toepassen van gegevensbeschermingsregels: trace-retentie, verwijdering en toegangsbeperkingen zoals gedefinieerd in de gegevensbeschermingseffectbeoordeling van elke dienst;
  • Onderhoud van runbooks en documentatie, en regelmatig rapporteren van servicegezondheid aan service-eigenaren en het AI CoE;
  • Leveren van kleine verbeteringen en fixes; structurele wijzigingen en nieuwe features blijven bij het Build-team.

Vaardigheden

  • Azure DevOps (Intermediate)
  • Azure Kubernetes Service - AKS (Intermediate)
  • Azure OpenAI Service (Intermediate)
  • LangChain (Intermediate)
  • LLM / Large Language Models (Intermediate)
  • Python (Intermediate)
  • RAG (Retrieval-Augmented Generation) (Intermediate)
  • Terraform (Intermediate)
  • Vector databases (Intermediate)

Talen

  • Nederlands of Frans (Native of bilingual proficiency)
  • Engels (Full professional proficiency)

Vragen

  1. Have you personally operated or supported an LLM application (RAG, agent or document processing) in production for at least 6 months? (if answer to Q1 is “Yes”) Please describe the application, its user volume, what you monitored, and your role in incidents and changes. Maximum 200 words.
  2. Have you personally investigated a quality issue or incident in an LLM application or AI agent using traces or logs? (if answer to Q2 is “Yes”) Please describe one case: the symptom, how it was detected, the root cause, the fix, and what you changed to prevent it from happening again. Maximum 200 words.
  3. Have you run or maintained evaluations of an LLM application, for example re-running test sets after a model or prompt change? (if answer to Q3 is “Yes”) Please describe the metrics, how the test sets were maintained, and how the results influenced release decisions. Maximum 200 words.
  4. Have you personally deployed changes to Kubernetes workloads (manifests or Helm charts) and Terraform code through CI/CD pipelines on Azure? (if answer to Q4 is “Yes”) Please give one concrete example. Maximum 150 words.
  5. This role requires on-site presence in Brussels 2 to 3 days per week. Are you willing and able to commit to this schedule?
Apply Now!