Participatie werkt alleen als mensen er vertrouwen in hebben. Als een inwoner de tijd neemt om een idee te delen, een enquête in te vullen of zijn mening te geven over een plan, dan toont hij daarmee een stukje vertrouwen — in zijn overheid en in de middelen die de overheid gebruikt om te luisteren.

Daarom werken we vanuit de overtuiging dat we systemen moeten bouwen die het vertrouwen genieten van de burgers die onze overheden dienen en raadplegen. Dit is bepalend voor elke beslissing die we nemen over de rol die AI speelt binnen onze software: waarvoor we het gebruiken, op wiens modellen we vertrouwen, welke gegevens ze te zien krijgen, en waar de grens ligt tussen wat de machine doet en wat een mens beslist.

Op deze pagina wordt uitgelegd hoe AI op dit moment binnen het Go Vocal-platform werkt. Het is een levend document en we blijven het bijwerken als dat nodig is.

Vijf uitgangspunten vormen de leidraad voor hoe we AI in het platform hebben ingebouwd:

AI zorgt ervoor dat een specifieke reeks functies werkt. Het model achter elk ervan wordt speciaal voor die klus uitgekozen, dus de aanbieders verschillen per functie:

We werken samen met twee infrastructuuraanbieders, die elk toonaangevende modellen van derde partijen hosten.

AWS Bedrock host en verwerkt verschillende modellen van derden uitsluitend op de infrastructuur van Amazon. Deze modellen worden niet door Amazon ontwikkeld; ze worden via samenwerkingsverbanden beschikbaar gesteld en draaien binnen Bedrock.

Microsoft Azure OpenAI zorgt voor onze geavanceerde samenvattingen, het beantwoorden van vragen en het automatisch taggen van bepaalde AI-analyses. Microsoft heeft een samenwerking met OpenAI waardoor het de modellen van OpenAI binnen de eigen Azure-omgeving van Microsoft kan hosten. Dit is belangrijk: de implementatie staat volledig los van de consumentendiensten van OpenAI — er is geen koppeling met ChatGPT of de openbare OpenAI-API.

Microsoft gebruikt de gegevens die aan de API worden doorgegeven alleen om te controleren of de gedragscode wordt nageleefd — niet om modellen te trainen, en ook niet voor andere doeleinden.

(De bovenstaande modelversies geven weer wat er op dit moment in productie is en zullen veranderen naarmate de technologie zich verder ontwikkelt.)

Onze AI-aanbieders krijgen altijd alleen de tekst die een bewoner in een bijdrage heeft geschreven — een idee of een reactie op een enquête. Dit gebeurt wanneer een beheerder of projectmanager de pagina met enquêteresultaten opent, of er bewust voor kiest om een AI-analyse te starten voor een ideevormingsproject.

We sturen geen informatie door die in het profiel van een gebruiker is opgeslagen — geen e-mailadres, gebruikersnaam, foto of demografische gegevens. Technisch gezien sturen we geen persoonlijk identificeerbare gegevens (PII) naar deze aanbieders. Het kan voorkomen dat een gebruiker persoonlijke gegevens in zijn eigen bijdrage zet, en die tekst wordt dan geanalyseerd. Bij samenvattingen van reacties maken we alle @-vermeldingen anoniem voordat de tekst wordt verwerkt.

Zowel Microsoft als AWS bieden ons de mogelijkheid om de verwerkingsregio te kiezen, en we leiden elke klant door naar de regio die het dichtst bij hem of haar ligt. Op dit moment maken onze Azure OpenAI-functies gebruik van twee regio’s — Europa (Zweden) en VS Oost — terwijl AWS Bedrock in een groter aantal regio’s wordt ingezet.

We blijven de regionale beschikbaarheid van de topmodellen in de gaten houden, want de nieuwste modellen zijn niet altijd meteen in elke regio verkrijgbaar. Daardoor moeten we af en toe onze modelkeuze aanpassen om een evenwicht te vinden tussen gegevensopslag en prestaties.

Nee. Beide subverwerkers geven expliciet aan dat ze de gegevens die we ze sturen niet gebruiken om hun modellen te trainen of te verbeteren. Wat Azure OpenAI betreft, heeft Microsoft alleen toegang tot die gegevens om te controleren of de gedragscode wordt nageleefd.

Alle dienstverleners verwerken gegevens volgens strikte privacyvoorwaarden: gegevens worden verwerkt in de regio die we instellen, er wordt niets langer bewaard dan nodig is om de dienst te leveren, de verwerking blijft beperkt tot het gevraagde doel en onze overeenkomsten voldoen aan de AVG- en CCPA-normen. Telkens als we een subverwerker toevoegen of vervangen, houden we ons aan onze gegevensverwerkingsovereenkomsten en brengen we de wijziging onder de aandacht.

Prestaties: Voor ons werk zijn nauwkeurigheid en betrouwbaarheid absoluut essentieel, en op beide vlakken lopen de modellen van Commercial Frontier nog steeds voorop. We hebben de alternatieven uitgebreid getest — de GPT-modellen van OpenAI, Llama, Gemini van Google, Mistral en andere — met Promptfoo als ons benchmarkraamwerk, op basis van verschillende datasets uit de praktijk. Zelfs de beste open modellen blijven volgens onze beoordeling nog achter bij de allernieuwste stand van de techniek.

Kosten en hosting: De krachtigste open modellen zijn erg groot en duur om zelf te hosten, waardoor je gedwongen wordt om naar kleinere, minder gevestigde externe hostingproviders te gaan — het tegenovergestelde van de betrouwbaarheid die we nastreven — in plaats van de op gebruik gebaseerde prijsstelling die de baanbrekende commerciële modellen bieden.

"Open" is vaak maar gedeeltelijk open: veel modellen die als open source worden bestempeld, worden uitgebracht onder een open licentie en, in het beste geval, met een whitepaper — maar maar heel weinig van de goed presterende modellen zijn transparant over hun trainingsdata. Dat corpus, en de fijnafstemming en veiligheidsgegevens die erachter zitten, is misschien wel het allerbelangrijkste om te begrijpen hoe een model zich daadwerkelijk gedraagt. Mistral maakt bijvoorbeeld alleen zijn kleinere modellen open source, en dan ook alleen het eindresultaat; zijn beste modellen zijn ook gesloten.

We volgen deze sector op de voet en zijn niet gebonden aan een bepaalde leverancier. Op de dag dat een open model goed genoeg is voor dit werk, stappen we graag over. Als een potentiële klant of bestaande klant een open-source- of alternatief model voor zijn implementatie wil bespreken, staan we daar graag voor open — neem contact op met je contactpersoon bij Go Vocal en dan bekijken we samen wat er mogelijk is.

We trainen onze eigen modellen niet, dus onze invloed op het gedrag van de kernmodellen is beperkt — er zijn maar een handvol toonaangevende modellen in de wereld. Wat we wel strikt in de hand kunnen houden, is hoe we ze gebruiken, en dat testen we grondig.

Speciaal voor het samenvatten hebben we 11 datasets samengesteld op basis van echte enquêtes en ideevormingsprojecten van onze klanten, waarbij we gebruik hebben gemaakt van geanonimiseerde gegevens van inwoners in verschillende talen (Engels, Nederlands, Frans, Spaans, Deens, Duits). Vervolgens hebben we onze prompt voor samenvattingen bij meerdere LLM’s getest en elke output beoordeeld aan de hand van concrete criteria, zoals hieronder:

We hebben negen versies van de prompt getest. De combinatie die de meeste punten oplevert, is degene die in het product wordt meegeleverd. Naast deze ‘harde’ evaluaties hebben we heel wat uren besteed aan kwalitatieve beoordelingen — het lezen van de resultaten en het aanpassen van de prompts op manieren die moeilijker te kwantificeren zijn, maar net zo belangrijk zijn.

We zijn ons terdege bewust van de beperkingen van de technologie. Daarom is het product zo ontworpen dat het menselijk oordeel centraal staat en de expert altijd bij het proces betrokken blijft.

"Human-in-the-loop" betekent dat we weliswaar gebruikmaken van geavanceerde modellen voor de analyse, maar dat mensen degenen blijven die de beslissingen nemen en de resultaten controleren. Concreet:

Dat zie je meteen in de interface:

De technologie komt het best tot zijn recht als die wordt gecombineerd met de expertise van de mensen die het project leiden.