GGZ AI - Taalmodellen

Achtergrond bij AI techniek - Taalmodel

De toepassing van AI in verslagleggingsanalyse werkt als volgt:

1. Beschikbaarheid model: Een AI-taalmodel draait op de ValueCare-server van de klant.
   • ValueCare gebruikt een specifiek voor Nederlandstalige medische data getraind RoBERTa-model (“Robustly Optimized BERT Pretraining Approach”), in de vorm van RoBERT, een open source model.
2. Samenstelling trainingset: In samenwerking met de klant wordt een trainingset samengesteld.
   • De trainingset bevat een reeks van verslaglegging records voor gerealiseerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging is aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig bevonden kan worden of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseer
   • De trainingset is bij voorkeur voldoende omvangrijk en kan automatisch of handmatig worden samengesteld (meestal via Horizontaal Toezicht of zelfonderzoek).
3. Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid te classificeren.
4. Controle: Het taalmodel classificeert alle verslaglegging en bepaalt de mate van zekerheid.
5. Resultaat: Resultaten van de AI worden weergegeven in een actielijst.
6. Kanspercentage: Het kanspercentage is een instelbare drempelwaarde. Alleen acties met een modeluitkomst die boven deze afgesproken drempel ligt, worden zichtbaar gemaakt in de controle. Standaard ligt deze drempel op 50%. ValueCare adviseert welk percentage het meest geschikt is voor de klant.

De datastroom van de AI-controles vindt als volgt plaats:

Datastroom AI-controles

Kwaliteitsborging & Controle op de AI-Technologie

Het waarborgen van de betrouwbaarheid van het AI-model gebeurt als volgt:

1. Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst.
2. Jaarlijkse herbeoordeling: Jaarlijks worden steekproeven door de klant samen met ValueCare gedaan, waarbij menselijke beoordeling als referentie wordt genomen.

Stappenplan: In Productie Nemen en Bijtrainen van AI-Taalmodellen

Om de toepasbaarheid en kwaliteit van de AI te borgen, volgt ValueCare een strikt stappenplan rondom training, inzet en vervolgtrainen van de AI-taalmodellen. Dit biedt transparantie, herhaalbaarheid en voortdurende optimalisatie.

Fase 1: Voorbereiding en Initiële Training

1. Modeltraining en Validatie
   • Het AI-taalmodel wordt eerst getraind op een vooraf geselecteerde trainingset (1500 posten).
   • Evaluatie vindt plaats met een aparte testset (300 posten), die uitsluitend wordt ingezet voor validatiedoeleinden en beschikbaar blijft voor toekomstige bijtrainingsrondes.
2. Beperkte Pilot en Eerste Evaluatie
   • Het model wordt getest op acties uit één maand, zodat de eerste test overzichtelijk en snel uit te voeren is.
   • Geconstateerde fouten uit deze pilot worden gebruikt voor eventuele bijstelling, indien nodig worden meerdere korte iteraties doorlopen.
3. Modelgoedkeuring en Start Productie
   • Na definitieve beoordeling en akkoord vanuit de instelling, wordt het model in productie genomen op basis van het afgesproken kanspercentage.
   • Vanaf het afgesproken startmoment verwerkt het model alle relevante acties.

---

Fase 2: Monitoring en Markering na Livegang

1. Registratie van Foutieve Acties
   • Na livegang worden foutieve meldingen niet langer individueel opgepakt.
   • Medewerkers markeren deze als ‘AI onjuist’ waarna de actie verder wordt genegeerd.
2. Detectie van Bijtrainingsmoment
   • Zodra er meer dan 300 acties zijn gemarkeerd (waarvan minimaal 150 als ‘AI juist’), ontvangt ValueCare automatisch een melding dat het tijd is voor een mogelijke nieuwe trainingsronde.

---

Fase 3: Doorontwikkeling/Bijtrainen

1. Overleg en Besluitvorming
   • De data-specialist van ValueCare informeert de consultant; er volgt overleg met de instelling om te bepalen of bijtrainen gewenst is.
2. Selectie en Voorbereiding Nieuwe Trainingsdata
   • Indien akkoord, wordt een representatieve selectie van recent beoordeelde ‘AI juist’-acties verzameld als extra trainingsdata.
3. Bijtraining van het Model
   • Het model wordt opnieuw getraind, gebruikmakend van zowel de ‘AI juist’ als ‘AI onjuist’ gemarkeerde acties uit de praktijk.
4. Her-evaluatie en Besluit naar Productie
   • Het nieuwe model wordt opnieuw gevalideerd met dezelfde testset en vergeleken met het oude model.
   • Afhankelijk van de resultaten volgt implementatie of verdere optimalisatie.
5. Cyclisch Proces
   • Het monitoring- en bijtrainingsproces herhaalt zich steeds zodra de vastgestelde drempels opnieuw bereikt worden.