GGZ AI - Taalmodellen
Achtergrond bij AI techniek - Taalmodel
De toepassing van AI in verslagleggingsanalyse werkt als volgt:
- Beschikbaarheid model: Een AI-taalmodel draait op de ValueCare-server van de klant.
- ValueCare gebruikt een specifiek voor Nederlandstalige medische data getraind RoBERTa-model (“Robustly Optimized BERT Pretraining Approach”), in de vorm van RoBERT, een open source model.
- Samenstelling trainingset: In samenwerking met de klant wordt een trainingset samengesteld.
- De trainingset bevat een reeks van verslaglegging records voor gerealiseerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging is aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig bevonden kan worden of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseer
- De trainingset is bij voorkeur voldoende omvangrijk en kan automatisch of handmatig worden samengesteld (meestal via Horizontaal Toezicht of zelfonderzoek).
- Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid te classificeren.
- Controle: Het taalmodel classificeert alle verslaglegging en bepaalt de mate van zekerheid.
- Resultaat: Resultaten van de AI worden weergegeven in een actielijst.
- Kanspercentage: Het kanspercentage is een instelbare drempelwaarde. Alleen acties met een modeluitkomst die boven deze afgesproken drempel ligt, worden zichtbaar gemaakt in de controle. Standaard ligt deze drempel op 50%. ValueCare adviseert welk percentage het meest geschikt is voor de klant.
De datastroom van de AI-controles vindt als volgt plaats:
Kwaliteitsborging & Controle op de AI-Technologie
Het waarborgen van de betrouwbaarheid van het AI-model gebeurt als volgt:
- Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst.
- Jaarlijkse herbeoordeling: Jaarlijks worden steekproeven door de klant samen met ValueCare gedaan, waarbij menselijke beoordeling als referentie wordt genomen.
Stappenplan: In Productie Nemen en Bijtrainen van AI-Taalmodellen
Om de toepasbaarheid en kwaliteit van de AI te borgen, volgt ValueCare een strikt stappenplan rondom training, inzet en vervolgtrainen van de AI-taalmodellen. Dit biedt transparantie, herhaalbaarheid en voortdurende optimalisatie.
Fase 1: Voorbereiding en testen
- Modeltraining en Validatie
- Het AI-taalmodel wordt eerst getraind op een vooraf geselecteerde trainingset (1500 posten).
- Evaluatie vindt plaats met een aparte testset (300 posten), die uitsluitend wordt ingezet voor validatiedoeleinden en beschikbaar blijft voor toekomstige bijtrainingsrondes.
- Beperkte Pilot en Eerste Evaluatie
- Het model wordt getest op acties uit één maand, zodat de eerste test overzichtelijk en snel uit te voeren is.
- Geconstateerde fouten uit deze pilot worden gebruikt voor eventuele bijstelling, indien nodig worden meerdere korte iteraties doorlopen.
- Modelgoedkeuring en Start Productie
- Na definitieve beoordeling en akkoord vanuit de instelling, wordt het model in productie genomen op basis van het afgesproken kanspercentage.
- Vanaf het afgesproken startmoment verwerkt het model alle relevante acties.
Fase 2: Monitoring en optimalisatie
- Registratie van Foutieve Acties
- Na livegang worden foutieve meldingen niet langer individueel opgepakt.
- Medewerkers markeren deze als ‘AI onjuist’ waarna de actie verder wordt genegeerd.
- Detectie van Bijtrainingsmoment
- Zodra er meer dan 300 acties zijn gemarkeerd (waarvan minimaal 150 als ‘AI juist’), ontvangt ValueCare automatisch een melding dat het tijd is voor een mogelijke nieuwe trainingsronde.
- Overleg en Besluitvorming
- De data-specialist van ValueCare informeert de consultant; er volgt overleg met de instelling om te bepalen of bijtrainen gewenst is.
- Selectie en Voorbereiding Nieuwe Trainingsdata
- Indien akkoord, wordt een representatieve selectie van recent beoordeelde ‘AI juist’-acties verzameld als extra trainingsdata.
- Bijtraining van het Model
- Het model wordt opnieuw getraind, gebruikmakend van zowel de ‘AI juist’ als ‘AI onjuist’ gemarkeerde acties uit de praktijk.
- Her-evaluatie en Besluit naar Productie
- Het nieuwe model wordt opnieuw gevalideerd met dezelfde testset en vergeleken met het oude model.
- Afhankelijk van de resultaten volgt implementatie of verdere optimalisatie.
Fase 3: Cyclisch herhalen en continu verbeteren
- Herhaling en continue cyclus
- Het markeren van beoordelingen en signaleren van verbeterpunten blijft doorlopen. Zodra opnieuw de drempel voor optimalisatie bereikt wordt, start het proces weer bij stap 3 uit fase 2.