GGZ AI - Large Language Models (LLM)

Inleiding

Op deze pagina staat uitgelegd hoe ValueCare Large Language Models (LLM's) inzet bij verslagleggingsanalyse en kwaliteitsborging. Je vindt hier technische achtergrond, het controleproces, kwaliteitsmaatregelen en onze standaard werkwijze voor AI-controles.

Achtergrond bij AI-techniek: Large Language Models (LLM)

De inzet van Large Language Models (LLM) binnen verslagleggingsanalyse verloopt als volgt:

1. Beschikbaarheid van het model Een LLM (‘Large Language Model’) wordt bij de klant operationeel gemaakt op de ValueCare-server, of op een eigen server als er voldoende GPU-capaciteit aanwezig is. Om met het LLM te werken, moet er een verwerkingsovereenkomst met ValueCare afgesloten zijn. Een LLM is een geavanceerd kunstmatig neuraal netwerk dat getraind is op grote hoeveelheden tekst en natuurlijke taal kan begrijpen én genereren.
2. Training van het LLM In tegenstelling tot traditionele taalmodellen is voor het LLM geen handmatig samengestelde trainingsset van bijvoorbeeld 1500 gevallen meer nodig. Dit betekent dat het model sneller en eenvoudiger inzetbaar is. Aanpassingen of updates in het model kunnen ook eenvoudiger en sneller doorgevoerd worden, omdat langdurige handmatige beoordelingen bij training overbodig zijn.
3. Toepassing en classificatie Het LLM analyseert automatisch nieuwe verslagleggingen op basis van vooraf ingestelde prompts (richtlijnen of opdrachten die verschillen per controlethema). Het model beoordeelt per verslag of het vermoedelijk rechtmatig of onrechtmatig is, op basis van de kennis en patronen die het uit de getrainde data heeft opgedaan.
4. Presentatie van resultaten De uitkomsten van het LLM worden overzichtelijk gepresenteerd in een actielijst voor de gebruiker. Hierin worden specifiek die casussen getoond waar het model adviseert om een verdere controle of beoordeling uit te voeren.
5. Verschil met taalmodellen Een belangrijk voordeel van het LLM ten opzichte van oudere taalmodellen is dat het geen grote, handmatige trainingsset vereist. Hierdoor bespaart de organisatie veel tijd, omdat medewerkers niet afzonderlijk regels hoeven te beoordelen voor het trainen van het model. Daarnaast geeft het LLM bij elke beoordeling ook een toelichting of onderbouwing (‘reden’) waarom het verslag als rechtmatig of onrechtmatig wordt ingeschat. Dit vergroot de transparantie en het inzicht in de werking van het controlesysteem.

Standaard Werkwijze voor LLM-controles

Voor alle controles waarbij een LLM wordt ingezet, volgen we standaard deze aanpak:

1. Analyse van de F1-score Eerst bepaalt ValueCare de F1-score van het model o.b.v. een (bestaande) testset. Als instelling al taalmodel controles heeft wordt de bestaande testset hiervan gebruikt.
2. LLM uitvoeren over meerdere dagen Het model wordt getest en uitgevoerd op data verspreid over enkele dagen (meestal een week) om consistentie te waarborgen.
3. Iteratief verbeteren Op basis van de resultaten doorlopen we een of meerdere iteraties om de werking te optimaliseren.

Hieronder is het volledige stappenplan te vinden (Stappenplan: In Productie Nemen en Bijtrainen van LLM-controles).

Kwaliteitsborging & Controle op de LLM-technologie

Om de betrouwbaarheid en kwaliteit van de uitkomsten van het LLM te waarborgen, worden de volgende stappen genomen:

1. Oplevering en test: Elke actielijst die op basis van het LLM wordt gegenereerd, wordt door de klant getest in samenwerking met ValueCare. Pas na goedkeuring wordt deze in productie genomen.
2. Jaarlijkse herbeoordeling: Elk jaar worden er steekproefsgewijs controles uitgevoerd, waarbij menselijke experts opnieuw verslaglegging beoordelen. De resultaten worden vergeleken met de uitkomsten van het LLM, om zo de kwaliteit en betrouwbaarheid continu te blijven monitoren en verbeteren.

Stroomschema: LLM op Consulten

Volgorde LLM-controles

Aangezien er veel data door het Large Language Model gaat, waarbij die voor consulten ook nog eens van elkaar afhankelijk is, is er besloten om een bepaalde volgorde toe te passen wat betreft het testen en in productie nemen van de controles. De volgorde is als volgt:

Stap 1: N6499 - Is verslag te beoordelen?

  Nee → Op N6499 (Stop)

  Ja → Volgende stap

↓

Stap 2: N6503 - Blijkt uit verslag dat consult feitelijk is geleverd?

  Nee → Op N6503 (Stop)

  Ja → Volgende stap

↓

Stap 3: N6502 - Blijkt uit verslag dat consult behandelinhoudelijk was?

  Nee → Op N6502 (Stop)

  Ja → Consult goedgekeurd

↓

Stap 4: Verder naar controles:

      • Reistijd (N6510)

      • Tolk (N6512)

      • Diagnostiek/behandeling (N6507/N6508)

Stappenplan: In Productie Nemen en Bijtrainen van LLM-controles

Om de toepasbaarheid en kwaliteit van de AI-ondersteunde controles te waarborgen, volgt ValueCare een helder proces rondom inrichting, inzet en bijsturing van LLM-controles. Dit waarborgt transparantie, herhaalbaarheid en continue verbetering.

Fase 1: Voorbereiding en testen

1. Inrichten en voorbereiden van de LLM-controle
   • Verwerkingsovereenkomst tussen ValueCare en instelling is ondertekend
   • De controle wordt ingericht aan de hand van een vooraf ontwikkelde prompt die aansluit bij het betreffende controlethema.
2. Initiële testperiode en evaluatie
   • Analyse van de F1-score
   • LLM uitvoeren over meerdere dagen
   • Iteratief verbeteren
3. Goedkeuring en livegang
   • Na goedkeuring door de instelling (in overleg met de ValueCare consultant of data-specialist) wordt de controle live gezet.
   • Vanaf de start verwerkt de controle alle geselecteerde acties in de productieomgeving.

---

Fase 2: Monitoring en Optimalisatie

1. Signaleren en markeren van opvallende of foutieve beoordelingen
   • Gebruikers kunnen in de actielijst of beheertabel aangeven welke beoordelingen van het LLM wel of niet juist zijn (bijvoorbeeld markeren als 'AI juist' of 'AI onjuist' (i.c.m. actie negeren)).
2. Trigger voor heroptimalisatie
   • Zodra er uit de praktijk meer dan 300 beoordelingen zijn gemarkeerd (met ten minste 150 als 'AI juist'), wordt dit automatisch gesignaleerd aan ValueCare.
3. Beoordeling behoefte aan doorontwikkeling
   • De data-specialist van ValueCare neemt contact op met de consultant en de instelling om te bespreken of bijstelling/optimalisatie van de controles gewenst is.
   • Samen wordt bepaald of de prompt moet worden aangepast, extra voorbeelden moeten worden geformuleerd of andere verfijningen nodig zijn.
4. Doorvoeren van optimalisaties
   • Indien nodig wordt de prompt of controle-instelling aan de hand van de opgehaalde praktijkvoorbeelden en feedback herzien en verbeterd. Hierbij worden relevante feedback en praktijkgevallen uit de productie als input gebruikt.
5. Evaluatie verbeterde controle
   • De aangepaste controle wordt opnieuw getest op een representatieve dataset (bij voorkeur dezelfde testperiode als in de initiële fase), voor een objectieve vergelijking.
   • Op basis van analyse wordt besloten de aanpassing door te voeren naar productie, of eventueel verdere aanpassingen te doen.

---

Fase 3: Cyclisch herhalen en continu verbeteren

1. Herhaling en continue cyclus
   • Het markeren van beoordelingen en signaleren van verbeterpunten blijft doorlopen. Zodra opnieuw de drempel voor optimalisatie bereikt wordt, start het proces weer bij stap 5.

AI Prompting Datastromen LLM