AI - Automatisering Zorgregistratie (GGZ)

Inleiding

Digitale transformatie in de GGZ is door toenemende vergrijzing en stijgende (personeels)kosten noodzakelijk geworden. De traditionele methoden en systemen voldoen niet langer aan de groeiende en steeds complexere (informatie)behoeften van financiers, accountants en toezichthouders. Een ingrijpende verandering in de manier waarop we zorg registreren, factureren en verantwoorden is essentieel om de uitdagingen van nu aan te kunnen.

Gesteund door de afspraken in het Integraal Zorgakkoord (IZA) en adviezen van de Raad van Volksgezondheid en Samenleving (RVS) zet ValueCare voor de GGZ in op het borgen van goede, toegankelijke en betaalbare zorg door:

• Het verminderen van administratieve (verantwoordings)lasten, en
• Het vereenvoudigen van de registratie..

Daarnaast wil ValueCare de zorg helpen door transparant te zijn en kennis te delen. Deze openbare wiki-pagina beschrijft de mogelijkheden van digitale technieken voor de transformatie waar de GGZ voor staat in de komende jaren. ValueCare faciliteert deze verandering via drie methoden:

• Controles met AI-taalmodellen
• Controles op basis van nieuwe databronnen (datalakehouses)
• Automatisering via Robotic Process Automation (RPA)

Achtergrond bij AI techniek

De toepassing van AI in verslagleggingsanalyse werkt als volgt:

1. Beschikbaarheid model: Een AI-taalmodel draait op de ValueCare-server van de klant.
   • ValueCare gebruikt een specifiek voor Nederlandstalige medische data getraind RoBERTa-model (“Robustly Optimized BERT Pretraining Approach”), in de vorm van RoBERT, een open source model.
2. Samenstelling trainingset: In samenwerking met de klant wordt een trainingset samengesteld.
   • De trainingset bevat een reeks van verslaglegging records voor gerealiseerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging is aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig bevonden kan worden of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseer
   • De trainingset is bij voorkeur voldoende omvangrijk en kan automatisch of handmatig worden samengesteld (meestal via Horizontaal Toezicht of zelfonderzoek).
3. Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid te classificeren.
4. Controle: Het taalmodel classificeert alle verslaglegging en bepaalt de mate van zekerheid.
5. Resultaat: Resultaten van de AI worden weergegeven in een actielijst.
6. Kanspercentage: Het kanspercentage is een instelbare drempelwaarde. Alleen acties met een modeluitkomst die boven deze afgesproken drempel ligt, worden zichtbaar gemaakt in de controle. Standaard ligt deze drempel op 50%. ValueCare adviseert welk percentage het meest geschikt is voor de klant.

De datastroom van de AI-controles vindt als volgt plaats:

Datastroom AI feitelijke levering

Kwaliteitsborging & Controle op de AI-Technologie

Het waarborgen van de betrouwbaarheid van het AI-model gebeurt als volgt:

1. Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst.
2. Jaarlijkse herbeoordeling: Jaarlijks worden steekproeven door de klant samen met ValueCare gedaan, waarbij menselijke beoordeling als referentie wordt genomen.

Beheer AI: modelversies toelichting waarden

Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.

F1 score: de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.

• Precisie: hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
• Recall (volledigheid): hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.

Accuratesse: het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.

Specificiteit: een waarde die de kans op een negatief resultaat weergeeft, ook wel true negative rate. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.

Aantal prediction categorieën: hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.

Stappenplan: In Productie Nemen en Bijtrainen van AI-Taalmodellen

Om de toepasbaarheid en kwaliteit van de AI te borgen, volgt ValueCare een strikt stappenplan rondom training, inzet en vervolgtrainen van de AI-taalmodellen. Dit biedt transparantie, herhaalbaarheid en voortdurende optimalisatie.

Trainingsfase (Stap 1–3) & Bijtrainingsfase (Stap 4–10)

1. Opleiden van het model
   • Het model wordt getraind met een trainingset.
   • Voor validatie dient een aparte testset te worden beoordeeld die alléén wordt gebruikt voor evaluatie, zodat deze ook bruikbaar blijft bij bijtraining.
2. Beperkte testperiode voor initiële evaluatie
   • Alleen de acties van één maand worden getest, om snelheid en overzichtelijkheid te bevorderen.
   • Geconstateerde fouten in deze maand dienen als input voor (eventuele) bijstelling voorafgaand aan productie. Zo zijn meerdere iteraties mogelijk.
3. Modelgoedkeuring en overgang naar productie
   • Na akkoord van de instelling wordt het model in productie genomen bij een vastgesteld kanspercentage (advies komt vanuit de data-specialist van ValueCare).
   • Vanaf de startdatum van de controle verwerkt het model alle geselecteerde acties.
4. Verwerking van foutieve acties na livegang
   • Foutieve meldingen worden na livegang niet langer individueel behandeld.
   • Instellingen markeren deze als ‘AI onjuist’ en negeren de betreffende actie.
5. Signalering voor nieuwe bijtrainingsronde
   • Zodra er meer dan 300 gemarkeerd zijn met 'AI juist' of ‘AI onjuist’ (in actielijsts óf beheertabel) waarvan er meer dan 150 op 'AI juist' staat, volgt er automatisch een melding voor ValueCare.
6. Advies en overleg over bijtrainen
   • De data-specialist informeert de consultant bij behalen van de drempel, die op zijn/haar beurt samen met de instelling beoordeelt of bijtrainen wenselijk is.
7. Voorbereiding van trainingsdata
   • Na akkoord verzamelt de data-specialist een evenredig aantal ‘AI juist’-beoordeelde posten uit de reeds uitgestroomde acties als extra trainingsdata.
8. Bijtrainen van het model
   • Het model wordt opnieuw getraind met de nieuwe correcte én onjuiste acties.
9. Evaluatie na bijtraining
   • Het nieuwe model wordt geëvalueerd en vergeleken met het oude, op basis van dezelfde testset als eerder.
   • Op basis van deze analyse volgt keuze: doorzetten naar productie of verdere optimalisatie.
10. Herhaling cyclus
    • Het markeren en negeren van foutieve acties herhaalt zich tot de afgesproken drempel weer is bereikt; dan start het proces weer bij stap 5.

Luca analyseert verslagleggingen

Bibliotheek normen Artificial Intelligence

In de zorgsector is nauwkeurige verslaglegging niet enkel een administratieve handeling, maar vormt het ook de basis voor het vaststellen van de rechtmatigheid van geregistreerde zorg, evenals het identificeren van mogelijke gemiste registratie van geleverde diensten. Het handmatig doorlopen en controleren van deze omvangrijke verslagleggingen is echter een arbeidsintensief proces, dat zowel tijdsgebonden als kostbaar kan zijn. ValueCare erkent de behoefte aan een efficiëntere aanpak en heeft daarom geïnvesteerd in de kracht van Artificial Intelligence. Met behulp van geavanceerde AI-modellen kunnen verslagleggingen snel en accuraat worden geanalyseerd. In het volgende overzicht presenteren we de normen die gebruik maken van de getrainde ValueCare-taalmodellen die specifiek zijn ontwikkeld om de integriteit van de registratie te waarborgen.

Normomschrijving	Type controle	Soort controle	Bekostiging	Status	Planning
Consulten en toeslagen
Verslaglegging duidt op mogelijk onterechte registratie van telefonisch consult (N6400)	Taalmodel	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Verslaglegging duidt op mogelijk gemiste registratie van telefonisch consult (N6401)	Taalmodel	Volledigheid	ZPM	Opgeleverd	Afgerond
Verslaglegging duidt op mogelijk onterechte registratie van consult (N6403)	Taalmodel	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Verslaglegging duidt op mogelijk gemiste registratie van consult (N6404)	Taalmodel	Volledigheid	ZPM	Opgeleverd	Afgerond
Verslaglegging duidt op mogelijk onjuiste registratie van een diagnostiekconsult (N6407)	Taalmodel	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Verslaglegging duidt op mogelijk onjuiste registratie van een behandelconsult (N6408)	Taalmodel	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Verslaglegging duidt op mogelijk onjuiste registratie van een crisisconsult (N6409)	Taalmodel	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Verslaglegging duidt op mogelijk onterechte registratie van een toeslag tolk (N6412)	Taalmodel	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Verslaglegging duidt op mogelijk gemiste registratie van een toeslag tolk (N6413)	Taalmodel	Volledigheid	ZPM	Opgeleverd	Afgerond
Belcontact duidt op gemist declarabel consult (N4000)	Datafusie	Volledigheid	ZPM	Opgeleverd	Afgerond
Duur belcontact wijkt af van duur geregistreerd telefonisch consult (N4001)	Datafusie	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Onjuist contactsoort geregistreerd bij telefonisch consult (N4002)	Datafusie	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Belcontact vindt plaats tijdens consult met andere patiënt (overlap) (N4003)	Datafusie	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Telefonisch consult geregistreerd zonder belcontact in mobiele data (N4004)	Datafusie	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Toeslag oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) ontbreekt	Taalmodel	Volledigheid	ZPM	Ontwerpen	Q3 2025
Afspraak houdt geen verband met ECT	Taalmodel	Volledigheid	ZPM	Ontwerpen	Q3 2025
Toeslag psychodiagnostiek ontbreekt	Taalmodel	Volledigheid	ZPM	Ontwerpen	Q2 2025
Planning is realisatie
Contact feitelijk geleverd, maar contactduur ongewijzigd bij afwijking > 15 minuten	Datafusie	Rechtmatigheid	ZPM	Ontwerpen	Q3 2025
Contact feitelijk geleverd, maar contactduur gewijzigd bij verandering <15 minuten	Datafusie	Volledigheid	ZPM	Ontwerpen	Q3 2025
Verblijf
Verslaglegging duidt op mogelijk onterechte registratie van verblijfsdag (N6405)	Taalmodel	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag (N6406)	Taalmodel	Volledigheid	ZPM	Opgeleverd	Afgerond
Patiënt in WiFi zonder aanwezigheidsdag	Datafusie	Volledigheid	ZPM	Ontwerpen	n.t.b.
Patiënt buiten WiFi met aanwezigheidsdag	Datafusie	Rechtmatigheid	ZPM	Ontwerpen	n.t.b.
Oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz)	Taalmodel	Volledigheid	ZPM	Ontwerpen	Q2 2025
Aanspraak & Onverzekerde zorg
Controle op tijdige verwijsdatum in brief	Taalmodel	Rechtmatigheid	ZPM	Ontwerpen	Q2 2025
Controle op geldige verwijzer in brief	Taalmodel	Rechtmatigheid	ZPM	Ontwerpen	Q2 2025
Controle op tijdigheid aanmelddatum in brief	Taalmodel	Rechtmatigheid	ZPM	Ontwerpen	Q2 2025
Controle op juiste vastlegging AGB-code verwijzer uit brief in EPD	Taalmodel	Rechtmatigheid	ZPM	Ontwerpen	Q2 2025
Controle op juiste overname type verwijzer uit brief in EPD	Taalmodel	Rechtmatigheid	ZPM	Ontwerpen	Q2 2025
Jaarlijkse beloofbrief aan de huisarts staat in concept	Taalmodel	Rechtmatigheid	ZPM	Ontwerpen	Q3 2025
Feitelijke geleverde zorg duidt op te lage indicatie	Taalmodel	Volledigheid	LZ	Ontwerpen	Q3 2025
Feitelijke geleverde zorg duidt op te hoge indicatie	Taalmodel	Rechtmatigheid	LZ	Ontwerpen	Q3 2025
Overige prestaties
Verslaglegging duidt op mogelijk onterechte registratie van reistijd (N6410)	Taalmodel	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Verslaglegging duidt op mogelijk gemiste registratie van reistijd (N6411)	Taalmodel	Volledigheid	ZPM	Opgeleverd	Afgerond
Afspraak duidt op consultatie ggz door sociaal domein	Taalmodel	Volledigheid	ZPM	Ontwerpen	Q3 2025
Behandelaar op externe locatie zonder reistijd	Datafusie	Volledigheid	ZPM	Ontwerpen	n.t.b.