AI - Automatisering Zorgregistratie (GGZ)

Inleiding

Digitale transformatie is steeds belangrijker in de GGZ, onder andere door de vergrijzing en stijgende (personeels)kosten. De oude werkwijzen en systemen voldoen niet meer aan de eisen van financiers, accountants en toezichthouders. Op dit moment wordt er veel tijd besteed aan het uitvoeren van steekproeven om het restrisico af te dichten, wat veel administratieve last oplevert.

Gesteund door de afspraken in het Integraal Zorgakkoord (IZA) en adviezen van de Raad van Volksgezondheid en Samenleving (RVS) zet ValueCare voor de GGZ in op het borgen van goede, toegankelijke en betaalbare zorg door:

• Vermindering van administratieve (verantwoordings)lasten, en
• Vereenvoudiging van de registratie.

Daarnaast wil ValueCare de zorg helpen door transparant te zijn en kennis te delen. Deze openbare wiki-pagina beschrijft de mogelijkheden van digitale technieken voor de transformatie waar de GGZ voor staat in de komende jaren. ValueCare faciliteert deze verandering via drie methoden:

• Controles met AI-taalmodellen óf Large Language modellen (LLM)
• Controles op basis van nieuwe databronnen (datalakehouses)
• Automatisering via Robotic Process Automation (RPA)

Voor meer informatie over de technieken, ga naar:

• GGZ AI - Taalmodellen
• GGZ AI - Large Language Models (LLM)
• Robotic Process Automation (RPA)

Luca analyseert verslagleggingen

Bibliotheek normen Artificial Intelligence

In de zorgsector is nauwkeurige verslaglegging niet enkel een administratieve handeling, maar vormt het ook de basis voor het vaststellen van de rechtmatigheid van geregistreerde zorg, evenals het identificeren van mogelijke gemiste registratie van geleverde diensten. Het handmatig doorlopen en controleren van deze omvangrijke verslagleggingen is echter een arbeidsintensief proces, dat zowel tijdsgebonden als kostbaar kan zijn. ValueCare erkent de behoefte aan een efficiëntere aanpak en heeft daarom geïnvesteerd in de kracht van Artificial Intelligence. Met behulp van geavanceerde AI-modellen kunnen verslagleggingen snel en accuraat worden geanalyseerd. In het volgende overzicht presenteren we de normen die gebruik maken van de getrainde ValueCare-taalmodellen die specifiek zijn ontwikkeld om de integriteit van de registratie te waarborgen.

Taalmodellen en Large Language model normen

Hieronder is de lijst te vinden van de AI-normen, zowel de taalmodel- als de LLM-versie. In de kolom erna staat weergegeven of deze normen te gebruiken zijn binnen HT, en dus geauditeerd zijn.

Nr	Normomschrijving	Taalmodel versie	HT	LLM versie (in ontwikkeling)	HT	Soort controle	Bekostiging	Status	Planning
	Consulten en toeslagen
	Verslaglegging niet te beoordelen door model	NVT		N6499
00	Verslaglegging duidt op mogelijk onterechte registratie van telefonisch consult	N6400	Ja	N6500 (in ontwikkeling)		Rechtmatigheid	ZPM	Opgeleverd	Afgerond
01	Verslaglegging duidt op mogelijk gemiste registratie van telefonisch consult	N6401	Ja	N6501 (in ontwikkeling)		Volledigheid	ZPM	Opgeleverd	Afgerond
02	Verslaglegging duidt op mogelijk incorrecte behandelinhoudelijkheid bij registratie van consult	NVT		N6502		Rechtmatigheid	ZPM	Opgeleverd	Afgerond
03	Verslaglegging duidt op mogelijk onterechte registratie van consult	N6403	Ja	N6503		Rechtmatigheid	ZPM	Opgeleverd	Afgerond
04	Verslaglegging duidt op mogelijk gemiste registratie van consult	N6404		N6504		Volledigheid	ZPM	Opgeleverd	Afgerond
07	Verslaglegging duidt op mogelijk onjuiste registratie van een diagnostiekconsult	N6407		N6507 (in ontwikkeling)		Rechtmatigheid	ZPM	Opgeleverd	Afgerond
08	Verslaglegging duidt op mogelijk onjuiste registratie van een behandelconsult	N6408		N6508 (in ontwikkeling)		Rechtmatigheid	ZPM	Opgeleverd	Afgerond
18	Verslaglegging duidt op onterecht diagnostiekconsult ná vastlegging diagnose			N6518		Rechtmatigheid	ZPM	Opgeleverd	Afgerond
09	Verslaglegging duidt op mogelijk onjuiste registratie van een crisisconsult	N6409				Rechtmatigheid	ZPM	Opgeleverd	Afgerond
12	Verslaglegging duidt op mogelijk onterechte registratie van een toeslag tolk	N6412				Rechtmatigheid	ZPM	Opgeleverd	Afgerond
13	Verslaglegging duidt op mogelijk gemiste registratie van een toeslag tolk	N6413				Volledigheid	ZPM	Opgeleverd	Afgerond
14	Verslaglegging duidt op mogelijk onterechte registratie van groepsconsult	N6414				Rechtmatigheid	ZPM	Opgeleverd	Afgerond
15	Verslaglegging duidt op mogelijk gemiste registratie van groepsconsult	N6415				Volledigheid	ZPM	Opgeleverd	Afgerond
	Toeslag oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) ontbreekt					Volledigheid	ZPM	Ontwerpen	n.t.b.
	Afspraak houdt geen verband met ECT					Volledigheid	ZPM	Ontwerpen	n.t.b.
	Toeslag psychodiagnostiek ontbreekt					Volledigheid	ZPM	Ontwerpen	n.t.b.
	Verblijf
05	Verslaglegging duidt op mogelijk onterechte registratie van verblijfsdag	N6405	Ja	N6505		Rechtmatigheid	ZPM	Opgeleverd	Afgerond
06	Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag	N6406		N6506		Volledigheid	ZPM	Opgeleverd	Afgerond
	Oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz)					Volledigheid	ZPM	Ontwerpen	n.t.b.
	Overige prestaties
10	Verslaglegging duidt op mogelijk onterechte registratie van reistijd (N6410)	N6410		N6510		Rechtmatigheid	ZPM	Opgeleverd	Afgerond
11	Verslaglegging duidt op mogelijk gemiste registratie van reistijd (N6411)	N6411		N6511		Volledigheid	ZPM	Opgeleverd	Afgerond
	Afspraak duidt op consultatie ggz door sociaal domein					Volledigheid	ZPM	Ontwerpen	n.t.b.
	Aanspraak & Onverzekerde zorg
	Jaarlijkse beloofbrief aan de huisarts staat in concept					Rechtmatigheid	ZPM	Ontwerpen	n.t.b.
	Feitelijke geleverde zorg duidt op te lage indicatie					Volledigheid	LZ	Ontwerpen	n.t.b.
	Feitelijke geleverde zorg duidt op te hoge indicatie					Rechtmatigheid	LZ	Ontwerpen	n.t.b.

Datafusie

Normomschrijving	Type controle	Soort controle	Bekostiging	Status	Planning
Consulten en toeslagen
Belcontact duidt op gemist declarabel consult (N4000)	Datafusie	Volledigheid	ZPM	Opgeleverd	Afgerond
Duur belcontact wijkt af van duur geregistreerd telefonisch consult (N4001)	Datafusie	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Onjuist contactsoort geregistreerd bij telefonisch consult (N4002)	Datafusie	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Belcontact vindt plaats tijdens consult met andere patiënt (overlap) (N4003)	Datafusie	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Telefonisch consult geregistreerd zonder belcontact in mobiele data (N4004)	Datafusie	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Planning is realisatie
Contact feitelijk geleverd, maar contactduur ongewijzigd bij afwijking > 15 minuten	Datafusie	Rechtmatigheid	ZPM	Ontwerpen	Vooralsnog niet mogelijk, alleen via N4001.
Contact feitelijk geleverd, maar contactduur gewijzigd bij verandering <15 minuten	Datafusie	Volledigheid	ZPM	Ontwerpen	Q4 2025
Verblijf
Patiënt in WiFi zonder aanwezigheidsdag	Datafusie	Volledigheid	ZPM	Ontwerpen	n.t.b.
Patiënt buiten WiFi met aanwezigheidsdag	Datafusie	Rechtmatigheid	ZPM	Ontwerpen	n.t.b.
Overige prestaties
Behandelaar op externe locatie zonder reistijd	Datafusie	Volledigheid	ZPM	Ontwerpen	n.t.b.
Aanspraak & Onverzekerde zorg
Verwijsdatum niet juist overgenomen in EPD (N6420)	Taalmodel/PDF-scan verwijsbrief	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Verwijzer niet juist overgenomen in EPD (N6421)	Taalmodel/PDF-scan verwijsbrief	Rechtmatigheid	ZPM	Ontwerpen	Q4 2025
Vastlegging AGB-code verwijzer niet juist vastgelegd in EPD (N6423)	Taalmodel/PDF-scan verwijsbrief	Rechtmatigheid	ZPM	Opgeleverd	Afgerond
Vastlegging type verwijzer niet juist vastgelegd in EPD (N6424)	Taalmodel/PDF-scan verwijsbrief	Rechtmatigheid	ZPM	Ontwerpen	Q4 2025

Beheer AI: modelversies toelichting waarden

Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.

F1 score: de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.

• Precisie: hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
• Recall (volledigheid): hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.
• Accuratesse: het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.
• Specificiteit: een waarde die de kans op een negatief resultaat weergeeft, ook wel true negative rate. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.
• Aantal prediction categorieën: hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.

Beheer en risicobeheersing van AI-controles

Het beheer van de controles op het taalmodel vindt plaats via een aantal specifieke beheermodules, gericht op transparantie en risicobeheersing:

Beheerfunctie	Omschrijving
Beheer Risicobeheersing Taalmodel: Model versie	Mogelijkheid om de verschillende (historische) modelversies (en bovengenoemde parameters) in te zien.
Beheer Risicobeheersing Taalmodel: Training instellingen	Inzicht en beheer van de instellingen waarmee het model is getraind.
Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling	Instellingen kunnen hier de training- en testset beoordelen; deze beoordeling wordt vervolgens gebruikt als basis voor het trainen van het taalmodel.
Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling actielijst	Inzien van verslaglegging over acties die (in test of productie) worden gesignaleerd binnen de taalmodelcontroles.
Beheer Risicobeheersing Taalmodel: Bijtrainingssets	Overzicht van de regels die in (toekomstige) bijtrainingsfases worden ingezet.
Beheer Risicobeheersing Taalmodel: Feitelijke levering bijtrainingsbibliotheek	Hier worden standaard woord(combinaties) weergegeven die frequent voorkomen binnen instellingen en of deze vaker wél of niet geleverd zijn. Wanneer een regel wordt geactiveerd in deze beheertabel, worden er automatisch 25 gegenereerde zinnen met die woordcombinatie toegevoegd aan de bijtrainingsset.

Belangrijke parameters binnen AI

Parameter	Omschrijving	Standaardwaarde
GGZ_HT_AI_INSTELLING	Maakt uw organisatie gebruik van AI bij ValueCare?	Nee
N64_MODEL_VERSIE	Huidige modelversie (instelbaar per organisatie of moment).	(leeg, kan gevuld worden)
N64_MODEL_VERSIE_OUD	Vorige modelversie (voor rapportage of terugval).	(leeg, kan gevuld worden)
AI_DRAAIDAGEN_ACCEPTATIE	Op welke dag draait de AI in de acceptatieomgeving? (Dagnummer, 1 = maandag)	8 (AI draait niet automatisch)
AI_DRAAIDAGEN_PRODUCTIE	Op welke dag draait de AI in de productieomgeving? (Dagnummer, 1 = maandag)	8 (AI draait niet automatisch)
AI_EXTRA_DRAAIDAGEN_EINDTIJD	Tot welk tijdstip zijn extra AI-draaidagen actief?	17:00 uur
GGZ_AI_BEOORDELEN_ACTIELIJST_BEHEERTABEL	Zijn verslagen van de actielijst zichtbaar in het beheerscherm ‘AI: Feitelijke levering beoordeling actielijst’?	Nee (standaard niet zichtbaar)
GGZ_AI_FL_MINIMUM_BIJTRAINEN	Vanaf hoeveel genegeerde items op de actielijst wordt het AI-model automatisch bijgetraind?	150
AI_FL_OPLOSSER_BEOORDELINGEN_ACTIELIJST	Wiens beoordelingen worden meegenomen in het verder trainen van het model.	(leeg, kan gevuld worden)
AI_N64_MAX_RUNTIME	Maximale tijd (in seconden) dat het AI-model mag draaien.	3600 (1 uur)
GGZ_AI_VERBLIJF_NACHTRAP_VERSLAGREGELTYPE	Worden specifieke soorten verblijf-verslagen herkend aan een verslagregeltype?	(leeg, kan gevuld worden)
AI_FL_VERBLIJF_VERSLAG_GROEPREN	Worden AI-verblijfsverslagen gegroepeerd?	Nee
AI_FL_TIJDSCHRIJVEN_MEDEWERKER_CODE_UITSLUITEN	Uitsluiten van bepaalde medewerkers van AI-controle op tijdschrijven.	(leeg, kan gevuld worden)
GGZ_BLOK_AI_ACTIES_SPECIFIEK_OBV_TOELICHTING	Zorgt ervoor dat alléén bepaalde AI-acties worden meegenomen in blokkadelijsten (bv. alleen 'AI juist').	(leeg, kan gevuld worden)

Vragen en antwoorden (Q&A)

Voor de vragen en antwoorden (Q&A), ga naar AI GGZ - Vragen en antwoorden (Q&A)