AI - Automatisering Zorgregistratie (GGZ): verschil tussen versies

Naar navigatie springen Naar zoeken springen
← Oudere bewerking
VisueelWikitekst
Mverhaeg (overleg | bijdragen)
Beheerders
1.631 bewerkingen
 
(33 tussenliggende versies door 2 gebruikers niet weergegeven)
Regel 2: Regel 2:


== Inleiding ==
== Inleiding ==
Digitale transformatie in de GGZ is door toenemende vergrijzing en stijgende (personeels)kosten noodzakelijk geworden. De traditionele methoden en systemen voldoen niet langer aan de groeiende en steeds complexere (informatie)behoeften van financiers, accountants en toezichthouders. Een ingrijpende verandering in de manier waarop we zorg registreren, factureren en verantwoorden is essentieel om de uitdagingen van nu aan te kunnen.
Digitale transformatie is steeds belangrijker in de GGZ, onder andere door de vergrijzing en stijgende (personeels)kosten. De oude werkwijzen en systemen voldoen niet meer aan de eisen van financiers, accountants en toezichthouders. Op dit moment wordt er veel tijd besteed aan het uitvoeren van steekproeven om het restrisico af te dichten, wat veel administratieve last oplevert.


Gesteund door de afspraken in het Integraal Zorgakkoord ([https://www.rijksoverheid.nl/documenten/rapporten/2022/09/16/integraal-zorgakkoord-samen-werken-aan-gezonde-zorg IZA]) en adviezen van de Raad van Volksgezondheid en Samenleving ([https://www.raadrvs.nl/adviezen/is-dit-wel-verantwoord RVS]) zet ValueCare voor de GGZ in op het borgen van goede, toegankelijke en betaalbare zorg door:
Gesteund door de afspraken in het Integraal Zorgakkoord ([https://www.rijksoverheid.nl/documenten/rapporten/2022/09/16/integraal-zorgakkoord-samen-werken-aan-gezonde-zorg IZA]) en adviezen van de Raad van Volksgezondheid en Samenleving ([https://www.raadrvs.nl/adviezen/is-dit-wel-verantwoord RVS]) zet ValueCare voor de GGZ in op het borgen van goede, toegankelijke en betaalbare zorg door:


* Het verminderen van administratieve (verantwoordings)lasten, en  
* Vermindering van administratieve (verantwoordings)lasten, en
* Het vereenvoudigen van de registratie..
* Vereenvoudiging van de registratie.


Daarnaast wil ValueCare de zorg helpen door transparant te zijn en kennis te delen. Deze openbare wiki-pagina beschrijft de mogelijkheden van digitale technieken voor de transformatie waar de GGZ voor staat in de komende jaren. ValueCare faciliteert deze verandering via drie methoden:
Daarnaast wil ValueCare de zorg helpen door transparant te zijn en kennis te delen. Deze openbare wiki-pagina beschrijft de mogelijkheden van digitale technieken voor de transformatie waar de GGZ voor staat in de komende jaren. ValueCare faciliteert deze verandering via drie methoden:


* Controles met AI-taalmodellen óf Large Language modellen (LLM)
* '''Controles met AI-taalmodellen óf Large Language modellen (LLM)'''
* Controles op basis van nieuwe databronnen (datalakehouses)
* '''Controles op basis van nieuwe databronnen (datalakehouses)'''
* Automatisering via Robotic Process Automation (RPA)
* '''Automatisering via Robotic Process Automation (RPA)'''




Regel 23: Regel 23:


[[Bestand:Lijstjes.png|miniatuur|200x200px|Luca analyseert verslagleggingen|alt=]]
[[Bestand:Lijstjes.png|miniatuur|200x200px|Luca analyseert verslagleggingen|alt=]]
== Beheer AI: modelversies toelichting waarden ==
Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.
'''F1 score:''' de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.
* '''Precisie''''':'' hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
* '''Recall''' ''(volledigheid):'' hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.
* '''Accuratesse''''':'' het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.
* '''Specificiteit''''':'' een waarde die de kans op een negatief resultaat weergeeft, ook wel '''true negative rate'''. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.
* '''Aantal prediction categorieën''': hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.
==== Beheer en risicobeheersing van AI-controles ====
Het beheer van de controles op het taalmodel vindt plaats via een aantal specifieke beheermodules, gericht op transparantie en risicobeheersing:
{| class="wikitable"
!Beheerfunctie
!Omschrijving
|-
|Beheer Risicobeheersing Taalmodel: Model versie
|Mogelijkheid om de verschillende (historische) modelversies (en bovengenoemde parameters) in te zien.
|-
|Beheer Risicobeheersing Taalmodel: Training instellingen
|Inzicht en beheer van de instellingen waarmee het model is getraind.
|-
|Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling
|Instellingen kunnen hier de training- en testset beoordelen; deze beoordeling wordt vervolgens gebruikt als basis voor het trainen van het taalmodel.
|-
|Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling actielijst
|Inzien van verslaglegging over acties die (in test of productie) worden gesignaleerd binnen de taalmodelcontroles.
|-
|Beheer Risicobeheersing Taalmodel: Bijtrainingssets
|Overzicht van de regels die in (toekomstige) bijtrainingsfases worden ingezet.
|-
|Beheer Risicobeheersing Taalmodel: Feitelijke levering bijtrainingsbibliotheek
|Hier worden standaard woord(combinaties) weergegeven die frequent voorkomen binnen instellingen en of deze vaker wél of niet geleverd zijn. Wanneer een regel wordt geactiveerd in deze beheertabel, worden er automatisch 25 gegenereerde zinnen met die woordcombinatie toegevoegd aan de bijtrainingsset.
|}


== Bibliotheek normen Artificial Intelligence ==
== Bibliotheek normen Artificial Intelligence ==
Regel 64: Regel 28:


=== Taalmodellen en Large Language model normen ===
=== Taalmodellen en Large Language model normen ===
Hieronder is de lijst te vinden van de AI-normen, zowel de taalmodel- als de LLM-versie. In de kolom erna staat weergegeven of deze normen te gebruiken zijn binnen HT, en dus geauditeerd zijn.
{| class="wikitable" border="1" cellspacing="1" cellpadding="1" style="width:1600px;"
{| class="wikitable" border="1" cellspacing="1" cellpadding="1" style="width:1600px;"
|-
|-
|Nr
| style="width: 650px;" |<span>'''Normomschrijving'''</span>
| style="width: 650px;" |<span>'''Normomschrijving'''</span>
| style="width: 125px;  " |'''Taalmodel versie'''
| style="width: 125px;  " |'''Taalmodel versie'''
|'''LLM versie'''
|'''HT'''
|'''LLM versie (in ontwikkeling)'''
|'''HT'''
|'''Soort controle'''
|'''Soort controle'''
|'''Bekostiging'''
|'''Bekostiging'''
Regel 74: Regel 42:
| style="width: 100px;  " |<span>'''Planning'''</span>
| style="width: 100px;  " |<span>'''Planning'''</span>
|-
|-
|
|
|
|
|
|
|
Regel 82: Regel 53:
|
|
|-
|-
|
|'''Consulten en toeslagen'''
|'''Consulten en toeslagen'''
|
|
|
|
|
|
|
|
|
|-
|
|Verslaglegging niet te beoordelen door model
|NVT
|
|[[Verslaglegging niet te beoordelen door model (N6499)|N6499]]
|
|
|
|
Regel 90: Regel 75:
|
|
|-
|-
|[[Verslaglegging duidt op mogelijk onterechte registratie van telefonisch consult (N6400)]]
|00
|N6400
|Verslaglegging duidt op mogelijk onterechte registratie van telefonisch consult
|N6500
|[[N6400]]
|Ja
|N6500 (in ontwikkeling)
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
Regel 98: Regel 86:
|Afgerond
|Afgerond
|-
|-
|[[Verslaglegging duidt op mogelijk gemiste registratie van telefonisch consult (N6401)]]
|01
|N6401
|Verslaglegging duidt op mogelijk gemiste registratie van telefonisch consult
|N6501
|[[N6401]]
|Ja
|N6501 (in ontwikkeling)
|
|Volledigheid
|Volledigheid
|ZPM
|ZPM
Regel 106: Regel 97:
|Afgerond
|Afgerond
|-
|-
| style="width: 500px;" |[[Verslaglegging duidt op mogelijk onterechte registratie van consult (N6403)]]
|02
| style="width: 125px;" |N6403
|Verslaglegging duidt op mogelijk incorrecte behandelinhoudelijkheid bij registratie van consult
|N6503
|NVT
|
|[[N6502]]
|
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|03
| style="width: 500px;" |Verslaglegging duidt op mogelijk onterechte registratie van consult
| style="width: 125px;" |[[Verslaglegging duidt op mogelijk onterechte registratie van consult (N6403)|N6403]]
|Ja
|[[N6503]]
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
Regel 114: Regel 119:
| style="width: 100px;" |Afgerond
| style="width: 100px;" |Afgerond
|-
|-
|[[Verslaglegging duidt op mogelijk gemiste registratie van consult (N6404)]]
|04
|N6404
|Verslaglegging duidt op mogelijk gemiste registratie van consult
|N6504
|[[Verslaglegging duidt op mogelijk gemiste registratie van consult (N6404)|N6404]]
|
|[[Verslaglegging duidt op mogelijk gemiste registratie van consult (N6504)|N6504]]
|
|Volledigheid
|Volledigheid
|ZPM
|ZPM
Regel 122: Regel 130:
|Afgerond  
|Afgerond  
|-
|-
|[[Verslaglegging duidt op mogelijk onjuiste registratie van een diagnostiekconsult (N6407)]]
|07
|N6407
|Verslaglegging duidt op mogelijk onjuiste registratie van een diagnostiekconsult
|N6507
|[[N6407]]
|
|N6507 (in ontwikkeling)
|
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|08
|Verslaglegging duidt op mogelijk onjuiste registratie van een behandelconsult
|[[N6408]]
|
|N6508 (in ontwikkeling)
|
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|18
|Verslaglegging duidt op onterecht diagnostiekconsult ná vastlegging diagnose
|
|
|[[N6518]]
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
Regel 130: Regel 163:
|Afgerond
|Afgerond
|-
|-
|[[Verslaglegging duidt op mogelijk onjuiste registratie van een behandelconsult (N6408)]]
|09
|N6408
|Verslaglegging duidt op mogelijk onjuiste registratie van een crisisconsult
|N6508
|[[N6409]]
|
|
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
Regel 138: Regel 174:
|Afgerond
|Afgerond
|-
|-
|[[Verslaglegging duidt op mogelijk onjuiste registratie van een crisisconsult (N6409)]]
|12
|N6409
|Verslaglegging duidt op mogelijk onterechte registratie van een toeslag tolk
|N6509
|[[Verslaglegging duidt op mogelijk onterechte registratie van een toeslag tolk (N6412)|N6412]]
|
|
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
Regel 146: Regel 185:
|Afgerond
|Afgerond
|-
|-
|[[Verslaglegging duidt op mogelijke onterechte registratie van een toeslag tolk (N6412)|Verslaglegging duidt op mogelijk onterechte registratie van een toeslag tolk (N6412)]]
|13
|N6412
|Verslaglegging duidt op mogelijk gemiste registratie van een toeslag tolk
|N6512
|[[Verslaglegging duidt op mogelijk gemiste registratie van een toeslag tolk (N6413)|N6413]]
|
|
|
|Volledigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|14
|Verslaglegging duidt op mogelijk onterechte registratie van groepsconsult
|[[N6414]]
|
|
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
Regel 154: Regel 207:
|Afgerond
|Afgerond
|-
|-
|[[Verslaglegging duidt op mogelijk gemiste registratie van een toeslag tolk (N6413)]]
|15
|N6413
|Verslaglegging duidt op mogelijk gemiste registratie van groepsconsult
|N6513
|[[N6415]]
|
|
|
|Volledigheid
|Volledigheid
|ZPM
|ZPM
Regel 162: Regel 218:
|Afgerond
|Afgerond
|-
|-
|
|Toeslag oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) ontbreekt
|Toeslag oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) ontbreekt
|
|
|
|
|
|
Regel 170: Regel 229:
|n.t.b.
|n.t.b.
|-
|-
|
|Afspraak houdt geen verband met ECT
|Afspraak houdt geen verband met ECT
|
|
|
|
|
|
Regel 178: Regel 240:
|n.t.b.
|n.t.b.
|-
|-
|
|Toeslag psychodiagnostiek ontbreekt
|Toeslag psychodiagnostiek ontbreekt
|
|
|
|
|
|
Regel 186: Regel 251:
|n.t.b.
|n.t.b.
|-
|-
|
|
|
|
|
|
|
Regel 194: Regel 262:
|
|
|-
|-
|
|'''Verblijf'''
|'''Verblijf'''
|
|
|
|
|
|
Regel 202: Regel 273:
|
|
|-
|-
|[[Verslaglegging duidt op mogelijk onterechte registratie van verblijfsdag (N6405)]]
|05
|N6405
|Verslaglegging duidt op mogelijk onterechte registratie van verblijfsdag
|N6505
|[[Verslaglegging duidt op mogelijk onterechte registratie van verblijfsdag (N6405)|N6405]]
|Ja
|[[N6505]]
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
Regel 210: Regel 284:
|Afgerond  
|Afgerond  
|-
|-
|[[Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag (N6406)]]
|06
|N6406
|Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag
|N6506
|[[Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag (N6406)|N6406]]
|
|[[N6506]]
|
|Volledigheid
|Volledigheid
|ZPM
|ZPM
Regel 218: Regel 295:
|Afgerond
|Afgerond
|-
|-
|
|Oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz)
|Oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz)
|
|
|
|
|
|
Regel 226: Regel 306:
|n.t.b.
|n.t.b.
|-
|-
|
|
|
|
|
|
|
Regel 234: Regel 317:
|
|
|-
|-
|
|'''Overige prestaties'''
|'''Overige prestaties'''
|
|
|
|
|
|
Regel 242: Regel 328:
|
|
|-
|-
|[[Verslaglegging duidt op mogelijk onterechte registratie van reistijd (N6410)]]
|10
|N6410
|Verslaglegging duidt op mogelijk onterechte registratie van reistijd (N6410)
|N6510
|[[Verslaglegging duidt op mogelijk onterechte registratie van reistijd (N6410)|N6410]]
|
|[[N6510]]
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
Regel 250: Regel 339:
|Afgerond
|Afgerond
|-
|-
|[[Verslaglegging duidt op mogelijk gemiste registratie van reistijd (N6411)]]
|11
|N6411
|Verslaglegging duidt op mogelijk gemiste registratie van reistijd (N6411)
|N6511
|[[N6411]]
|
|[[N6511]]
|
|Volledigheid
|Volledigheid
|ZPM
|ZPM
Regel 258: Regel 350:
|Afgerond
|Afgerond
|-
|-
|
|Afspraak duidt op consultatie ggz door sociaal domein
|Afspraak duidt op consultatie ggz door sociaal domein
|
|
|
|
|
|
Regel 266: Regel 361:
|n.t.b.
|n.t.b.
|-
|-
|
|
|
|
|
|
|
Regel 274: Regel 372:
|
|
|-
|-
|
|'''Aanspraak & Onverzekerde zorg'''
|'''Aanspraak & Onverzekerde zorg'''
|
|
|
|
|
|
Regel 282: Regel 383:
|
|
|-
|-
|
|Jaarlijkse beloofbrief aan de huisarts staat in concept
|Jaarlijkse beloofbrief aan de huisarts staat in concept
|
|
|
|
|
|
Regel 290: Regel 394:
|n.t.b.
|n.t.b.
|-
|-
|
|Feitelijke geleverde zorg duidt op te lage indicatie
|Feitelijke geleverde zorg duidt op te lage indicatie
|
|
|
|
|
|
Regel 298: Regel 405:
|n.t.b.
|n.t.b.
|-
|-
|
|Feitelijke geleverde zorg duidt op te hoge indicatie
|Feitelijke geleverde zorg duidt op te hoge indicatie
|
|
|
|
|
|
Regel 315: Regel 425:
|<span>'''Status'''</span>
|<span>'''Status'''</span>
|<span>'''Planning'''</span>
|<span>'''Planning'''</span>
|
|-
|-
|
|
|
|
|
Regel 326: Regel 434:
|-
|-
|'''Consulten en toeslagen'''
|'''Consulten en toeslagen'''
|
|
|
|
|
Regel 339: Regel 446:
|Opgeleverd
|Opgeleverd
|Afgerond
|Afgerond
|
|-
|-
|[[Duur belcontact wijkt af van duur geregistreerd telefonisch consult (N4001)]]
|[[Duur belcontact wijkt af van duur geregistreerd telefonisch consult (N4001)]]
Regel 347: Regel 453:
|Opgeleverd
|Opgeleverd
|Afgerond
|Afgerond
|
|-
|-
|[[Onjuist contactsoort geregistreerd bij telefonisch consult (N4002)]]
|[[Onjuist contactsoort geregistreerd bij telefonisch consult (N4002)]]
Regel 355: Regel 460:
|Opgeleverd
|Opgeleverd
|Afgerond
|Afgerond
|
|-
|-
|[[Belcontact vindt plaats tijdens consult met andere patiënt (overlap) (N4003)]]
|[[Belcontact vindt plaats tijdens consult met andere patiënt (overlap) (N4003)]]
Regel 363: Regel 467:
|Opgeleverd
|Opgeleverd
|Afgerond
|Afgerond
|
|-
|-
|[[Telefonisch consult geregistreerd zonder belcontact in mobiele data (N4004)]]
|[[Telefonisch consult geregistreerd zonder belcontact in mobiele data (N4004)]]
Regel 371: Regel 474:
|Opgeleverd
|Opgeleverd
|Afgerond
|Afgerond
|
|-
|-
|
|
|
|
|
Regel 382: Regel 483:
|-
|-
|'''Planning is realisatie'''
|'''Planning is realisatie'''
|
|
|
|
|
Regel 395: Regel 495:
|Ontwerpen
|Ontwerpen
|Vooralsnog niet mogelijk, alleen via N4001.
|Vooralsnog niet mogelijk, alleen via N4001.
|
|-
|-
|Contact feitelijk geleverd, maar contactduur gewijzigd bij verandering <15 minuten
|Contact feitelijk geleverd, maar contactduur gewijzigd bij verandering <15 minuten
Regel 403: Regel 502:
|Ontwerpen
|Ontwerpen
|Q4 2025
|Q4 2025
|
|-
|-
|
|
|
|
|
Regel 414: Regel 511:
|-
|-
|'''Verblijf'''
|'''Verblijf'''
|
|
|
|
|
Regel 427: Regel 523:
|Ontwerpen
|Ontwerpen
|n.t.b.
|n.t.b.
|
|-
|-
|Patiënt buiten WiFi met aanwezigheidsdag
|Patiënt buiten WiFi met aanwezigheidsdag
Regel 435: Regel 530:
|Ontwerpen
|Ontwerpen
|n.t.b.
|n.t.b.
|
|-
|-
|
|
|
|
|
Regel 446: Regel 539:
|-
|-
|'''Overige prestaties'''
|'''Overige prestaties'''
|
|
|
|
|
Regel 459: Regel 551:
|Ontwerpen
|Ontwerpen
|n.t.b.
|n.t.b.
|
|-
|-
|
|
|
|
|
Regel 470: Regel 560:
|-
|-
|'''Aanspraak & Onverzekerde zorg'''
|'''Aanspraak & Onverzekerde zorg'''
|
|
|
|
|
Regel 477: Regel 566:
|
|
|-
|-
|Verwijsdatum niet juist overgenomen in EPD (N6420)
|[[Verwijsdatum niet juist overgenomen in EPD (N6420)]]
|Taalmodel/PDF-scan verwijsbrief
|Taalmodel/PDF-scan verwijsbrief
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
|Ontwerpen
|Opgeleverd
|Q4 2025
|Afgerond
|-
|-
|Verwijzer niet juist overgenomen in EPD (N6421)
|Verwijzer niet juist overgenomen in EPD (N6421)
|Taalmodel/PDF-scan verwijsbrief
|Taalmodel/PDF-scan verwijsbrief
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
Regel 493: Regel 580:
|Q4 2025
|Q4 2025
|-
|-
|Aanmelddatum niet juist overgenomen in EPD (N6422)
|[[Vastlegging AGB-code verwijzer niet juist vastgelegd in EPD (N6423)]]
|Taalmodel/PDF-scan verwijsbrief
|Taalmodel/PDF-scan verwijsbrief
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
|Ontwerpen
|Opgeleverd
|Q4 2025
|Afgerond
|-
|-
|Vastlegging AGB-code verwijzer niet juist vastgelegd in EPD (N6423)
|Vastlegging type verwijzer niet juist vastgelegd in EPD (N6424)
|Taalmodel/PDF-scan verwijsbrief
|Taalmodel/PDF-scan verwijsbrief
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
|Ontwerpen
|Ontwerpen
|Q4 2025
|Q4 2025
|}
== Beheer AI: modelversies toelichting waarden ==
Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.
'''F1 score:''' de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.
* '''Precisie''''':'' hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
* '''Recall''' ''(volledigheid):'' hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.
* '''Accuratesse''''':'' het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.
* '''Specificiteit''''':'' een waarde die de kans op een negatief resultaat weergeeft, ook wel '''true negative rate'''. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.
* '''Aantal prediction categorieën''': hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.
==== Beheer en risicobeheersing van AI-controles ====
Het beheer van de controles op het taalmodel vindt plaats via een aantal specifieke beheermodules, gericht op transparantie en risicobeheersing:
{| class="wikitable"
!Beheerfunctie
!Omschrijving
|-
|Beheer Risicobeheersing Taalmodel: Model versie
|Mogelijkheid om de verschillende (historische) modelversies (en bovengenoemde parameters) in te zien.
|-
|Beheer Risicobeheersing Taalmodel: Training instellingen
|Inzicht en beheer van de instellingen waarmee het model is getraind.
|-
|Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling
|Instellingen kunnen hier de training- en testset beoordelen; deze beoordeling wordt vervolgens gebruikt als basis voor het trainen van het taalmodel.
|-
|Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling actielijst
|Inzien van verslaglegging over acties die (in test of productie) worden gesignaleerd binnen de taalmodelcontroles.
|-
|-
|Vastlegging type verwijzer niet juist vastgelegd in EPD (N6424)
|Beheer Risicobeheersing Taalmodel: Bijtrainingssets
|Taalmodel/PDF-scan verwijsbrief
|Overzicht van de regels die in (toekomstige) bijtrainingsfases worden ingezet.
|
|-
|Rechtmatigheid
|Beheer Risicobeheersing Taalmodel: Feitelijke levering bijtrainingsbibliotheek
|ZPM
|Hier worden standaard woord(combinaties) weergegeven die frequent voorkomen binnen instellingen en of deze vaker wél of niet geleverd zijn. Wanneer een regel wordt geactiveerd in deze beheertabel, worden er automatisch 25 gegenereerde zinnen met die woordcombinatie toegevoegd aan de bijtrainingsset.
|Ontwerpen
|Q4 2025
|}
|}


Regel 525: Regel 638:
|-
|-
|GGZ_HT_AI_INSTELLING
|GGZ_HT_AI_INSTELLING
|Is uw organisatie een AI-instelling?
|Maakt uw organisatie gebruik van  AI bij ValueCare?
|Nee
|Nee
|-
|-
Overgenomen van "https://www.normenkaderzorg.nl/index.php/AI_-_Automatisering_Zorgregistratie_(GGZ)"