|
|
| (38 tussenliggende versies door 2 gebruikers niet weergegeven) |
| Regel 2: |
Regel 2: |
|
| |
|
| == Inleiding == | | == Inleiding == |
| Digitale transformatie in de GGZ is door toenemende vergrijzing en stijgende (personeels)kosten noodzakelijk geworden. De traditionele methoden en systemen voldoen niet langer aan de groeiende en steeds complexere (informatie)behoeften van financiers, accountants en toezichthouders. Een ingrijpende verandering in de manier waarop we zorg registreren, factureren en verantwoorden is essentieel om de uitdagingen van nu aan te kunnen. | | Digitale transformatie is steeds belangrijker in de GGZ, onder andere door de vergrijzing en stijgende (personeels)kosten. De oude werkwijzen en systemen voldoen niet meer aan de eisen van financiers, accountants en toezichthouders. Op dit moment wordt er veel tijd besteed aan het uitvoeren van steekproeven om het restrisico af te dichten, wat veel administratieve last oplevert. |
|
| |
|
| Gesteund door de afspraken in het Integraal Zorgakkoord ([https://www.rijksoverheid.nl/documenten/rapporten/2022/09/16/integraal-zorgakkoord-samen-werken-aan-gezonde-zorg IZA]) en adviezen van de Raad van Volksgezondheid en Samenleving ([https://www.raadrvs.nl/adviezen/is-dit-wel-verantwoord RVS]) zet ValueCare voor de GGZ in op het borgen van goede, toegankelijke en betaalbare zorg door: | | Gesteund door de afspraken in het Integraal Zorgakkoord ([https://www.rijksoverheid.nl/documenten/rapporten/2022/09/16/integraal-zorgakkoord-samen-werken-aan-gezonde-zorg IZA]) en adviezen van de Raad van Volksgezondheid en Samenleving ([https://www.raadrvs.nl/adviezen/is-dit-wel-verantwoord RVS]) zet ValueCare voor de GGZ in op het borgen van goede, toegankelijke en betaalbare zorg door: |
|
| |
|
| * Het verminderen van administratieve (verantwoordings)lasten, en | | * Vermindering van administratieve (verantwoordings)lasten, en |
| * Het vereenvoudigen van de registratie.. | | * Vereenvoudiging van de registratie. |
|
| |
|
| Daarnaast wil ValueCare de zorg helpen door transparant te zijn en kennis te delen. Deze openbare wiki-pagina beschrijft de mogelijkheden van digitale technieken voor de transformatie waar de GGZ voor staat in de komende jaren. ValueCare faciliteert deze verandering via drie methoden: | | Daarnaast wil ValueCare de zorg helpen door transparant te zijn en kennis te delen. Deze openbare wiki-pagina beschrijft de mogelijkheden van digitale technieken voor de transformatie waar de GGZ voor staat in de komende jaren. ValueCare faciliteert deze verandering via drie methoden: |
|
| |
|
| * Controles met AI-taalmodellen | | * '''Controles met AI-taalmodellen óf Large Language modellen (LLM)''' |
| * Controles op basis van nieuwe databronnen (datalakehouses) | | * '''Controles op basis van nieuwe databronnen (datalakehouses)''' |
| * Automatisering via Robotic Process Automation (RPA) | | * '''Automatisering via Robotic Process Automation (RPA)''' |
|
| |
|
| == Achtergrond bij AI techniek ==
| |
| De toepassing van AI in verslagleggingsanalyse werkt als volgt:
| |
|
| |
|
| # Beschikbaarheid model: Een AI-taalmodel draait op de ValueCare-server van de klant.
| | Voor meer informatie over '''<u>de technieken,</u>''' ga naar: |
| #* ValueCare gebruikt een specifiek voor Nederlandstalige medische data getraind RoBERTa-model (“Robustly Optimized BERT Pretraining Approach”), in de vorm van RoBERT, een open source model.
| |
| # Samenstelling trainingset: In samenwerking met de klant wordt een trainingset samengesteld.
| |
| #* De trainingset bevat een reeks van verslaglegging records voor gerealiseerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging is aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig bevonden kan worden of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseer
| |
| #* De trainingset is bij voorkeur voldoende omvangrijk en kan automatisch of handmatig worden samengesteld (meestal via Horizontaal Toezicht of zelfonderzoek).
| |
| # Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid te classificeren.
| |
| # Controle: Het taalmodel classificeert alle verslaglegging en bepaalt de mate van zekerheid.
| |
| # Resultaat: Resultaten van de AI worden weergegeven in een actielijst.
| |
| # Kanspercentage: Het kanspercentage is een instelbare drempelwaarde. Alleen acties met een modeluitkomst die boven deze afgesproken drempel ligt, worden zichtbaar gemaakt in de controle. Standaard ligt deze drempel op 50%. ValueCare adviseert welk percentage het meest geschikt is voor de klant.
| |
|
| |
|
| | | * [[GGZ AI - Taalmodellen]] |
| | | * [[GGZ AI - Large Language Models (LLM)]] |
| De datastroom van de AI-controles vindt als volgt plaats:[[Bestand:AI datastroom.jpg|geen|miniatuur|853x853px|Datastroom AI feitelijke levering]]
| | * [[RPA - Automatisering Zorgregistratie GGZ|Robotic Process Automation (RPA)]] |
| | |
| == Kwaliteitsborging & Controle op de AI-Technologie ==
| |
| Het waarborgen van de betrouwbaarheid van het AI-model gebeurt als volgt:
| |
| | |
| # Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst.
| |
| # Jaarlijkse herbeoordeling: Jaarlijks worden steekproeven door de klant samen met ValueCare gedaan, waarbij menselijke beoordeling als referentie wordt genomen.
| |
| | |
| == Stappenplan: In Productie Nemen en Bijtrainen van AI-Taalmodellen ==
| |
| Om de toepasbaarheid en kwaliteit van de AI te borgen, volgt ValueCare een strikt stappenplan rondom training, inzet en vervolgtrainen van de AI-taalmodellen. Dit biedt transparantie, herhaalbaarheid en voortdurende optimalisatie.
| |
| | |
| === <u>Trainingsfase (Stap 1–3) & Bijtrainingsfase (Stap 4–10)</u> ===
| |
| | |
| # '''Opleiden van het model'''
| |
| #* Het model wordt getraind met een trainingset.
| |
| #* Voor validatie dient een aparte testset te worden beoordeeld die alléén wordt gebruikt voor evaluatie, zodat deze ook bruikbaar blijft bij bijtraining.
| |
| # '''Beperkte testperiode voor initiële evaluatie'''
| |
| #* Alleen de acties van één maand worden getest, om snelheid en overzichtelijkheid te bevorderen.
| |
| #* Geconstateerde fouten in deze maand dienen als input voor (eventuele) bijstelling voorafgaand aan productie. Zo zijn meerdere iteraties mogelijk.
| |
| # '''Modelgoedkeuring en overgang naar productie'''
| |
| #* Na akkoord van de instelling wordt het model in productie genomen bij een vastgesteld kanspercentage (advies komt vanuit de data-specialist van ValueCare).
| |
| #* Vanaf de startdatum van de controle verwerkt het model alle geselecteerde acties.
| |
| # '''Verwerking van foutieve acties na livegang'''
| |
| #* Foutieve meldingen worden na livegang niet langer individueel behandeld.
| |
| #* Instellingen markeren deze als ‘AI onjuist’ en negeren de betreffende actie.
| |
| # '''Signalering voor nieuwe bijtrainingsronde'''
| |
| #* Zodra er meer dan 300 gemarkeerd zijn met 'AI juist' of ‘AI onjuist’ (in actielijst óf beheertabel) waarvan er meer dan 150 op 'AI juist' staat, volgt er automatisch een melding voor ValueCare.
| |
| # '''Advies en overleg over bijtrainen'''
| |
| #* De data-specialist informeert de consultant bij behalen van de drempel, die op zijn/haar beurt samen met de instelling beoordeelt of bijtrainen wenselijk is.
| |
| # '''Voorbereiding van trainingsdata'''
| |
| #* Na akkoord verzamelt de data-specialist een evenredig aantal ‘AI juist’-beoordeelde posten uit de reeds uitgestroomde acties als extra trainingsdata.
| |
| # '''Bijtrainen van het model'''
| |
| #* Het model wordt opnieuw getraind met de nieuwe correcte én onjuiste acties.
| |
| # '''Evaluatie na bijtraining'''
| |
| #* Het nieuwe model wordt geëvalueerd en vergeleken met het oude, op basis van dezelfde testset als eerder.
| |
| #* Op basis van deze analyse volgt keuze: doorzetten naar productie of verdere optimalisatie.
| |
| # '''Herhaling cyclus'''
| |
| #* Het markeren en negeren van foutieve acties herhaalt zich tot de afgesproken drempel weer is bereikt; dan start het proces weer bij stap 5.
| |
|
| |
|
| [[Bestand:Lijstjes.png|miniatuur|200x200px|Luca analyseert verslagleggingen|alt=]] | | [[Bestand:Lijstjes.png|miniatuur|200x200px|Luca analyseert verslagleggingen|alt=]] |
|
| |
| == Beheer AI: modelversies toelichting waarden ==
| |
| Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.
| |
|
| |
| '''F1 score:''' de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.
| |
|
| |
| * '''Precisie''''':'' hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
| |
| * '''Recall''' ''(volledigheid):'' hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.
| |
| * '''Accuratesse''''':'' het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.
| |
| * '''Specificiteit''''':'' een waarde die de kans op een negatief resultaat weergeeft, ook wel '''true negative rate'''. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.
| |
| * '''Aantal prediction categorieën''': hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.
| |
|
| |
| ==== Beheer en risicobeheersing van AI-controles ====
| |
| Het beheer van de controles op het taalmodel vindt plaats via een aantal specifieke beheermodules, gericht op transparantie en risicobeheersing:
| |
| {| class="wikitable"
| |
| !Beheerfunctie
| |
| !Omschrijving
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Model versie
| |
| |Mogelijkheid om de verschillende (historische) modelversies (en bovengenoemde parameters) in te zien.
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Training instellingen
| |
| |Inzicht en beheer van de instellingen waarmee het model is getraind.
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling
| |
| |Instellingen kunnen hier de training- en testset beoordelen; deze beoordeling wordt vervolgens gebruikt als basis voor het trainen van het taalmodel.
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling actielijst
| |
| |Inzien van verslaglegging over acties die (in test of productie) worden gesignaleerd binnen de taalmodelcontroles.
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Bijtrainingssets
| |
| |Overzicht van de regels die in (toekomstige) bijtrainingsfases worden ingezet.
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Feitelijke levering bijtrainingsbibliotheek
| |
| |Hier worden standaard woord(combinaties) weergegeven die frequent voorkomen binnen instellingen en of deze vaker wél of niet geleverd zijn. Wanneer een regel wordt geactiveerd in deze beheertabel, worden er automatisch 25 gegenereerde zinnen met die woordcombinatie toegevoegd aan de bijtrainingsset.
| |
| |}
| |
|
| |
|
| == Bibliotheek normen Artificial Intelligence == | | == Bibliotheek normen Artificial Intelligence == |
| In de zorgsector is nauwkeurige verslaglegging niet enkel een administratieve handeling, maar vormt het ook de basis voor het vaststellen van de rechtmatigheid van geregistreerde zorg, evenals het identificeren van mogelijke gemiste registratie van geleverde diensten. Het handmatig doorlopen en controleren van deze omvangrijke verslagleggingen is echter een arbeidsintensief proces, dat zowel tijdsgebonden als kostbaar kan zijn. ValueCare erkent de behoefte aan een efficiëntere aanpak en heeft daarom geïnvesteerd in de kracht van Artificial Intelligence. Met behulp van geavanceerde AI-modellen kunnen verslagleggingen snel en accuraat worden geanalyseerd. In het volgende overzicht presenteren we de normen die gebruik maken van de getrainde ValueCare-taalmodellen die specifiek zijn ontwikkeld om de integriteit van de registratie te waarborgen. | | In de zorgsector is nauwkeurige verslaglegging niet enkel een administratieve handeling, maar vormt het ook de basis voor het vaststellen van de rechtmatigheid van geregistreerde zorg, evenals het identificeren van mogelijke gemiste registratie van geleverde diensten. Het handmatig doorlopen en controleren van deze omvangrijke verslagleggingen is echter een arbeidsintensief proces, dat zowel tijdsgebonden als kostbaar kan zijn. ValueCare erkent de behoefte aan een efficiëntere aanpak en heeft daarom geïnvesteerd in de kracht van Artificial Intelligence. Met behulp van geavanceerde AI-modellen kunnen verslagleggingen snel en accuraat worden geanalyseerd. In het volgende overzicht presenteren we de normen die gebruik maken van de getrainde ValueCare-taalmodellen die specifiek zijn ontwikkeld om de integriteit van de registratie te waarborgen. |
| | |
| | === Taalmodellen en Large Language model normen === |
| | Hieronder is de lijst te vinden van de AI-normen, zowel de taalmodel- als de LLM-versie. In de kolom erna staat weergegeven of deze normen te gebruiken zijn binnen HT, en dus geauditeerd zijn. |
| {| class="wikitable" border="1" cellspacing="1" cellpadding="1" style="width:1600px;" | | {| class="wikitable" border="1" cellspacing="1" cellpadding="1" style="width:1600px;" |
| |- | | |- |
| | |Nr |
| | style="width: 650px;" |<span>'''Normomschrijving'''</span> | | | style="width: 650px;" |<span>'''Normomschrijving'''</span> |
| | style="width: 125px; " |'''Type controle''' | | | style="width: 125px; " |'''Taalmodel versie''' |
| | |'''HT''' |
| | |'''LLM versie (in ontwikkeling)''' |
| | |'''HT''' |
| |'''Soort controle''' | | |'''Soort controle''' |
| |'''Bekostiging''' | | |'''Bekostiging''' |
| Regel 118: |
Regel 42: |
| | style="width: 100px; " |<span>'''Planning'''</span> | | | style="width: 100px; " |<span>'''Planning'''</span> |
| |- | | |- |
| | | |
| | | |
| | | |
| | | |
| | | | | |
| | | | | |
| Regel 125: |
Regel 53: |
| | | | | |
| |- | | |- |
| | | |
| |'''Consulten en toeslagen''' | | |'''Consulten en toeslagen''' |
| | | |
| | | |
| | | |
| | | | | |
| | | | | |
| Regel 132: |
Regel 64: |
| | | | | |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijk onterechte registratie van telefonisch consult (N6400)]] | | | |
| |Taalmodel | | |Verslaglegging niet te beoordelen door model |
| | |NVT |
| | | |
| | |[[Verslaglegging niet te beoordelen door model (N6499)|N6499]] |
| | | |
| | | |
| | | |
| | | |
| | | |
| | |- |
| | |00 |
| | |Verslaglegging duidt op mogelijk onterechte registratie van telefonisch consult |
| | |[[N6400]] |
| | |Ja |
| | |N6500 (in ontwikkeling) |
| | | |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| Regel 139: |
Regel 86: |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijk gemiste registratie van telefonisch consult (N6401)]] | | |01 |
| |Taalmodel | | |Verslaglegging duidt op mogelijk gemiste registratie van telefonisch consult |
| | |[[N6401]] |
| | |Ja |
| | |N6501 (in ontwikkeling) |
| | | |
| |Volledigheid | | |Volledigheid |
| |ZPM | | |ZPM |
| Regel 146: |
Regel 97: |
| |Afgerond | | |Afgerond |
| |- | | |- |
| | style="width: 500px;" |[[Verslaglegging duidt op mogelijk onterechte registratie van consult (N6403)]] | | |02 |
| | style="width: 125px;" |Taalmodel | | |Verslaglegging duidt op mogelijk incorrecte behandelinhoudelijkheid bij registratie van consult |
| | |NVT |
| | | |
| | |[[N6502]] |
| | | |
| | |Rechtmatigheid |
| | |ZPM |
| | |Opgeleverd |
| | |Afgerond |
| | |- |
| | |03 |
| | | style="width: 500px;" |Verslaglegging duidt op mogelijk onterechte registratie van consult |
| | | style="width: 125px;" |[[Verslaglegging duidt op mogelijk onterechte registratie van consult (N6403)|N6403]] |
| | |Ja |
| | |[[N6503]] |
| | | |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| Regel 153: |
Regel 119: |
| | style="width: 100px;" |Afgerond | | | style="width: 100px;" |Afgerond |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijk gemiste registratie van consult (N6404)]] | | |04 |
| |Taalmodel | | |Verslaglegging duidt op mogelijk gemiste registratie van consult |
| | |[[Verslaglegging duidt op mogelijk gemiste registratie van consult (N6404)|N6404]] |
| | | |
| | |[[Verslaglegging duidt op mogelijk gemiste registratie van consult (N6504)|N6504]] |
| | | |
| |Volledigheid | | |Volledigheid |
| |ZPM | | |ZPM |
| Regel 160: |
Regel 130: |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijk onjuiste registratie van een diagnostiekconsult (N6407)]] | | |07 |
| |Taalmodel | | |Verslaglegging duidt op mogelijk onjuiste registratie van een diagnostiekconsult |
| | |[[N6407]] |
| | | |
| | |N6507 (in ontwikkeling) |
| | | |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| Regel 167: |
Regel 141: |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijk onjuiste registratie van een behandelconsult (N6408)]] | | |08 |
| |Taalmodel | | |Verslaglegging duidt op mogelijk onjuiste registratie van een behandelconsult |
| | |[[N6408]] |
| | | |
| | |N6508 (in ontwikkeling) |
| | | |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| Regel 174: |
Regel 152: |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijk onjuiste registratie van een crisisconsult (N6409)]] | | |18 |
| |Taalmodel | | |Verslaglegging duidt op onterecht diagnostiekconsult ná vastlegging diagnose |
| | | |
| | | |
| | |[[N6518]] |
| | | |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| Regel 181: |
Regel 163: |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijke onterechte registratie van een toeslag tolk (N6412)|Verslaglegging duidt op mogelijk onterechte registratie van een toeslag tolk (N6412)]] | | |09 |
| |Taalmodel | | |Verslaglegging duidt op mogelijk onjuiste registratie van een crisisconsult |
| | |[[N6409]] |
| | | |
| | | |
| | | |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| Regel 188: |
Regel 174: |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijk gemiste registratie van een toeslag tolk (N6413)]] | | |12 |
| |Taalmodel | | |Verslaglegging duidt op mogelijk onterechte registratie van een toeslag tolk |
| |Volledigheid | | |[[Verslaglegging duidt op mogelijk onterechte registratie van een toeslag tolk (N6412)|N6412]] |
| | | |
| | | |
| | | |
| | |Rechtmatigheid |
| |ZPM | | |ZPM |
| |Opgeleverd | | |Opgeleverd |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |[[Belcontact duidt op gemist (declarabel) consult (N4000)|Belcontact duidt op gemist declarabel consult (N4000)]] | | |13 |
| |Datafusie | | |Verslaglegging duidt op mogelijk gemiste registratie van een toeslag tolk |
| | |[[Verslaglegging duidt op mogelijk gemiste registratie van een toeslag tolk (N6413)|N6413]] |
| | | |
| | | |
| | | |
| |Volledigheid | | |Volledigheid |
| |ZPM | | |ZPM |
| Regel 202: |
Regel 196: |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |[[Duur belcontact wijkt af van duur geregistreerd telefonisch consult (N4001)]] | | |14 |
| |Datafusie | | |Verslaglegging duidt op mogelijk onterechte registratie van groepsconsult |
| | |[[N6414]] |
| | | |
| | | |
| | | |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| Regel 209: |
Regel 207: |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |[[Onjuist contactsoort geregistreerd bij telefonisch consult (N4002)]] | | |15 |
| |Datafusie
| | |Verslaglegging duidt op mogelijk gemiste registratie van groepsconsult |
| |Rechtmatigheid
| | |[[N6415]] |
| |ZPM
| | | |
| |Opgeleverd
| | | |
| |Afgerond
| | | |
| |- | | |Volledigheid |
| |[[Belcontact vindt plaats tijdens consult met andere patiënt (overlap) (N4003)]] | |
| |Datafusie | |
| |Rechtmatigheid
| |
| |ZPM
| |
| |Opgeleverd
| |
| |Afgerond
| |
| |-
| |
| |[[Telefonisch consult geregistreerd zonder belcontact in mobiele data (N4004)]] | |
| |Datafusie | |
| |Rechtmatigheid | |
| |ZPM | | |ZPM |
| |Opgeleverd | | |Opgeleverd |
| |Afgerond | | |Afgerond |
| |- | | |- |
| | | |
| |Toeslag oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) ontbreekt | | |Toeslag oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) ontbreekt |
| |Taalmodel | | | |
| | | |
| | | |
| | | |
| |Volledigheid | | |Volledigheid |
| |ZPM | | |ZPM |
| Regel 237: |
Regel 229: |
| |n.t.b. | | |n.t.b. |
| |- | | |- |
| | | |
| |Afspraak houdt geen verband met ECT | | |Afspraak houdt geen verband met ECT |
| |Taalmodel | | | |
| | | |
| | | |
| | | |
| |Volledigheid | | |Volledigheid |
| |ZPM | | |ZPM |
| Regel 244: |
Regel 240: |
| |n.t.b. | | |n.t.b. |
| |- | | |- |
| | | |
| |Toeslag psychodiagnostiek ontbreekt | | |Toeslag psychodiagnostiek ontbreekt |
| |Taalmodel | | | |
| | | |
| | | |
| | | |
| |Volledigheid | | |Volledigheid |
| |ZPM | | |ZPM |
| Regel 251: |
Regel 251: |
| |n.t.b. | | |n.t.b. |
| |- | | |- |
| | | |
| | | |
| | | |
| | | |
| | | | | |
| | | | | |
| Regel 258: |
Regel 262: |
| | | | | |
| |- | | |- |
| |'''Planning is realisatie''' | | | |
| | |'''Verblijf''' |
| | | |
| | | |
| | | |
| | | | | |
| | | | | |
| Regel 265: |
Regel 273: |
| | | | | |
| |- | | |- |
| |Contact feitelijk geleverd, maar contactduur ongewijzigd bij afwijking > 15 minuten | | |05 |
| |Datafusie | | |Verslaglegging duidt op mogelijk onterechte registratie van verblijfsdag |
| | |[[Verslaglegging duidt op mogelijk onterechte registratie van verblijfsdag (N6405)|N6405]] |
| | |Ja |
| | |[[N6505]] |
| | | |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| |Ontwerpen | | |Opgeleverd |
| |Vooralsnog niet mogelijk, alleen via N4001. | | |Afgerond |
| | |- |
| | |06 |
| | |Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag |
| | |[[Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag (N6406)|N6406]] |
| | | |
| | |[[N6506]] |
| | | |
| | |Volledigheid |
| | |ZPM |
| | |Opgeleverd |
| | |Afgerond |
| |- | | |- |
| |Contact feitelijk geleverd, maar contactduur gewijzigd bij verandering <15 minuten | | | |
| |Datafusie | | |Oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) |
| | | |
| | | |
| | | |
| | | |
| |Volledigheid | | |Volledigheid |
| |ZPM | | |ZPM |
| |Ontwerpen | | |Ontwerpen |
| |Q4 2025 | | |n.t.b. |
| |- | | |- |
| | | |
| | | |
| | | |
| | | |
| | | | | |
| | | | | |
| Regel 286: |
Regel 317: |
| | | | | |
| |- | | |- |
| |'''Verblijf''' | | | |
| | |'''Overige prestaties''' |
| | | |
| | | |
| | | |
| | | | | |
| | | | | |
| Regel 293: |
Regel 328: |
| | | | | |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijk onterechte registratie van verblijfsdag (N6405)]] | | |10 |
| |Taalmodel | | |Verslaglegging duidt op mogelijk onterechte registratie van reistijd (N6410) |
| | |[[Verslaglegging duidt op mogelijk onterechte registratie van reistijd (N6410)|N6410]] |
| | | |
| | |[[N6510]] |
| | | |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| |Opgeleverd | | |Opgeleverd |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag (N6406)]] | | |11 |
| |Taalmodel | | |Verslaglegging duidt op mogelijk gemiste registratie van reistijd (N6411) |
| | |[[N6411]] |
| | | |
| | |[[N6511]] |
| | | |
| |Volledigheid | | |Volledigheid |
| |ZPM | | |ZPM |
| Regel 307: |
Regel 350: |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |Patiënt in WiFi zonder aanwezigheidsdag | | | |
| |Datafusie | | |Afspraak duidt op consultatie ggz door sociaal domein |
| | | |
| | | |
| | | |
| | | |
| |Volledigheid | | |Volledigheid |
| |ZPM | | |ZPM |
| Regel 314: |
Regel 361: |
| |n.t.b. | | |n.t.b. |
| |- | | |- |
| |Patiënt buiten WiFi met aanwezigheidsdag | | | |
| |Datafusie | | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | |- |
| | | |
| | |'''Aanspraak & Onverzekerde zorg''' |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | |- |
| | | |
| | |Jaarlijkse beloofbrief aan de huisarts staat in concept |
| | | |
| | | |
| | | |
| | | |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| Regel 321: |
Regel 394: |
| |n.t.b. | | |n.t.b. |
| |- | | |- |
| |Oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) | | | |
| |Taalmodel | | |Feitelijke geleverde zorg duidt op te lage indicatie |
| | | |
| | | |
| | | |
| | | |
| |Volledigheid | | |Volledigheid |
| |ZPM | | |LZ |
| |Ontwerpen | | |Ontwerpen |
| |n.t.b. | | |n.t.b. |
| | |- |
| | | |
| | |Feitelijke geleverde zorg duidt op te hoge indicatie |
| | | |
| | | |
| | | |
| | | |
| | |Rechtmatigheid |
| | |LZ |
| | |Ontwerpen |
| | |n.t.b. |
| | |} |
| | |
| | === Datafusie === |
| | {| class="wikitable" border="1" cellspacing="1" cellpadding="1" style="width:1600px;" |
| | |<span>'''Normomschrijving'''</span> |
| | |'''Type controle''' |
| | |'''Soort controle''' |
| | |'''Bekostiging''' |
| | |<span>'''Status'''</span> |
| | |<span>'''Planning'''</span> |
| |- | | |- |
| | | | | |
| Regel 335: |
Regel 433: |
| | | | | |
| |- | | |- |
| |'''Aanspraak & Onverzekerde zorg''' | | |'''Consulten en toeslagen''' |
| | | | | |
| | | | | |
| Regel 342: |
Regel 440: |
| | | | | |
| |- | | |- |
| |Verwijsdatum niet juist overgenomen in EPD (N6420) | | |[[Belcontact duidt op gemist (declarabel) consult (N4000)|Belcontact duidt op gemist declarabel consult (N4000)]] |
| |Taalmodel/PDF-scan verwijsbrief | | |Datafusie |
| | |Volledigheid |
| | |ZPM |
| | |Opgeleverd |
| | |Afgerond |
| | |- |
| | |[[Duur belcontact wijkt af van duur geregistreerd telefonisch consult (N4001)]] |
| | |Datafusie |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| |Ontwerpen | | |Opgeleverd |
| |Q4 2025 | | |Afgerond |
| |- | | |- |
| |Verwijzer niet juist overgenomen in EPD (N6421) | | |[[Onjuist contactsoort geregistreerd bij telefonisch consult (N4002)]] |
| |Taalmodel/PDF-scan verwijsbrief | | |Datafusie |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| |Ontwerpen | | |Opgeleverd |
| |Q4 2025 | | |Afgerond |
| |- | | |- |
| |Aanmelddatum niet juist overgenomen in EPD (N6422) | | |[[Belcontact vindt plaats tijdens consult met andere patiënt (overlap) (N4003)]] |
| |Taalmodel/PDF-scan verwijsbrief | | |Datafusie |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| |Ontwerpen | | |Opgeleverd |
| |Q4 2025 | | |Afgerond |
| |- | | |- |
| |Vastlegging AGB-code verwijzer niet juist vastgelegd in EPD (N6423) | | |[[Telefonisch consult geregistreerd zonder belcontact in mobiele data (N4004)]] |
| |Taalmodel/PDF-scan verwijsbrief | | |Datafusie |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| |Ontwerpen | | |Opgeleverd |
| |Q4 2025 | | |Afgerond |
| | |- |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | |- |
| | |'''Planning is realisatie''' |
| | | |
| | | |
| | | |
| | | |
| | | |
| |- | | |- |
| |Vastlegging type verwijzer niet juist vastgelegd in EPD (N6424) | | |Contact feitelijk geleverd, maar contactduur ongewijzigd bij afwijking > 15 minuten |
| |Taalmodel/PDF-scan verwijsbrief | | |Datafusie |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| |Ontwerpen | | |Ontwerpen |
| |Q4 2025 | | |Vooralsnog niet mogelijk, alleen via N4001. |
| |- | | |- |
| |Jaarlijkse beloofbrief aan de huisarts staat in concept | | |Contact feitelijk geleverd, maar contactduur gewijzigd bij verandering <15 minuten |
| |Taalmodel | | |Datafusie |
| |Rechtmatigheid | | |Volledigheid |
| |ZPM | | |ZPM |
| |Ontwerpen | | |Ontwerpen |
| |n.t.b. | | |Q4 2025 |
| | |- |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | |- |
| | |'''Verblijf''' |
| | | |
| | | |
| | | |
| | | |
| | | |
| |- | | |- |
| |Feitelijke geleverde zorg duidt op te lage indicatie | | |Patiënt in WiFi zonder aanwezigheidsdag |
| |Taalmodel | | |Datafusie |
| |Volledigheid | | |Volledigheid |
| |LZ | | |ZPM |
| |Ontwerpen | | |Ontwerpen |
| |n.t.b. | | |n.t.b. |
| |- | | |- |
| |Feitelijke geleverde zorg duidt op te hoge indicatie | | |Patiënt buiten WiFi met aanwezigheidsdag |
| |Taalmodel | | |Datafusie |
| |Rechtmatigheid | | |Rechtmatigheid |
| |LZ | | |ZPM |
| |Ontwerpen | | |Ontwerpen |
| |n.t.b. | | |n.t.b. |
| Regel 412: |
Regel 545: |
| | | | | |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijk onterechte registratie van reistijd (N6410)]] | | |Behandelaar op externe locatie zonder reistijd |
| |Taalmodel | | |Datafusie |
| | |Volledigheid |
| | |ZPM |
| | |Ontwerpen |
| | |n.t.b. |
| | |- |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | |- |
| | |'''Aanspraak & Onverzekerde zorg''' |
| | | |
| | | |
| | | |
| | | |
| | | |
| | |- |
| | |[[Verwijsdatum niet juist overgenomen in EPD (N6420)]] |
| | |Taalmodel/PDF-scan verwijsbrief |
| |Rechtmatigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| Regel 419: |
Regel 573: |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |[[Verslaglegging duidt op mogelijk gemiste registratie van reistijd (N6411)]] | | |Verwijzer niet juist overgenomen in EPD (N6421) |
| |Taalmodel | | |Taalmodel/PDF-scan verwijsbrief |
| |Volledigheid | | |Rechtmatigheid |
| | |ZPM |
| | |Ontwerpen |
| | |Q4 2025 |
| | |- |
| | |[[Vastlegging AGB-code verwijzer niet juist vastgelegd in EPD (N6423)]] |
| | |Taalmodel/PDF-scan verwijsbrief |
| | |Rechtmatigheid |
| |ZPM | | |ZPM |
| |Opgeleverd | | |Opgeleverd |
| |Afgerond | | |Afgerond |
| |- | | |- |
| |Afspraak duidt op consultatie ggz door sociaal domein | | |Vastlegging type verwijzer niet juist vastgelegd in EPD (N6424) |
| |Taalmodel | | |Taalmodel/PDF-scan verwijsbrief |
| |Volledigheid | | |Rechtmatigheid |
| |ZPM | | |ZPM |
| |Ontwerpen | | |Ontwerpen |
| |n.t.b. | | |Q4 2025 |
| | |} |
| | |
| | == Beheer AI: modelversies toelichting waarden == |
| | Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score. |
| | |
| | '''F1 score:''' de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft. |
| | |
| | * '''Precisie''''':'' hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven. |
| | * '''Recall''' ''(volledigheid):'' hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist. |
| | * '''Accuratesse''''':'' het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn. |
| | * '''Specificiteit''''':'' een waarde die de kans op een negatief resultaat weergeeft, ook wel '''true negative rate'''. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd. |
| | * '''Aantal prediction categorieën''': hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2. |
| | |
| | ==== Beheer en risicobeheersing van AI-controles ==== |
| | Het beheer van de controles op het taalmodel vindt plaats via een aantal specifieke beheermodules, gericht op transparantie en risicobeheersing: |
| | {| class="wikitable" |
| | !Beheerfunctie |
| | !Omschrijving |
| | |- |
| | |Beheer Risicobeheersing Taalmodel: Model versie |
| | |Mogelijkheid om de verschillende (historische) modelversies (en bovengenoemde parameters) in te zien. |
| | |- |
| | |Beheer Risicobeheersing Taalmodel: Training instellingen |
| | |Inzicht en beheer van de instellingen waarmee het model is getraind. |
| | |- |
| | |Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling |
| | |Instellingen kunnen hier de training- en testset beoordelen; deze beoordeling wordt vervolgens gebruikt als basis voor het trainen van het taalmodel. |
| | |- |
| | |Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling actielijst |
| | |Inzien van verslaglegging over acties die (in test of productie) worden gesignaleerd binnen de taalmodelcontroles. |
| | |- |
| | |Beheer Risicobeheersing Taalmodel: Bijtrainingssets |
| | |Overzicht van de regels die in (toekomstige) bijtrainingsfases worden ingezet. |
| |- | | |- |
| |Behandelaar op externe locatie zonder reistijd | | |Beheer Risicobeheersing Taalmodel: Feitelijke levering bijtrainingsbibliotheek |
| |Datafusie | | |Hier worden standaard woord(combinaties) weergegeven die frequent voorkomen binnen instellingen en of deze vaker wél of niet geleverd zijn. Wanneer een regel wordt geactiveerd in deze beheertabel, worden er automatisch 25 gegenereerde zinnen met die woordcombinatie toegevoegd aan de bijtrainingsset. |
| |Volledigheid
| |
| |ZPM
| |
| |Ontwerpen
| |
| |n.t.b.
| |
| |} | | |} |
|
| |
|
| Regel 448: |
Regel 638: |
| |- | | |- |
| |GGZ_HT_AI_INSTELLING | | |GGZ_HT_AI_INSTELLING |
| |Is uw organisatie een AI-instelling? | | |Maakt uw organisatie gebruik van AI bij ValueCare? |
| |Nee | | |Nee |
| |- | | |- |
| Regel 505: |
Regel 695: |
|
| |
|
| == Vragen en antwoorden (Q&A) == | | == Vragen en antwoorden (Q&A) == |
| | | Voor de vragen en antwoorden (Q&A), ga naar [[AI GGZ - Vragen en antwoorden (Q&A)]] |
| ==== Algemeen ====
| |
| {| class="wikitable"
| |
| !Q: Hoe werkt een taalmodel?
| |
| |-
| |
| |A: Een taalmodel is slimme software die is getraind op grote hoeveelheden tekst. Het model leert patronen en verbanden herkennen doordat mensen voorbeeldverslagen beoordelen. Zo kan het beoordelen of een verslag voldoet aan de eisen voor rechtmatige registratie op basis van specifieke woorden, zinsstructuren en context.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Heeft ValueCare werkinstructies of handleidingen rondom de werking van het taalmodel?
| |
| |-
| |
| |A: Ja. Op Normenkaderzorg staat een stappenplan voor implementatie, er is een ISAE-certificering die de techniek achter het taalmodel beschrijft en ValueCare heeft een implementatieplan met scenario’s, op te vragen bij ValueCare.
| |
| |}
| |
| ----
| |
| | |
| ==== Trainingset ====
| |
| {| class="wikitable"
| |
| !Q: Wat zit in de controlemassa van de rechtmatigheids- en volledigheidsnormen?
| |
| |-
| |
| |A: Voor gepaarde rechtmatigheids- en volledigheidscontroles wordt voor zowel trainings- als testset dezelfde onderzoeksmassa gebruikt en getraind op deze gezamenlijke dataset. Rechtmatigheid kijkt naar declarabele posten en volledigheid naar niet-declarabele posten.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Welke gebruikers hebben toegang tot de trainingset en tekstverslagen?
| |
| |-
| |
| |A: Alleen medewerkers met het recht ‘inzage gevoelige info’ kunnen deze inzien via het portaal en de beheertabel ‘Rechten per gebruiker’.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Hoe beoordeel ik een trainingset?
| |
| |-
| |
| |A: Kies ‘waar’ als de cliënt aanwezig en het contact behandelinhoudelijk is. Kies ‘onwaar’ als dit niet uit het verslag blijkt. Beoordeel alleen het getoonde verslag, zonder andere documenten te raadplegen.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Waar moet ik op letten bij het beoordelen van een trainingset?
| |
| |-
| |
| |A: Zorg voor consistentie, spreek vooraf duidelijke beoordelingscriteria af en pas deze consequent toe, zeker als meerdere mensen beoordelen.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Waarom zitten er niet-declarabele posten in de trainingset?
| |
| |-
| |
| |A: Zodat het model leert het verschil te herkennen tussen declarabele en niet-declarabele verslagen en beide categorieën kan onderscheiden.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Wordt er voor de rechtmatigheids- en volledigheidscontrole afzonderlijk een model getraind?
| |
| |-
| |
| |A: Nee, voor beide controles van hetzelfde onderwerp wordt één model getraind.
| |
| |}
| |
| ----
| |
| | |
| ==== Validatie en in productiename ====
| |
| {| class="wikitable"
| |
| !Q: Hoe wordt een taalmodel gevalideerd?
| |
| |-
| |
| |A: De testset wordt zowel door AI als door mensen beoordeeld; de resultaten worden vergeleken om te controleren of het model betrouwbaar presteert.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Wat is de gemiddelde doorlooptijd van het voorspellen van verslagen?
| |
| |-
| |
| |A: Dit verschilt per instelling en hoeveelheid data, maar duurt gemiddeld enkele dagen; de startdatum kan worden aangepast om de massa te beperken.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Vanaf welk percentage is het handig om in productie te nemen?
| |
| |-
| |
| |A: ValueCare adviseert per versie van het model vanaf welk kanspercentage signalering verstandig is; dit wordt afgestemd met de consultant.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Kunnen we textmining inzetten binnen de AI-controles?
| |
| |-
| |
| |A: Ja, met een parameter kunnen bepaalde woorden/woordreeksen automatisch worden goed- of afgekeurd; dit werkt alleen bij exacte overeenkomsten in korte tekstverslagen (max. 20 tokens).
| |
| |}
| |
| ----
| |
| | |
| ==== Kans ====
| |
| {| class="wikitable"
| |
| !Q: Wat betekent de kans?
| |
| |-
| |
| |A: De kans geeft aan hoe groot volgens het model de waarschijnlijkheid is dat een GGZ-prestatie daadwerkelijk is geleverd, op basis van tekstpatronen.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Hoe wordt de kans berekend/bepaald?
| |
| |-
| |
| |A: Het model vergelijkt nieuwe verslagen met eerder beoordeelde teksten en drukt de overeenkomst uit in een kanspercentage.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Waarom krijgt een verslag met bijvoorbeeld ‘no show’ een lage kans?
| |
| |-
| |
| |A: Omdat het model behalve op het woord let op de context en woordvolgorde; bovendien zijn er mogelijk weinig ‘no show’ verslagen in de trainingset, waardoor het model deze minder goed herkent.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Als het verslag wordt aangepast, wordt de kansberekening dan opnieuw uitgevoerd?
| |
| |-
| |
| |A: Ja, het verslag wordt dan opnieuw beoordeeld door het taalmodel.
| |
| |}
| |
| ----
| |
| | |
| ==== Actielijst ====
| |
| {| class="wikitable"
| |
| !Q: Hoe wordt het tekstverslag aan de actie gekoppeld?
| |
| |-
| |
| |A: Voor consulten via het verslag aan de afspraak; voor verblijfsdagen worden rapportages uit een tijdsvak samengevoegd en als één dossier beoordeeld.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Hoe werkt dit bij consulten met meerdere behandelaren?
| |
| |-
| |
| |A: Bij één afspraak met meerdere behandelaren wordt het verslag met de hoogste kans getoond; bij verschillende afspraken worden ze apart beoordeeld en weergegeven.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Wie gaat de acties oplossen?
| |
| |-
| |
| |A: Dit kan centraal of decentraal; zie het ValueCare implementatieplan voor scenario’s.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Hoe moet ik de foutieve acties oplossen?
| |
| |-
| |
| |A: Markeer als ‘AI Onjuist’ of ‘AI Juist’, of zet de actie op 'Behandeld' en pas de bronregistratie aan als de actie terecht is.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Hoeveel karakters worden er maximaal getoond per verslagregel?
| |
| |-
| |
| |A: Maximaal 500 karakters per verslagregel.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Kunnen beoordelaars in de trainingset onderscheid maken tussen declarabele en niet-declarabele posten?
| |
| |-
| |
| |A: Nee, de beoordeling vindt plaats op basis van het getoonde verslag, zonder naar de registratie te kijken.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Hoezo stroomt er in september nog een actie in van januari?
| |
| |-
| |
| |A: Dit kan komen door aanpassingen in de data, wijziging van het contact/verslag, parameterwijzigingen of correcties door ValueCare of de instelling.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Is het mogelijk om automatisch steekproeven te trekken op genegeerde acties van AI-controles (t.b.v. HT)?
| |
| |-
| |
| |A: Ja, voor instellingen met de HT-module kunnen er automatisch per norm per kwartaal posten geselecteerd worden voor 3e-lijns controle.
| |
| |}
| |
| ----
| |
| | |
| ==== Bijtrainen taalmodel ====
| |
| {| class="wikitable"
| |
| !Q: Hoe werkt het bijtrainen?
| |
| |-
| |
| |A: Nieuwe beoordelingen worden aan het model toegevoegd, waarna het model opnieuw leert. Bij minimaal 150 juiste en 150 onjuiste acties kan automatisch bijtrainen gestart worden.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Ondanks bijtrainen kom ik nog steeds bepaalde onjuiste signaleringen tegen. Hoe kan dat?
| |
| |-
| |
| |A: Het model herkent sommige patronen nog niet goed; gericht bijtrainen op specifieke onderwerpen helpt.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Wat gebeurt er met de huidige actielijst als een taalmodel wordt bijgetraind?
| |
| |-
| |
| |A: Het oude model blijft actief totdat alle verslagen zijn voorspeld met het nieuwe model; daarna kan het direct live gezet worden of na goedkeuring.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Waarom moeten we bijtrainen? We hebben toch al 1500 regels beoordeeld en als input gebruikt?
| |
| |-
| |
| |A: Omdat niet alle scenario’s voorkomen in de eerste trainingset; bijtrainen is nodig om het model beter te laten presteren op meer situaties.
| |
| |}
| |
| {| class="wikitable"
| |
| !Q: Hoe kan het dat een model slechter gaat presteren (bijvoorbeeld een lagere F1-score krijgt) na vaker trainen?
| |
| |-
| |
| |A: Oorzaak kan zijn inconsistente labeling van extra data of overfitting op trainingsvoorbeelden, waardoor het model slecht generaliseert naar nieuwe gevallen.
| |
| |}
| |
| | |
| === Algemeen ===
| |
| Q: Hoe werkt een taalmodel?
| |
| | |
| '''A:''' Een taalmodel is slimme software die is getraind op grote hoeveelheden tekst. Het trainen van zo’n model gebeurt door voorbeeldverslagen te laten beoordelen door een mens. Zo leert het model patronen en verbanden in taal te herkennen. Als het taalmodel een verslag onderzoekt, kijkt het bijvoorbeeld naar specifieke woorden, zinsstructuren en de context waarin informatie wordt beschreven. Zo kan het model beoordelen of het verslag voldoet aan de eisen voor rechtmatige registratie. Het is belangrijk om te realiseren dat de input die wordt verzameld tijdens het trainen van het model, de uiteindelijke output bepaalt.
| |
| | |
| Q: Heeft ValueCare werkinstructies of handleidingen rondom de werking van het taalmodel.
| |
| | |
| '''A:''' Ja. Op Normenkaderzorg staat een stappenplan voor implementatie. Daarnaast is er een ISAE-certificering waarin wordt uitgelegd hoe de techniek achter het taalmodel werkt. Tot slot heeft ValueCare een implementatieplan opgesteld waarin verschillende scenario’s staan beschreven. Dit plan kun je opvragen bij Mischa Stas.
| |
| | |
| === Trainingset ===
| |
| Q: Wat zit in de controlemassa van de rechtmatigheid- volledigheids normen | |
| | |
| '''A:''' Bij gepaarde rechtmatigheids- en volledigheidscontroles wordt voor zowel de trainings- als testset dezelfde onderzoeksmassa gebruikt. Bijvoorbeeld: bij de controles N6403 (rechtmatigheid) en N6404 (volledigheid) bestaat de onderzoeksmassa uit dezelfde contacten. Het model wordt dus getraind op deze gezamenlijke dataset. Binnen de normen zelf wordt voor rechtmatigheid gekeken naar declarabele contacten (of verblijfsdagen, reistijd, etc.) als controlemassa en voor volledigheid juist naar niet-declarabele contacten (verblijfsdagen, reistijd, etc.).
| |
| | |
| Q: Welke gebruikers hebben toegang tot de trainingset en tekstverslagen?
| |
| | |
| '''A:''' Alleen medewerkers die beschikken over het recht ‘inzage gevoelige info’ kunnen de trainingset en tekstverslagen bekijken in het portaal. Dit recht kan per gebruiker worden toegekend via de beheertabel ‘Rechten per gebruiker’
| |
| | |
| Q: Hoe beoordeel ik een trainingset?
| |
| | |
| '''A:'''
| |
| | |
| * '''WAAR''': Kies 'waar' als uit het verslag blijkt dat de cliënt aanwezig was én het contact behandelinhoudelijk is.
| |
| | |
| * '''ONWAAR''': Kies 'onwaar' als uit het verslag niet blijkt dat de cliënt aanwezig is, of als het verslag niet behandelinhoudelijk is.
| |
| | |
| * Let op: Beoordeel uitsluitend het getoonde verslag; andere documenten of informatie hoeven niet meegenomen te worden in de beoordeling
| |
| | |
| Q: Waar moet ik op letten bij het beoordelen van een trainingset?
| |
| | |
| '''A:''' Consistentie is belangrijk. Maak vooraf duidelijke afspraken over hoe je bepaalde situaties beoordeelt en pas deze afspraken altijd op dezelfde manier toe. Dit is extra belangrijk als meerdere medewerkers de trainingset beoordelen, zodat de resultaten betrouwbaar en vergelijkbaar zijn. De ervaring leert dat er soms kleine verschillen zijn tussen een rechtmatig en een onrechtmatig verslag. Een structureel eenduidige beoordeling is cruciaal om nuanceverschillen te kunnen duiden.
| |
| | |
| Q: Waarom zitten er niet-declarabele posten in de trainingset?
| |
| | |
| '''A:''' Niet-declarabele posten zijn bewust opgenomen in de trainingset zodat het taalmodel leert het verschil te herkennen tussen declarabele en niet-declarabele verslagen. Tijdens het beoordelen geef je duidelijk aan of een verslag declarabel of niet-declarabel is, zodat het model beide categorieën juist kan onderscheiden.
| |
| | |
| Q: Wordt er voor de rechtmatigheidscontrole en volledigheidscontrole afzonderlijk een model getraind? ''' '''
| |
| | |
| '''A:''' Nee, Voor zowel de rechtmatigheidscontrole als de volledigheidscontrole van hetzelfde onderwerp (bijvoorbeeld telefonische consulten) wordt één model getraind.
| |
| | |
| === Validatie en in productie name ===
| |
| Q: Hoe wordt een taalmodel gevalideerd?
| |
| | |
| '''A:''' Nadat het model is getraind met de door medewerkers beoordeelde trainingset, wordt een testset samengesteld. Deze testset wordt zowel door AI als door mensen beoordeeld. De resultaten van het model worden vervolgens vergeleken met de menselijke beoordelingen. Op deze manier wordt gecontroleerd of het taalmodel betrouwbaar presteert.
| |
| | |
| Q: Wat is de gemiddelde doorlooptijd van het voorspellen van verslagen?
| |
| | |
| '''A:''' Dit varieert sterk per geval. Het hangt af van de grootte van de instelling en van de omvang van de massa die de instelling wil laten voorspellen. Door de startdatum aan te passen, kun je de massa eventueel beperken. Gemiddeld duurt het enkele dagen voordat de volledige massa is voorspeld.
| |
| | |
| Q: Vanaf welk percentage is het handig om in productie te nemen?
| |
| | |
| '''A:''' ValueCare kan per taalmodel (versie) aangeven vanaf welk percentage het verstandig is om de controles te laten signaleren. De consultant zal dit samen met de instelling afstemmen.
| |
| | |
| Q: Kunnen we textmining inzetten binnen de AI-controles?
| |
| | |
| '''A:''' Ja, textmining kan worden toegepast binnen de AI-controles. Met behulp van een parameter kun je instellen dat bepaalde woorden of woordreeksen automatisch worden goed- of afgekeurd. Houd er rekening mee dat dit alleen werkt voor exacte overeenkomsten en slechts mogelijk is bij korte tekstverslagen (maximaal 20 tokens).
| |
| | |
| Kans
| |
| | |
| Q: Wat betekent de kans?
| |
| | |
| '''A:''' Een taalmodel bepaalt op basis van tekst en de volgorde van woorden en zinnen (woordvolgordelijkheid) het kanspercentage dat een GGZ-prestatie daadwerkelijk is geleverd. Dit percentage geeft de inschatting van het model weer, gebaseerd op patronen uit eerder beoordeelde tekstverslagen.
| |
| | |
| Q: Hoe wordt de kans berekend/bepaald?
| |
| | |
| '''A:''' Het taalmodel is getraind op een grote hoeveelheid tekstverslagen waarvan bekend is of de GGZ-prestatie daadwerkelijk geleverd is of niet. Tijdens deze training leert het model om specifieke patronen, woordkeuzes en volgordes van woorden te herkennen die typerend zijn voor daadwerkelijk uitgevoerde consulten.
| |
| | |
| Wanneer het model een nieuw verslag analyseert, berekent het – op basis van deze geleerde patronen – hoe sterk de tekst lijkt op verslagen waarvan bekend is dat de prestatie wél of juist níet geleverd is. Het model drukt deze gelijkenis uit als een kanspercentage: hoe groter de gelijkenis met "echte" consult-teksten, hoe hoger het percentage dat het consult volgens het model feitelijk geleverd is.
| |
| | |
| Q: Waarom krijgt een verslag met bijvoorbeeld ‘no show’ een lage kans?
| |
| | |
| '''A:''' Een verslag waarin het woord ‘no show’ voorkomt, kan een lage kans krijgen omdat het taalmodel is getraind op een verzameling verslagen waarin niet altijd dezelfde woordvolgorde of context rondom ‘no show’ voorkomt. Het model let niet alleen op het woord zelf, maar ook op hoe het in de zin en het hele verslag wordt gebruikt (woordvolgordelijkheid). Daarnaast kan het zijn dat er in de (bij)trainingset relatief weinig verslagen met ‘no show’ zijn opgenomen, waardoor het model minder zeker is omdat het deze patronen minder vaak heeft gezien. Ook de omvang van het verslag speelt mee: veel context kan er soms voor zorgen dat de kans verder afneemt bij het voorkomen van ‘no show’.
| |
| | |
| Q: Als het verslag wordt aangepast, wordt de kansberekening dan opnieuw uitgevoerd?
| |
| | |
| '''A:''' Ja, dan wordt het verslag opnieuw beoordeeld door het taalmodel.
| |
| | |
| === Actielijst ===
| |
| Q: Hoe wordt het tekstverslag aan de actie gekoppeld? | |
| | |
| '''A:''' Voor consulten wordt het verslag gekoppeld op basis van het verslag dat aan de agenda-afspraak is vastgelegd.
| |
| | |
| Voor verblijfsdagen selecteert het taalmodel specifieke rapportages die binnen bepaalde tijden zijn geschreven. Als er meerdere van deze verslagen zijn, worden ze samengevoegd en als één dossier door het taalmodel beoordeeld.
| |
| | |
| Q: Hoe werkt dit bij consulten waarbij meerdere behandelaren betrokken zijn?
| |
| | |
| '''A:''' Bij één contactID (één afspraak met meerdere behandelaren als deelnemer): als er meerdere verslagen zijn, wordt het verslag met de hoogste kans (volgens het taalmodel) ter beoordeling getoond.
| |
| | |
| Bij twee contactID’s (bijvoorbeeld twee aparte consulten bij dezelfde cliënt): beide verslagen worden afzonderlijk door het taalmodel beoordeeld en als aparte acties op de actielijst weergegeven met de bijbehorende kans.
| |
| | |
| Q: Wie gaat de acties oplossen?
| |
| | |
| '''A:''' Hiervoor zijn verschillende scenario’s mogelijk, zoals centraal of decentraal oplossen. Voor meer informatie zie het ValueCare implementatieplan.
| |
| | |
| Q: Hoe moet ik de foutieve acties oplossen?
| |
| | |
| '''A:'''
| |
| | |
| * '''AI heeft onjuist voorspeld''': Negeer de actie en voeg als opmerking toe: “AI Onjuist”.
| |
| | |
| * '''AI heeft terecht voorspeld op basis van tekst, maar je corrigeert het consult toch niet''': Negeer de actie en voeg als opmerking toe: “AI Juist”.
| |
| | |
| * '''AI-actie is juist en je wilt deze verwerken''': Zet de actie op 'Behandeld' en pas vervolgens de bronregistratie aan, zodat deze correct wordt verwerkt
| |
| | |
| Q: Hoeveel karakters worden er maximaal getoond per verslagregel?
| |
| | |
| '''A:''' Per verslagregel worden maximaal 500 karakters weergegeven.
| |
| | |
| Q: Kunnen beoordelaars in de trainingset onderscheid maken tussen declarabele en niet-declarabele posten?
| |
| | |
| '''A:''' Nee, dat is niet van belang tijdens het trainen. Beoordeling dient uitsluitend te gebeuren op basis van het getoonde verslag, zonder te kijken naar de huidige registratie. Het is belangrijk dat beoordelaars zich niet laten beïnvloeden door bestaande classificaties, zodat het model neutraal en objectief leert.
| |
| | |
| Q: Hoezo stroomt er in september nog een actie in van januari?
| |
| | |
| '''A:''' Dit kan verschillende oorzaken hebben en is daardoor lastig direct te verklaren. Wanneer een actie later instroomt, kan dit komen door wijzigingen in de data bij de instelling of aanpassingen bij ValueCare. Aan de kant van de instelling kan het bijvoorbeeld gaan om het achteraf aanpassen van het contact, de verblijfsdag of reistijd naar (niet-)declarabel, of een wijziging in het verslag (dit gebeurt overigens zelden). Ook het wijzigen van parameters of het toevoegen van uitzonderingen door ValueCare kan ervoor zorgen dat oudere acties alsnog instromen. Het is daarom verstandig eerst na te gaan of er datamutaties zijn geweest bij de instelling zelf, of dat er aanpassingen of verzoeken bij ValueCare zijn gedaan, wanneer er een oude actie instroomt.
| |
| | |
| Q: Is het mogelijk om automatisch steekproeven te trekken op genegeerde acties van AI-controles (t.b.v. HT)?
| |
| | |
| '''A:''' Ja, dat is mogelijk voor instellingen die de HT-module gebruiken. Per norm kun je instellen hoeveel posten er per kwartaal automatisch worden geselecteerd voor 3e-lijns controle.
| |
| | |
| Bijtrainen taalmodel
| |
| | |
| | |
| Q: Hoe werkt het bijtrainen?
| |
| | |
| '''A:'''
| |
| | |
| * '''Nieuwe beoordelingen aanleveren''': Het taalmodel ontvangt nieuwe of extra posten die door mensen zijn beoordeeld. Op basis hiervan leert het model welke woordvolgordelijkheden en tekstpatronen wel of niet declarabel zijn.
| |
| | |
| * '''Automatisch bijtrainen''': Wanneer er minstens 150 juiste en 150 onjuiste acties zijn opgelost, kan het model automatisch worden bijgetraind. Een consultant zal hierover contact met je opnemen
| |
| | |
| | |
| Q: Ondanks bijtrainen kom ik nog steeds bepaalde onjuiste signaleringen tegen. Hoe kan dat?
| |
| | |
| '''A:'''
| |
| | |
| * '''Woordvolgordelijkheid''': Sommige onjuiste signaleringen ontstaan doordat het model de specifieke woordvolgordelijkheid of de context van bepaalde teksten nog niet goed herkent.
| |
| | |
| * '''Gericht bijtrainen''': Door extra te bijtrainen op specifieke onderwerpen of woordcombinaties kan het model deze situaties in de toekomst beter herkennen en voorspellen
| |
| | |
| | |
| Q: Wat gebeurt er met de huidige actielijst als een taalmodel wordt bijgetraind?
| |
| | |
| '''A: '''Het oude model blijft actief totdat alle verslagregels zijn voorspeld met het nieuwe model. Daarna heb je als instelling de keuze:
| |
| | |
| * '''Direct doorvoeren''': Het nieuwe model wordt direct in productie genomen zodra het klaar is (meestal na nachtelijke verwerking). Goedkeuring o.b.v. testset portaal.
| |
| | |
| * '''Goedkeuren voor livegang''': Je geeft eerst akkoord voordat het nieuwe model live gaat, bijvoorbeeld gelijktijdig met een release. Eventueel mogelijk om mee te kijken op de acceptatie omgeving voor daadwerkelijke nieuwe lijst.
| |
| | |
| | |
| Q: Waarom moeten we bijtrainen? We hebben toch al 1500 regels beoordeeld en als input gebruikt?
| |
| | |
| '''A:''' De eerste beoordeling is een kleine selectie van alle regels. In de trainingsets kunnen we niet alle scenario's nabootsen die voorkomen in bulk van verslagen. Voor sommige scenario's zal het model nog niet genoeg 'voeding’ hebben om goed te kunnen leren. Daarom moeten we na verloop van tijd bijtrainen.
| |
| | |
| Q: Hoe kan het dat een model slechter gaat presteren (bijvoorbeeld een lagere F1-score krijgt) na vaker trainen?
| |
| | |
| '''A:''' Dit kan verschillende oorzaken hebben. Een belangrijke factor is de kwaliteit van de extra data die tijdens het verder trainen wordt toegevoegd. Als deze extra data niet consequent is gelabeld, raakt het model in de war en neemt de prestaties af.
| |
| | |
| Daarnaast kan het model gaan overfitten: het leert dan te goed de trainingsvoorbeelden uit het hoofd, waardoor het niet goed meer kan omgaan met nieuwe, onbekende data. Het model presteert dan uitstekend op de trainingsdata, maar generaliseert niet goed naar andere gevallen.
| |
| | |
| Overfitting herken je soms aan voorspellingen met extreem hoge zekerheden (bijna overal 100%), terwijl de prestaties op de testdata juist achteruit gaan. Lage F1-scores kunnen ook ontstaan bij slechte kwaliteit trainingsdata, of als er scenario’s in de praktijk voorkomen die het model tijdens training niet heeft gezien of geleerd.
| |
| | |
|
| |
|
| {{VALUECARE}} | | {{VALUECARE}} |