AI - Automatisering Zorgregistratie (GGZ)
Inleiding
Digitale transformatie in de GGZ is door toenemende vergrijzing en stijgende (personeels)kosten noodzakelijk geworden. De traditionele methoden en systemen voldoen niet langer aan de groeiende en steeds complexere (informatie)behoeften van financiers, accountants en toezichthouders. Een ingrijpende verandering in de manier waarop we zorg registreren, factureren en verantwoorden is essentieel om de uitdagingen van nu aan te kunnen.
Gesteund door de afspraken in het Integraal Zorgakkoord (IZA) en adviezen van de Raad van Volksgezondheid en Samenleving (RVS) zet ValueCare voor de GGZ in op het borgen van goede, toegankelijke en betaalbare zorg door:
- Het verminderen van administratieve (verantwoordings)lasten, en
- Het vereenvoudigen van de registratie..
Daarnaast wil ValueCare de zorg helpen door transparant te zijn en kennis te delen.
Deze openbare wiki pagina geeft de details over de mogelijkheden om digitale technieken in te zetten voor de transformatie opgave waar de GGZ voor staat de komende jaren.
Deze technieken komen terug in drie bibliotheken:
- Controles met taalmodellen (o.b.v. AI)
- Controles met (nieuwe) beschikbare databronnen (a.d.h.v. datalakehouses)
- Automatisering (m.b.v. RPA)
Achtergrond bij AI techniek
De AI-analyse van de verslaglegging werkt als volgt:
- Er wordt een AI-taalmodel beschikbaar gemaakt op de klant ValueCare server.
- ValueCare beoordeelt medische verslagen door gebruik te maken van een fine-tuned RoBERTa model (een specifiek soort AI-Large Language Model). RoBERTa staat voor: a Robustly Optimized BERT (Bidirectional Encoder Representations from Transformers) pretraining Approach.
- ValueCare gebruikt als basis een open-source RoBERTa model dat specifiek is getraind voor Nederlandstalige medische data. Het model heeft al kennis over taalstructuren en woordrelaties.
- Er wordt gebruik gemaakt van RoBERT. RoBERT is een Nederlands vooraf getraind RoBERTa model.
- Er wordt een trainingset gemaakt in afstemming met de klant.
- De trainingset bevat een reeks van verslaglegging records voor gerealiseerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging is aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig bevonden kan worden of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseerd.
- De trainingset moet voldoende groot zijn. Een te kleine trainingset leidt tot onvoldoende nauwkeurigheid van het AI-model.
- De trainingset kan óf automatisch worden opgesteld óf handmatig worden opgesteld. Veelal worden handmatige beoordelingen uit het verleden gebruikt uit zelfonderzoeken of Horizontaal Toezicht audits. Daarnaast wordt deze set in de regel aangevuld met een groot aantal handmatig beoordeelde verslagleggingen.
- Het AI-taalmodel wordt getraind met de verslaglegging en classificatie uit de trainingset. Hierdoor is een getraind AI-taalmodel beschikbaar op de ValueCare server. Het AI-model kan dus verslaglegging categoriseren naar rechtmatig of onrechtmatig.
- Vervolgens wordt de gehele controlemassa van verslagleggingen voorgelegd aan het AI-model. Het AI-model categoriseert de verslaglegging en geeft de zekerheid van het model aan.
- De resultaten worden in een actielijst getoond.
- Kanspercentage: Het is mogelijk om acties pas te laten zien in de controle vanaf een bepaald kanspercentage. Hierdoor kan het actie-aantal worden ingeperkt. De totale massa is nog steeds te vinden in de beheertabel. Standaard stroomt vanaf 50% kans in op de controles.
De datastroom van de AI-controles vindt als volgt plaats:
Controle op de AI-technologie vindt als volgt plaats:
- Elke actielijst wordt na oplevering door ValueCare getest door de klant in samenwerking met ValueCare. Bij akkoord wordt de actielijst in productie geplaatst.
- Met het testen van de actielijst wordt ook het AI-algoritme getest.
- Er wordt gecontroleerd of de resultaten in de actielijst correct zijn aan de hand van een menselijke beoordeling.
- Jaarlijks wordt de werking van de actielijst door een steekproef getest door de klant in samenwerking met ValueCare.
- Er wordt gecontroleerd of de resultaten in de actielijst correct zijn aan de hand van een menselijke beoordeling.
Beheer AI: modelversies toelichting waarden
Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.
F1 score: de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.
- Precisie: hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
- Recall (volledigheid): hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.
Accuratesse: het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.
Specificiteit: een waarde die de kans op een negatief resultaat weergeeft, ook wel true negative rate. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.
Aantal prediction categorieën: hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.
Bibliotheek normen Artificial Intelligence
In de zorgsector is nauwkeurige verslaglegging niet enkel een administratieve handeling, maar vormt het ook de basis voor het vaststellen van de rechtmatigheid van geregistreerde zorg, evenals het identificeren van mogelijke gemiste registratie van geleverde diensten. Het handmatig doorlopen en controleren van deze omvangrijke verslagleggingen is echter een arbeidsintensief proces, dat zowel tijdsgebonden als kostbaar kan zijn. ValueCare erkent de behoefte aan een efficiëntere aanpak en heeft daarom geïnvesteerd in de kracht van Artificial Intelligence. Met behulp van geavanceerde AI-modellen kunnen verslagleggingen snel en accuraat worden geanalyseerd. In het volgende overzicht presenteren we de normen die gebruik maken van de getrainde ValueCare-taalmodellen die specifiek zijn ontwikkeld om de integriteit van de registratie te waarborgen.
| Normomschrijving | Type controle | Soort controle | Bekostiging | Status | Planning |
| Consulten en toeslagen | |||||
| Verslaglegging duidt op mogelijk onterechte registratie van telefonisch consult (N6400) | Taalmodel | Rechtmatigheid | ZPM | Opgeleverd | Afgerond |
| Verslaglegging duidt op mogelijk gemiste registratie van telefonisch consult (N6401) | Taalmodel | Volledigheid | ZPM | Opgeleverd | Afgerond |
| Verslaglegging duidt op mogelijk onterechte registratie van consult (N6403) | Taalmodel | Rechtmatigheid | ZPM | Opgeleverd | Afgerond |
| Verslaglegging duidt op mogelijk gemiste registratie van consult (N6404) | Taalmodel | Volledigheid | ZPM | Opgeleverd | Afgerond |
| Verslaglegging duidt op mogelijk onjuiste registratie van een diagnostiekconsult (N6407) | Taalmodel | Rechtmatigheid | ZPM | Opgeleverd | Afgerond |
| Verslaglegging duidt op mogelijk onjuiste registratie van een behandelconsult (N6408) | Taalmodel | Rechtmatigheid | ZPM | Opgeleverd | Afgerond |
| Verslaglegging duidt op mogelijk onjuiste registratie van een crisisconsult (N6409) | Taalmodel | Rechtmatigheid | ZPM | Opgeleverd | Afgerond |
| Verslaglegging duidt op mogelijk onterechte registratie van een toeslag tolk (N6412) | Taalmodel | Rechtmatigheid | ZPM | Opgeleverd | Afgerond |
| Verslaglegging duidt op mogelijk gemiste registratie van een toeslag tolk (N6413) | Taalmodel | Volledigheid | ZPM | Opgeleverd | Afgerond |
| Belcontact duidt op gemist declarabel consult (N4000) | Datafusie | Volledigheid | ZPM | Ontwerpen | Q2 2025 |
| Duur belcontact wijkt af van duur geregistreerd telefonisch consult (N4001) | Datafusie | Rechtmatigheid | ZPM | Ontwerpen | Q3 2025 |
| Onjuist contactsoort geregistreerd bij telefonisch consult (N4002) | Datafusie | Rechtmatigheid | ZPM | Ontwerpen | Q2 2025 |
| Belcontact vindt plaats tijdens consult met andere patiënt (overlap) (N4003) | Datafusie | Rechtmatigheid | ZPM | Ontwerpen | Q3 2025 |
| Telefonisch consult geregistreerd zonder belcontact in mobiele data (N4004) | Datafusie | Rechtmatigheid | ZPM | Ontwerpen | Q2 2025 |
| Belcontact geregistreerd bij afspraakverplaatsing of no show | Datafusie | Rechtmatigheid | ZPM | Ontwerpen | Q2 2025 |
| Belcontact geregistreerd zonder behandelrelatie tussen behandelaar en patiënt | Datafusie | Volledigheid | ZPM | Ontwerpen | Q3 2025 |
| Telefoonnummer komt niet overeen met behandelaar in afspraak | Datafusie | Volledigheid | ZPM | Ontwerpen | Q2 2025 |
| Toeslag oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) ontbreekt | Taalmodel | Volledigheid | ZPM | Ontwerpen | Q3 2025 |
| Afspraak houdt geen verband met ECT | Taalmodel | Volledigheid | ZPM | Ontwerpen | Q3 2025 |
| Toeslag psychodiagnostiek ontbreekt | Taalmodel | Volledigheid | ZPM | Ontwerpen | Q2 2025 |
| Planning is realisatie | |||||
| Contact feitelijk geleverd, maar contactduur ongewijzigd bij afwijking > 15 minuten | Datafusie | Rechtmatigheid | ZPM | Ontwerpen | Q3 2025 |
| Contact feitelijk geleverd, maar contactduur gewijzigd bij verandering <15 minuten | Datafusie | Volledigheid | ZPM | Ontwerpen | Q3 2025 |
| Verblijf | |||||
| Verslaglegging duidt op mogelijk onterechte registratie van verblijfsdag (N6405) | Taalmodel | Rechtmatigheid | ZPM | Opgeleverd | Afgerond |
| Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag (N6406) | Taalmodel | Volledigheid | ZPM | Opgeleverd | Afgerond |
| Patiënt in WiFi zonder aanwezigheidsdag | Datafusie | Volledigheid | ZPM | Ontwerpen | n.t.b. |
| Patiënt buiten WiFi met aanwezigheidsdag | Datafusie | Rechtmatigheid | ZPM | Ontwerpen | n.t.b. |
| Oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) | Taalmodel | Volledigheid | ZPM | Ontwerpen | Q2 2025 |
| Aanspraak & Onverzekerde zorg | |||||
| Controle op tijdige verwijsdatum in brief | Taalmodel | Rechtmatigheid | ZPM | Ontwerpen | Q2 2025 |
| Controle op geldige verwijzer in brief | Taalmodel | Rechtmatigheid | ZPM | Ontwerpen | Q2 2025 |
| Controle op tijdigheid aanmelddatum in brief | Taalmodel | Rechtmatigheid | ZPM | Ontwerpen | Q2 2025 |
| Controle op juiste vastlegging AGB-code verwijzer uit brief in EPD | Taalmodel | Rechtmatigheid | ZPM | Ontwerpen | Q2 2025 |
| Controle op juiste overname type verwijzer uit brief in EPD | Taalmodel | Rechtmatigheid | ZPM | Ontwerpen | Q2 2025 |
| Jaarlijkse beloofbrief aan de huisarts staat in concept | Taalmodel | Rechtmatigheid | ZPM | Ontwerpen | Q3 2025 |
| Feitelijke geleverde zorg duidt op te lage indicatie | Taalmodel | Volledigheid | LZ | Ontwerpen | Q3 2025 |
| Feitelijke geleverde zorg duidt op te hoge indicatie | Taalmodel | Rechtmatigheid | LZ | Ontwerpen | Q3 2025 |
| Overige prestaties | |||||
| Verslaglegging duidt op mogelijk onterechte registratie van reistijd (N6410) | Taalmodel | Rechtmatigheid | ZPM | Opgeleverd | Afgerond |
| Verslaglegging duidt op mogelijk gemiste registratie van reistijd (N6411) | Taalmodel | Volledigheid | ZPM | Opgeleverd | Afgerond |
| Afspraak duidt op consultatie ggz door sociaal domein | Taalmodel | Volledigheid | ZPM | Ontwerpen | Q3 2025 |
| Behandelaar op externe locatie zonder reistijd | Datafusie | Volledigheid | ZPM | Ontwerpen | n.t.b. |
