Deprecated: Use of MediaWiki\Skin\Skin::appendSpecialPagesLinkIfAbsent was deprecated in MediaWiki 1.44. [Called from MediaWiki\Skin\Skin::buildSidebar in /var/www/html/includes/skins/Skin.php at line 1639] in /var/www/html/includes/debug/MWDebug.php on line 386
Digitale transformatie in de GGZ is door toenemende vergrijzing en stijgende (personeels)kosten noodzakelijk geworden. De traditionele methoden en systemen voldoen niet langer aan de groeiende en steeds complexere (informatie)behoeften van financiers, accountants en toezichthouders. Een ingrijpende verandering in de manier waarop we zorg registreren, factureren en verantwoorden is essentieel om de uitdagingen van nu aan te kunnen.
Gesteund door de afspraken in het Integraal Zorgakkoord (IZA) en adviezen van de Raad van Volksgezondheid en Samenleving (RVS) zet ValueCare voor de GGZ in op het borgen van goede, toegankelijke en betaalbare zorg door:
Het verminderen van administratieve (verantwoordings)lasten, en
Het vereenvoudigen van de registratie..
Daarnaast wil ValueCare de zorg helpen door transparant te zijn en kennis te delen. Deze openbare wiki-pagina beschrijft de mogelijkheden van digitale technieken voor de transformatie waar de GGZ voor staat in de komende jaren. ValueCare faciliteert deze verandering via drie methoden:
Controles met AI-taalmodellen
Controles op basis van nieuwe databronnen (datalakehouses)
Automatisering via Robotic Process Automation (RPA)
Achtergrond bij AI techniek
De toepassing van AI in verslagleggingsanalyse werkt als volgt:
Beschikbaarheid model: Een AI-taalmodel draait op de ValueCare-server van de klant.
ValueCare gebruikt een specifiek voor Nederlandstalige medische data getraind RoBERTa-model (“Robustly Optimized BERT Pretraining Approach”), in de vorm van RoBERT, een open source model.
Samenstelling trainingset: In samenwerking met de klant wordt een trainingset samengesteld.
De trainingset bevat een reeks van verslaglegging records voor gerealiseerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging is aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig bevonden kan worden of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseer
De trainingset is bij voorkeur voldoende omvangrijk en kan automatisch of handmatig worden samengesteld (meestal via Horizontaal Toezicht of zelfonderzoek).
Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid te classificeren.
Controle: Het taalmodel classificeert alle verslaglegging en bepaalt de mate van zekerheid.
Resultaat: Resultaten van de AI worden weergegeven in een actielijst.
Kanspercentage: Het kanspercentage is een instelbare drempelwaarde. Alleen acties met een modeluitkomst die boven deze afgesproken drempel ligt, worden zichtbaar gemaakt in de controle. Standaard ligt deze drempel op 50%. ValueCare adviseert welk percentage het meest geschikt is voor de klant.
De datastroom van de AI-controles vindt als volgt plaats:
Datastroom AI feitelijke levering
Kwaliteitsborging & Controle op de AI-Technologie
Het waarborgen van de betrouwbaarheid van het AI-model gebeurt als volgt:
Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst.
Jaarlijkse herbeoordeling: Jaarlijks worden steekproeven door de klant samen met ValueCare gedaan, waarbij menselijke beoordeling als referentie wordt genomen.
Stappenplan: In Productie Nemen en Bijtrainen van AI-Taalmodellen
Om de toepasbaarheid en kwaliteit van de AI te borgen, volgt ValueCare een strikt stappenplan rondom training, inzet en vervolgtrainen van de AI-taalmodellen. Dit biedt transparantie, herhaalbaarheid en voortdurende optimalisatie.
Voor validatie dient een aparte testset te worden beoordeeld die alléén wordt gebruikt voor evaluatie, zodat deze ook bruikbaar blijft bij bijtraining.
Beperkte testperiode voor initiële evaluatie
Alleen de acties van één maand worden getest, om snelheid en overzichtelijkheid te bevorderen.
Geconstateerde fouten in deze maand dienen als input voor (eventuele) bijstelling voorafgaand aan productie. Zo zijn meerdere iteraties mogelijk.
Modelgoedkeuring en overgang naar productie
Na akkoord van de instelling wordt het model in productie genomen bij een vastgesteld kanspercentage (advies komt vanuit de data-specialist van ValueCare).
Vanaf de startdatum van de controle verwerkt het model alle geselecteerde acties.
Verwerking van foutieve acties na livegang
Foutieve meldingen worden na livegang niet langer individueel behandeld.
Instellingen markeren deze als ‘AI onjuist’ en negeren de betreffende actie.
Signalering voor nieuwe bijtrainingsronde
Zodra er meer dan 300 gemarkeerd zijn met 'AI juist' of ‘AI onjuist’ (in actielijst óf beheertabel) waarvan er meer dan 150 op 'AI juist' staat, volgt er automatisch een melding voor ValueCare.
Advies en overleg over bijtrainen
De data-specialist informeert de consultant bij behalen van de drempel, die op zijn/haar beurt samen met de instelling beoordeelt of bijtrainen wenselijk is.
Voorbereiding van trainingsdata
Na akkoord verzamelt de data-specialist een evenredig aantal ‘AI juist’-beoordeelde posten uit de reeds uitgestroomde acties als extra trainingsdata.
Bijtrainen van het model
Het model wordt opnieuw getraind met de nieuwe correcte én onjuiste acties.
Evaluatie na bijtraining
Het nieuwe model wordt geëvalueerd en vergeleken met het oude, op basis van dezelfde testset als eerder.
Op basis van deze analyse volgt keuze: doorzetten naar productie of verdere optimalisatie.
Herhaling cyclus
Het markeren en negeren van foutieve acties herhaalt zich tot de afgesproken drempel weer is bereikt; dan start het proces weer bij stap 5.
Luca analyseert verslagleggingen
Beheer AI: modelversies toelichting waarden
Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.
F1 score: de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.
Precisie: hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
Recall(volledigheid): hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.
Accuratesse: het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.
Specificiteit: een waarde die de kans op een negatief resultaat weergeeft, ook wel true negative rate. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.
Aantal prediction categorieën: hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.
Beheer en risicobeheersing van AI-controles
Het beheer van de controles op het taalmodel vindt plaats via een aantal specifieke beheermodules, gericht op transparantie en risicobeheersing:
Beheerfunctie
Omschrijving
Beheer Risicobeheersing Taalmodel: Model versie
Mogelijkheid om de verschillende (historische) modelversies (en bovengenoemde parameters) in te zien.
Beheer Risicobeheersing Taalmodel: Training instellingen
Inzicht en beheer van de instellingen waarmee het model is getraind.
Hier worden standaard woord(combinaties) weergegeven die frequent voorkomen binnen instellingen en of deze vaker wél of niet geleverd zijn. Wanneer een regel wordt geactiveerd in deze beheertabel, worden er automatisch 25 gegenereerde zinnen met die woordcombinatie toegevoegd aan de bijtrainingsset.
Bibliotheek normen Artificial Intelligence
In de zorgsector is nauwkeurige verslaglegging niet enkel een administratieve handeling, maar vormt het ook de basis voor het vaststellen van de rechtmatigheid van geregistreerde zorg, evenals het identificeren van mogelijke gemiste registratie van geleverde diensten. Het handmatig doorlopen en controleren van deze omvangrijke verslagleggingen is echter een arbeidsintensief proces, dat zowel tijdsgebonden als kostbaar kan zijn. ValueCare erkent de behoefte aan een efficiëntere aanpak en heeft daarom geïnvesteerd in de kracht van Artificial Intelligence. Met behulp van geavanceerde AI-modellen kunnen verslagleggingen snel en accuraat worden geanalyseerd. In het volgende overzicht presenteren we de normen die gebruik maken van de getrainde ValueCare-taalmodellen die specifiek zijn ontwikkeld om de integriteit van de registratie te waarborgen.
Afspraak duidt op consultatie ggz door sociaal domein
Taalmodel
Volledigheid
ZPM
Ontwerpen
n.t.b.
Behandelaar op externe locatie zonder reistijd
Datafusie
Volledigheid
ZPM
Ontwerpen
n.t.b.
Belangrijke parameters binnen AI
Parameter
Omschrijving
Standaardwaarde
GGZ_HT_AI_INSTELLING
Is uw organisatie een AI-instelling?
Nee
N64_MODEL_VERSIE
Huidige modelversie (instelbaar per organisatie of moment).
(leeg, kan gevuld worden)
N64_MODEL_VERSIE_OUD
Vorige modelversie (voor rapportage of terugval).
(leeg, kan gevuld worden)
AI_DRAAIDAGEN_ACCEPTATIE
Op welke dag draait de AI in de acceptatieomgeving? (Dagnummer, 1 = maandag)
8 (AI draait niet automatisch)
AI_DRAAIDAGEN_PRODUCTIE
Op welke dag draait de AI in de productieomgeving? (Dagnummer, 1 = maandag)
8 (AI draait niet automatisch)
AI_EXTRA_DRAAIDAGEN_EINDTIJD
Tot welk tijdstip zijn extra AI-draaidagen actief?
17:00 uur
GGZ_AI_BEOORDELEN_ACTIELIJST_BEHEERTABEL
Zijn verslagen van de actielijst zichtbaar in het beheerscherm ‘AI: Feitelijke levering beoordeling actielijst’?
Nee (standaard niet zichtbaar)
GGZ_AI_FL_MINIMUM_BIJTRAINEN
Vanaf hoeveel genegeerde items op de actielijst wordt het AI-model automatisch bijgetraind?
150
AI_FL_OPLOSSER_BEOORDELINGEN_ACTIELIJST
Wiens beoordelingen worden meegenomen in het verder trainen van het model.
(leeg, kan gevuld worden)
AI_N64_MAX_RUNTIME
Maximale tijd (in seconden) dat het AI-model mag draaien.
3600 (1 uur)
GGZ_AI_VERBLIJF_NACHTRAP_VERSLAGREGELTYPE
Worden specifieke soorten verblijf-verslagen herkend aan een verslagregeltype?
(leeg, kan gevuld worden)
AI_FL_VERBLIJF_VERSLAG_GROEPREN
Worden AI-verblijfsverslagen gegroepeerd?
Nee
AI_FL_TIJDSCHRIJVEN_MEDEWERKER_CODE_UITSLUITEN
Uitsluiten van bepaalde medewerkers van AI-controle op tijdschrijven.
(leeg, kan gevuld worden)
GGZ_BLOK_AI_ACTIES_SPECIFIEK_OBV_TOELICHTING
Zorgt ervoor dat alléén bepaalde AI-acties worden meegenomen in blokkadelijsten (bv. alleen 'AI juist').
(leeg, kan gevuld worden)
Vragen en antwoorden (Q&A)
Algemeen
Q: Hoe werkt een taalmodel?
A: Een taalmodel is slimme software die is getraind op grote hoeveelheden tekst. Het model leert patronen en verbanden herkennen doordat mensen voorbeeldverslagen beoordelen. Zo kan het beoordelen of een verslag voldoet aan de eisen voor rechtmatige registratie op basis van specifieke woorden, zinsstructuren en context.
Q: Heeft ValueCare werkinstructies of handleidingen rondom de werking van het taalmodel?
A: Ja. Op Normenkaderzorg staat een stappenplan voor implementatie, er is een ISAE-certificering die de techniek achter het taalmodel beschrijft en ValueCare heeft een implementatieplan met scenario’s, op te vragen bij ValueCare.
Trainingset
Q: Wat zit in de controlemassa van de rechtmatigheids- en volledigheidsnormen?
A: Voor gepaarde rechtmatigheids- en volledigheidscontroles wordt voor zowel trainings- als testset dezelfde onderzoeksmassa gebruikt en getraind op deze gezamenlijke dataset. Rechtmatigheid kijkt naar declarabele posten en volledigheid naar niet-declarabele posten.
Q: Welke gebruikers hebben toegang tot de trainingset en tekstverslagen?
A: Alleen medewerkers met het recht ‘inzage gevoelige info’ kunnen deze inzien via het portaal en de beheertabel ‘Rechten per gebruiker’.
Q: Hoe beoordeel ik een trainingset?
A: Kies ‘waar’ als de cliënt aanwezig en het contact behandelinhoudelijk is. Kies ‘onwaar’ als dit niet uit het verslag blijkt. Beoordeel alleen het getoonde verslag, zonder andere documenten te raadplegen.
Q: Waar moet ik op letten bij het beoordelen van een trainingset?
A: Zorg voor consistentie, spreek vooraf duidelijke beoordelingscriteria af en pas deze consequent toe, zeker als meerdere mensen beoordelen.
Q: Waarom zitten er niet-declarabele posten in de trainingset?
A: Zodat het model leert het verschil te herkennen tussen declarabele en niet-declarabele verslagen en beide categorieën kan onderscheiden.
Q: Wordt er voor de rechtmatigheids- en volledigheidscontrole afzonderlijk een model getraind?
A: Nee, voor beide controles van hetzelfde onderwerp wordt één model getraind.
Validatie en in productiename
Q: Hoe wordt een taalmodel gevalideerd?
A: De testset wordt zowel door AI als door mensen beoordeeld; de resultaten worden vergeleken om te controleren of het model betrouwbaar presteert.
Q: Wat is de gemiddelde doorlooptijd van het voorspellen van verslagen?
A: Dit verschilt per instelling en hoeveelheid data, maar duurt gemiddeld enkele dagen; de startdatum kan worden aangepast om de massa te beperken.
Q: Vanaf welk percentage is het handig om in productie te nemen?
A: ValueCare adviseert per versie van het model vanaf welk kanspercentage signalering verstandig is; dit wordt afgestemd met de consultant.
Q: Kunnen we textmining inzetten binnen de AI-controles?
A: Ja, met een parameter kunnen bepaalde woorden/woordreeksen automatisch worden goed- of afgekeurd; dit werkt alleen bij exacte overeenkomsten in korte tekstverslagen (max. 20 tokens).
Kans
Q: Wat betekent de kans?
A: De kans geeft aan hoe groot volgens het model de waarschijnlijkheid is dat een GGZ-prestatie daadwerkelijk is geleverd, op basis van tekstpatronen.
Q: Hoe wordt de kans berekend/bepaald?
A: Het model vergelijkt nieuwe verslagen met eerder beoordeelde teksten en drukt de overeenkomst uit in een kanspercentage.
Q: Waarom krijgt een verslag met bijvoorbeeld ‘no show’ een lage kans?
A: Omdat het model behalve op het woord let op de context en woordvolgorde; bovendien zijn er mogelijk weinig ‘no show’ verslagen in de trainingset, waardoor het model deze minder goed herkent.
Q: Als het verslag wordt aangepast, wordt de kansberekening dan opnieuw uitgevoerd?
A: Ja, het verslag wordt dan opnieuw beoordeeld door het taalmodel.
Actielijst
Q: Hoe wordt het tekstverslag aan de actie gekoppeld?
A: Voor consulten via het verslag aan de afspraak; voor verblijfsdagen worden rapportages uit een tijdsvak samengevoegd en als één dossier beoordeeld.
Q: Hoe werkt dit bij consulten met meerdere behandelaren?
A: Bij één afspraak met meerdere behandelaren wordt het verslag met de hoogste kans getoond; bij verschillende afspraken worden ze apart beoordeeld en weergegeven.
Q: Wie gaat de acties oplossen?
A: Dit kan centraal of decentraal; zie het ValueCare implementatieplan voor scenario’s.
Q: Hoe moet ik de foutieve acties oplossen?
A: Markeer als ‘AI Onjuist’ of ‘AI Juist’, of zet de actie op 'Behandeld' en pas de bronregistratie aan als de actie terecht is.
Q: Hoeveel karakters worden er maximaal getoond per verslagregel?
A: Maximaal 500 karakters per verslagregel.
Q: Kunnen beoordelaars in de trainingset onderscheid maken tussen declarabele en niet-declarabele posten?
A: Nee, de beoordeling vindt plaats op basis van het getoonde verslag, zonder naar de registratie te kijken.
Q: Hoezo stroomt er in september nog een actie in van januari?
A: Dit kan komen door aanpassingen in de data, wijziging van het contact/verslag, parameterwijzigingen of correcties door ValueCare of de instelling.
Q: Is het mogelijk om automatisch steekproeven te trekken op genegeerde acties van AI-controles (t.b.v. HT)?
A: Ja, voor instellingen met de HT-module kunnen er automatisch per norm per kwartaal posten geselecteerd worden voor 3e-lijns controle.
Bijtrainen taalmodel
Q: Hoe werkt het bijtrainen?
A: Nieuwe beoordelingen worden aan het model toegevoegd, waarna het model opnieuw leert. Bij minimaal 150 juiste en 150 onjuiste acties kan automatisch bijtrainen gestart worden.
Q: Ondanks bijtrainen kom ik nog steeds bepaalde onjuiste signaleringen tegen. Hoe kan dat?
A: Het model herkent sommige patronen nog niet goed; gericht bijtrainen op specifieke onderwerpen helpt.
Q: Wat gebeurt er met de huidige actielijst als een taalmodel wordt bijgetraind?
A: Het oude model blijft actief totdat alle verslagen zijn voorspeld met het nieuwe model; daarna kan het direct live gezet worden of na goedkeuring.
Q: Waarom moeten we bijtrainen? We hebben toch al 1500 regels beoordeeld en als input gebruikt?
A: Omdat niet alle scenario’s voorkomen in de eerste trainingset; bijtrainen is nodig om het model beter te laten presteren op meer situaties.
Q: Hoe kan het dat een model slechter gaat presteren (bijvoorbeeld een lagere F1-score krijgt) na vaker trainen?
A: Oorzaak kan zijn inconsistente labeling van extra data of overfitting op trainingsvoorbeelden, waardoor het model slecht generaliseert naar nieuwe gevallen.
