AI - Automatisering Zorgregistratie (GGZ): verschil tussen versies
Naar navigatie springen
Naar zoeken springen
kGeen bewerkingssamenvatting |
|||
| Regel 506: | Regel 506: | ||
== Vragen en antwoorden (Q&A) == | == Vragen en antwoorden (Q&A) == | ||
=== Algemeen === | ==== Algemeen ==== | ||
{| class="wikitable | {| class="wikitable" | ||
| | !Q: Hoe werkt een taalmodel? | ||
!Q: Hoe werkt een taalmodel? | |- | ||
|A: Een taalmodel is slimme software die is getraind op grote hoeveelheden tekst. Het model leert patronen en verbanden herkennen doordat mensen voorbeeldverslagen beoordelen. Zo kan het beoordelen of een verslag voldoet aan de eisen voor rechtmatige registratie op basis van specifieke woorden, zinsstructuren en context. | |||
|} | |||
{| class="wikitable" | |||
!Q: Heeft ValueCare werkinstructies of handleidingen rondom de werking van het taalmodel? | |||
|- | |||
|A: Ja. Op Normenkaderzorg staat een stappenplan voor implementatie, er is een ISAE-certificering die de techniek achter het taalmodel beschrijft en ValueCare heeft een implementatieplan met scenario’s, op te vragen bij ValueCare. | |||
|} | |||
---- | |||
==== Trainingset ==== | |||
{| class="wikitable" | |||
!Q: Wat zit in de controlemassa van de rechtmatigheids- en volledigheidsnormen? | |||
|- | |||
|A: Voor gepaarde rechtmatigheids- en volledigheidscontroles wordt voor zowel trainings- als testset dezelfde onderzoeksmassa gebruikt en getraind op deze gezamenlijke dataset. Rechtmatigheid kijkt naar declarabele posten en volledigheid naar niet-declarabele posten. | |||
|} | |||
{| class="wikitable" | |||
!Q: Welke gebruikers hebben toegang tot de trainingset en tekstverslagen? | |||
|- | |||
|A: Alleen medewerkers met het recht ‘inzage gevoelige info’ kunnen deze inzien via het portaal en de beheertabel ‘Rechten per gebruiker’. | |||
|} | |||
{| class="wikitable" | |||
!Q: Hoe beoordeel ik een trainingset? | |||
|- | |||
|A: Kies ‘waar’ als de cliënt aanwezig en het contact behandelinhoudelijk is. Kies ‘onwaar’ als dit niet uit het verslag blijkt. Beoordeel alleen het getoonde verslag, zonder andere documenten te raadplegen. | |||
|} | |||
{| class="wikitable" | |||
!Q: Waar moet ik op letten bij het beoordelen van een trainingset? | |||
|- | |||
|A: Zorg voor consistentie, spreek vooraf duidelijke beoordelingscriteria af en pas deze consequent toe, zeker als meerdere mensen beoordelen. | |||
|} | |||
{| class="wikitable" | |||
!Q: Waarom zitten er niet-declarabele posten in de trainingset? | |||
|- | |||
|A: Zodat het model leert het verschil te herkennen tussen declarabele en niet-declarabele verslagen en beide categorieën kan onderscheiden. | |||
|} | |||
{| class="wikitable" | |||
!Q: Wordt er voor de rechtmatigheids- en volledigheidscontrole afzonderlijk een model getraind? | |||
|- | |||
|A: Nee, voor beide controles van hetzelfde onderwerp wordt één model getraind. | |||
|} | |||
---- | |||
==== Validatie en in productiename ==== | |||
{| class="wikitable" | |||
!Q: Hoe wordt een taalmodel gevalideerd? | |||
|- | |||
|A: De testset wordt zowel door AI als door mensen beoordeeld; de resultaten worden vergeleken om te controleren of het model betrouwbaar presteert. | |||
|} | |||
{| class="wikitable" | |||
!Q: Wat is de gemiddelde doorlooptijd van het voorspellen van verslagen? | |||
|- | |||
|A: Dit verschilt per instelling en hoeveelheid data, maar duurt gemiddeld enkele dagen; de startdatum kan worden aangepast om de massa te beperken. | |||
|} | |||
{| class="wikitable" | |||
!Q: Vanaf welk percentage is het handig om in productie te nemen? | |||
|- | |||
|A: ValueCare adviseert per versie van het model vanaf welk kanspercentage signalering verstandig is; dit wordt afgestemd met de consultant. | |||
|} | |||
{| class="wikitable" | |||
!Q: Kunnen we textmining inzetten binnen de AI-controles? | |||
|- | |||
|A: Ja, met een parameter kunnen bepaalde woorden/woordreeksen automatisch worden goed- of afgekeurd; dit werkt alleen bij exacte overeenkomsten in korte tekstverslagen (max. 20 tokens). | |||
|} | |||
---- | |||
==== Kans ==== | |||
{| class="wikitable" | |||
!Q: Wat betekent de kans? | |||
|- | |||
|A: De kans geeft aan hoe groot volgens het model de waarschijnlijkheid is dat een GGZ-prestatie daadwerkelijk is geleverd, op basis van tekstpatronen. | |||
|} | |||
{| class="wikitable" | |||
!Q: Hoe wordt de kans berekend/bepaald? | |||
|- | |||
|A: Het model vergelijkt nieuwe verslagen met eerder beoordeelde teksten en drukt de overeenkomst uit in een kanspercentage. | |||
|} | |||
{| class="wikitable" | |||
!Q: Waarom krijgt een verslag met bijvoorbeeld ‘no show’ een lage kans? | |||
|- | |||
|A: Omdat het model behalve op het woord let op de context en woordvolgorde; bovendien zijn er mogelijk weinig ‘no show’ verslagen in de trainingset, waardoor het model deze minder goed herkent. | |||
|} | |||
{| class="wikitable" | |||
!Q: Als het verslag wordt aangepast, wordt de kansberekening dan opnieuw uitgevoerd? | |||
|- | |||
|A: Ja, het verslag wordt dan opnieuw beoordeeld door het taalmodel. | |||
|} | |||
---- | |||
==== Actielijst ==== | |||
{| class="wikitable" | |||
!Q: Hoe wordt het tekstverslag aan de actie gekoppeld? | |||
|- | |||
|A: Voor consulten via het verslag aan de afspraak; voor verblijfsdagen worden rapportages uit een tijdsvak samengevoegd en als één dossier beoordeeld. | |||
|} | |||
{| class="wikitable" | |||
!Q: Hoe werkt dit bij consulten met meerdere behandelaren? | |||
|- | |||
|A: Bij één afspraak met meerdere behandelaren wordt het verslag met de hoogste kans getoond; bij verschillende afspraken worden ze apart beoordeeld en weergegeven. | |||
|} | |||
{| class="wikitable" | |||
!Q: Wie gaat de acties oplossen? | |||
|- | |||
|A: Dit kan centraal of decentraal; zie het ValueCare implementatieplan voor scenario’s. | |||
|} | |||
{| class="wikitable" | |||
!Q: Hoe moet ik de foutieve acties oplossen? | |||
|- | |||
|A: Markeer als ‘AI Onjuist’ of ‘AI Juist’, of zet de actie op 'Behandeld' en pas de bronregistratie aan als de actie terecht is. | |||
|} | |||
{| class="wikitable" | |||
!Q: Hoeveel karakters worden er maximaal getoond per verslagregel? | |||
|- | |||
|A: Maximaal 500 karakters per verslagregel. | |||
|} | |||
{| class="wikitable" | |||
!Q: Kunnen beoordelaars in de trainingset onderscheid maken tussen declarabele en niet-declarabele posten? | |||
|- | |||
|A: Nee, de beoordeling vindt plaats op basis van het getoonde verslag, zonder naar de registratie te kijken. | |||
|} | |||
{| class="wikitable" | |||
!Q: Hoezo stroomt er in september nog een actie in van januari? | |||
|- | |||
|A: Dit kan komen door aanpassingen in de data, wijziging van het contact/verslag, parameterwijzigingen of correcties door ValueCare of de instelling. | |||
|} | |||
{| class="wikitable" | |||
!Q: Is het mogelijk om automatisch steekproeven te trekken op genegeerde acties van AI-controles (t.b.v. HT)? | |||
|- | |||
|A: Ja, voor instellingen met de HT-module kunnen er automatisch per norm per kwartaal posten geselecteerd worden voor 3e-lijns controle. | |||
|} | |||
---- | |||
==== Bijtrainen taalmodel ==== | |||
{| class="wikitable" | |||
!Q: Hoe werkt het bijtrainen? | |||
|- | |||
|A: Nieuwe beoordelingen worden aan het model toegevoegd, waarna het model opnieuw leert. Bij minimaal 150 juiste en 150 onjuiste acties kan automatisch bijtrainen gestart worden. | |||
|} | |||
{| class="wikitable" | |||
!Q: Ondanks bijtrainen kom ik nog steeds bepaalde onjuiste signaleringen tegen. Hoe kan dat? | |||
|- | |||
|A: Het model herkent sommige patronen nog niet goed; gericht bijtrainen op specifieke onderwerpen helpt. | |||
|} | |||
{| class="wikitable" | |||
!Q: Wat gebeurt er met de huidige actielijst als een taalmodel wordt bijgetraind? | |||
|- | |||
|A: Het oude model blijft actief totdat alle verslagen zijn voorspeld met het nieuwe model; daarna kan het direct live gezet worden of na goedkeuring. | |||
|} | |||
{| class="wikitable" | |||
!Q: Waarom moeten we bijtrainen? We hebben toch al 1500 regels beoordeeld en als input gebruikt? | |||
|- | |||
|A: Omdat niet alle scenario’s voorkomen in de eerste trainingset; bijtrainen is nodig om het model beter te laten presteren op meer situaties. | |||
|} | |||
{| class="wikitable" | |||
!Q: Hoe kan het dat een model slechter gaat presteren (bijvoorbeeld een lagere F1-score krijgt) na vaker trainen? | |||
|- | |- | ||
|A: Oorzaak kan zijn inconsistente labeling van extra data of overfitting op trainingsvoorbeelden, waardoor het model slecht generaliseert naar nieuwe gevallen. | |||
|} | |} | ||
Q: Hoe werkt een taalmodel? | |||
=== Algemeen === | |||
Q: Hoe werkt een taalmodel? | |||
'''A:''' Een taalmodel is slimme software die is getraind op grote hoeveelheden tekst. Het trainen van zo’n model gebeurt door voorbeeldverslagen te laten beoordelen door een mens. Zo leert het model patronen en verbanden in taal te herkennen. Als het taalmodel een verslag onderzoekt, kijkt het bijvoorbeeld naar specifieke woorden, zinsstructuren en de context waarin informatie wordt beschreven. Zo kan het model beoordelen of het verslag voldoet aan de eisen voor rechtmatige registratie. Het is belangrijk om te realiseren dat de input die wordt verzameld tijdens het trainen van het model, de uiteindelijke output bepaalt. | '''A:''' Een taalmodel is slimme software die is getraind op grote hoeveelheden tekst. Het trainen van zo’n model gebeurt door voorbeeldverslagen te laten beoordelen door een mens. Zo leert het model patronen en verbanden in taal te herkennen. Als het taalmodel een verslag onderzoekt, kijkt het bijvoorbeeld naar specifieke woorden, zinsstructuren en de context waarin informatie wordt beschreven. Zo kan het model beoordelen of het verslag voldoet aan de eisen voor rechtmatige registratie. Het is belangrijk om te realiseren dat de input die wordt verzameld tijdens het trainen van het model, de uiteindelijke output bepaalt. | ||