|
|
| Regel 16: |
Regel 16: |
|
| |
|
|
| |
|
| Voor meer informatie over de technieken, ga naar: | | Voor meer informatie over '''<u>de technieken,</u>''' ga naar: |
|
| |
|
| * [[GGZ AI - Taalmodellen]] | | * [[GGZ AI - Taalmodellen]] |
| * [[GGZ AI - Large Language Models (LLM)]] | | * [[GGZ AI - Large Language Models (LLM)]] |
| * [[RPA - Automatisering Zorgregistratie GGZ|Robotic Process Automation (RPA)]] | | * [[RPA - Automatisering Zorgregistratie GGZ|Robotic Process Automation (RPA)]] |
|
| |
| == Achtergrond bij AI techniek ==
| |
| De toepassing van AI in verslagleggingsanalyse werkt als volgt:
| |
|
| |
| # Beschikbaarheid model: Een AI-taalmodel draait op de ValueCare-server van de klant.
| |
| #* ValueCare gebruikt een specifiek voor Nederlandstalige medische data getraind RoBERTa-model (“Robustly Optimized BERT Pretraining Approach”), in de vorm van RoBERT, een open source model.
| |
| # Samenstelling trainingset: In samenwerking met de klant wordt een trainingset samengesteld.
| |
| #* De trainingset bevat een reeks van verslaglegging records voor gerealiseerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging is aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig bevonden kan worden of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseer
| |
| #* De trainingset is bij voorkeur voldoende omvangrijk en kan automatisch of handmatig worden samengesteld (meestal via Horizontaal Toezicht of zelfonderzoek).
| |
| # Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid te classificeren.
| |
| # Controle: Het taalmodel classificeert alle verslaglegging en bepaalt de mate van zekerheid.
| |
| # Resultaat: Resultaten van de AI worden weergegeven in een actielijst.
| |
| # Kanspercentage: Het kanspercentage is een instelbare drempelwaarde. Alleen acties met een modeluitkomst die boven deze afgesproken drempel ligt, worden zichtbaar gemaakt in de controle. Standaard ligt deze drempel op 50%. ValueCare adviseert welk percentage het meest geschikt is voor de klant.
| |
|
| |
|
| |
|
| |
| De datastroom van de AI-controles vindt als volgt plaats:[[Bestand:AI datastroom.jpg|geen|miniatuur|853x853px|Datastroom AI feitelijke levering]]
| |
|
| |
| == Kwaliteitsborging & Controle op de AI-Technologie ==
| |
| Het waarborgen van de betrouwbaarheid van het AI-model gebeurt als volgt:
| |
|
| |
| # Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst.
| |
| # Jaarlijkse herbeoordeling: Jaarlijks worden steekproeven door de klant samen met ValueCare gedaan, waarbij menselijke beoordeling als referentie wordt genomen.
| |
|
| |
| == Stappenplan: In Productie Nemen en Bijtrainen van AI-Taalmodellen ==
| |
| Om de toepasbaarheid en kwaliteit van de AI te borgen, volgt ValueCare een strikt stappenplan rondom training, inzet en vervolgtrainen van de AI-taalmodellen. Dit biedt transparantie, herhaalbaarheid en voortdurende optimalisatie.
| |
|
| |
| === <u>Trainingsfase (Stap 1–3) & Bijtrainingsfase (Stap 4–10)</u> ===
| |
|
| |
| # '''Opleiden van het model'''
| |
| #* Het model wordt getraind met een trainingset.
| |
| #* Voor validatie dient een aparte testset te worden beoordeeld die alléén wordt gebruikt voor evaluatie, zodat deze ook bruikbaar blijft bij bijtraining.
| |
| # '''Beperkte testperiode voor initiële evaluatie'''
| |
| #* Alleen de acties van één maand worden getest, om snelheid en overzichtelijkheid te bevorderen.
| |
| #* Geconstateerde fouten in deze maand dienen als input voor (eventuele) bijstelling voorafgaand aan productie. Zo zijn meerdere iteraties mogelijk.
| |
| # '''Modelgoedkeuring en overgang naar productie'''
| |
| #* Na akkoord van de instelling wordt het model in productie genomen bij een vastgesteld kanspercentage (advies komt vanuit de data-specialist van ValueCare).
| |
| #* Vanaf de startdatum van de controle verwerkt het model alle geselecteerde acties.
| |
| # '''Verwerking van foutieve acties na livegang'''
| |
| #* Foutieve meldingen worden na livegang niet langer individueel behandeld.
| |
| #* Instellingen markeren deze als ‘AI onjuist’ en negeren de betreffende actie.
| |
| # '''Signalering voor nieuwe bijtrainingsronde'''
| |
| #* Zodra er meer dan 300 gemarkeerd zijn met 'AI juist' of ‘AI onjuist’ (in actielijst óf beheertabel) waarvan er meer dan 150 op 'AI juist' staat, volgt er automatisch een melding voor ValueCare.
| |
| # '''Advies en overleg over bijtrainen'''
| |
| #* De data-specialist informeert de consultant bij behalen van de drempel, die op zijn/haar beurt samen met de instelling beoordeelt of bijtrainen wenselijk is.
| |
| # '''Voorbereiding van trainingsdata'''
| |
| #* Na akkoord verzamelt de data-specialist een evenredig aantal ‘AI juist’-beoordeelde posten uit de reeds uitgestroomde acties als extra trainingsdata.
| |
| # '''Bijtrainen van het model'''
| |
| #* Het model wordt opnieuw getraind met de nieuwe correcte én onjuiste acties.
| |
| # '''Evaluatie na bijtraining'''
| |
| #* Het nieuwe model wordt geëvalueerd en vergeleken met het oude, op basis van dezelfde testset als eerder.
| |
| #* Op basis van deze analyse volgt keuze: doorzetten naar productie of verdere optimalisatie.
| |
| # '''Herhaling cyclus'''
| |
| #* Het markeren en negeren van foutieve acties herhaalt zich tot de afgesproken drempel weer is bereikt; dan start het proces weer bij stap 5.
| |
|
| |
|
| [[Bestand:Lijstjes.png|miniatuur|200x200px|Luca analyseert verslagleggingen|alt=]] | | [[Bestand:Lijstjes.png|miniatuur|200x200px|Luca analyseert verslagleggingen|alt=]] |