AI - Automatisering Zorgregistratie (GGZ): verschil tussen versies

Naar navigatie springen Naar zoeken springen
← Oudere bewerking
VisueelWikitekst
Rtanis (overleg | bijdragen)
Beheerders
4.942 bewerkingen
Mverhaeg (overleg | bijdragen)
Beheerders
1.631 bewerkingen
 
(122 tussenliggende versies door 6 gebruikers niet weergegeven)
Regel 2: Regel 2:


== Inleiding ==
== Inleiding ==
Digitale transformatie in de GGZ is door toenemende vergrijzing en stijgende (personeels)kosten noodzakelijk geworden. De traditionele methoden en systemen voldoen niet langer aan de groeiende en steeds complexere (informatie)behoeften van financiers, accountants en toezichthouders. Een ingrijpende verandering in de manier waarop we zorg registreren, factureren en verantwoorden is essentieel om de uitdagingen van nu aan te kunnen.
Digitale transformatie is steeds belangrijker in de GGZ, onder andere door de vergrijzing en stijgende (personeels)kosten. De oude werkwijzen en systemen voldoen niet meer aan de eisen van financiers, accountants en toezichthouders. Op dit moment wordt er veel tijd besteed aan het uitvoeren van steekproeven om het restrisico af te dichten, wat veel administratieve last oplevert.


Gesteund door de afspraken in het Integraal Zorgakkoord ([https://www.rijksoverheid.nl/documenten/rapporten/2022/09/16/integraal-zorgakkoord-samen-werken-aan-gezonde-zorg IZA]) en adviezen van de Raad van Volksgezondheid en Samenleving ([https://www.raadrvs.nl/adviezen/is-dit-wel-verantwoord RVS]) zet ValueCare voor de GGZ in op het borgen van goede, toegankelijke en betaalbare zorg door:
Gesteund door de afspraken in het Integraal Zorgakkoord ([https://www.rijksoverheid.nl/documenten/rapporten/2022/09/16/integraal-zorgakkoord-samen-werken-aan-gezonde-zorg IZA]) en adviezen van de Raad van Volksgezondheid en Samenleving ([https://www.raadrvs.nl/adviezen/is-dit-wel-verantwoord RVS]) zet ValueCare voor de GGZ in op het borgen van goede, toegankelijke en betaalbare zorg door:


* Het verminderen van administratieve (verantwoordings)lasten, en  
* Vermindering van administratieve (verantwoordings)lasten, en
* Het vereenvoudigen van de registratie.  
* Vereenvoudiging van de registratie.


Daarnaast wil ValueCare de zorg helpen door transparant te zijn en kennis te delen.
Daarnaast wil ValueCare de zorg helpen door transparant te zijn en kennis te delen. Deze openbare wiki-pagina beschrijft de mogelijkheden van digitale technieken voor de transformatie waar de GGZ voor staat in de komende jaren. ValueCare faciliteert deze verandering via drie methoden:


Deze openbare wiki pagina geeft de details over de mogelijkheden om digitale technieken in te zetten voor de transformatie opgave waar de GGZ voor staat de komende jaren.
* '''Controles met AI-taalmodellen óf Large Language modellen (LLM)'''
* '''Controles op basis van nieuwe databronnen (datalakehouses)'''
* '''Automatisering via Robotic Process Automation (RPA)'''


Deze technieken komen terug in drie bibliotheken:


* Controles met taalmodellen (o.b.v. AI)
Voor meer informatie over '''<u>de technieken,</u>''' ga naar:
* Controles met (nieuwe) beschikbare databronnen (a.d.h.v. datalakehouses)
* Automatisering (m.b.v. RPA)


== Achtergrond bij AI techniek ==
* [[GGZ AI - Taalmodellen]]
De AI-analyse van de verslaglegging werkt als volgt:
* [[GGZ AI - Large Language Models (LLM)]]
* [[RPA - Automatisering Zorgregistratie GGZ|Robotic Process Automation (RPA)]]


# Er wordt een AI-taalmodel beschikbaar gemaakt op de klant ValueCare server.
[[Bestand:Lijstjes.png|miniatuur|200x200px|Luca analyseert verslagleggingen|alt=]]
#* ValueCare beoordeelt medische verslagen door gebruik te maken van een fine-tuned RoBERTa model (een specifiek soort AI-Large Language Model). RoBERTa staat voor: a Robustly Optimized BERT (Bidirectional Encoder Representations from Transformers) pretraining Approach.
#* ValueCare gebruikt als basis een open-source RoBERTa model dat specifiek is getraind voor Nederlandstalige medische data. Het model heeft al kennis over taalstructuren en woordrelaties.
#* Er wordt gebruik gemaakt van RoBERT. RoBERT is een Nederlands vooraf getraind RoBERTa model.
# Er wordt een training set gemaakt in afstemming met de klant.
#* De training set bevat een reeks van verslaglegging records voor gerealiseerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging is aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig bevonden kan worden of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseerd.
#* De training set moet voldoende groot zijn. Een te kleine training set leidt tot onvoldoende nauwkeurigheid van het AI-model.
#* De training set kan óf automatisch worden opgesteld óf handmatig worden opgesteld. Veelal worden handmatige beoordelingen uit het verleden gebruikt uit zelfonderzoeken of Horizontaal Toezicht audits. Daarnaast wordt deze set in de regel aangevuld met een groot aantal handmatig beoordeelde verslagleggingen.
# Het AI-taalmodel wordt getraind met de verslaglegging en classificatie uit de training set. Hierdoor is een getraind AI-taalmodel beschikbaar op de ValueCare server. Het AI-model kan dus verslaglegging categoriseren naar rechtmatig of onrechtmatig.
# Vervolgens wordt de gehele controlemassa van verslagleggingen voorgelegd aan het AI-model. Het AI-model categoriseert de verslaglegging en geeft de zekerheid van het model aan.
# De resultaten worden in een actielijst getoond.
 
Controle op de AI-technologie vindt als volgt plaats:
 
# Elke actielijst wordt na oplevering door ValueCare getest door de klant in samenwerking met ValueCare. Bij akkoord wordt de actielijst in productie geplaatst.
#* Met het testen van de actielijst wordt ook het AI-algoritme getest.
#* Er wordt gecontroleerd of de resultaten in de actielijst correct zijn aan de hand van een menselijke beoordeling.
# Jaarlijks wordt de werking van de actielijst door een steekproef getest door de klant in samenwerking met ValueCare.
#* Er wordt gecontroleerd of de resultaten in de actielijst correct zijn aan de hand van een menselijke beoordeling.
 
'''Beheer AI: modelversies toelichting waarden'''
 
Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.
 
''F1 score:'' de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.
 
* ''Precisie:'' hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
* ''Recall (volledigheid):'' hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.
 
''Accuratesse:'' het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.
 
''Specificiteit:'' een waarde die de kans op een negatief resultaat weergeeft, ook wel '''true negative rate'''. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.
 
''Aantal prediction categorieën'': hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.


== Bibliotheek normen Artificial Intelligence ==
== Bibliotheek normen Artificial Intelligence ==
[[Bestand:Lijstjes.png|miniatuur|200x200px|Luca analyseert verslagleggingen|alt=]]
In de zorgsector is nauwkeurige verslaglegging niet enkel een administratieve handeling, maar vormt het ook de basis voor het vaststellen van de rechtmatigheid van geregistreerde zorg, evenals het identificeren van mogelijke gemiste registratie van geleverde diensten. Het handmatig doorlopen en controleren van deze omvangrijke verslagleggingen is echter een arbeidsintensief proces, dat zowel tijdsgebonden als kostbaar kan zijn. ValueCare erkent de behoefte aan een efficiëntere aanpak en heeft daarom geïnvesteerd in de kracht van Artificial Intelligence. Met behulp van geavanceerde AI-modellen kunnen verslagleggingen snel en accuraat worden geanalyseerd. In het volgende overzicht presenteren we de normen die gebruik maken van de getrainde ValueCare-taalmodellen die specifiek zijn ontwikkeld om de integriteit van de registratie te waarborgen.
In de zorgsector is nauwkeurige verslaglegging niet enkel een administratieve handeling, maar vormt het ook de basis voor het vaststellen van de rechtmatigheid van geregistreerde zorg, evenals het identificeren van mogelijke gemiste registratie van geleverde diensten. Het handmatig doorlopen en controleren van deze omvangrijke verslagleggingen is echter een arbeidsintensief proces, dat zowel tijdsgebonden als kostbaar kan zijn. ValueCare erkent de behoefte aan een efficiëntere aanpak en heeft daarom geïnvesteerd in de kracht van Artificial Intelligence. Met behulp van geavanceerde AI-modellen kunnen verslagleggingen snel en accuraat worden geanalyseerd. In het volgende overzicht presenteren we de normen die gebruik maken van de getrainde ValueCare-taalmodellen die specifiek zijn ontwikkeld om de integriteit van de registratie te waarborgen.
=== Taalmodellen en Large Language model normen ===
Hieronder is de lijst te vinden van de AI-normen, zowel de taalmodel- als de LLM-versie. In de kolom erna staat weergegeven of deze normen te gebruiken zijn binnen HT, en dus geauditeerd zijn.
{| class="wikitable" border="1" cellspacing="1" cellpadding="1" style="width:1600px;"
{| class="wikitable" border="1" cellspacing="1" cellpadding="1" style="width:1600px;"
|-
|-
|Nr
| style="width: 650px;" |<span>'''Normomschrijving'''</span>
| style="width: 650px;" |<span>'''Normomschrijving'''</span>
| style="width: 125px;  " |'''Type controle'''
| style="width: 125px;  " |'''Taalmodel versie'''
|'''HT'''
|'''LLM versie  (in ontwikkeling)'''
|'''HT'''
|'''Soort controle'''
|'''Soort controle'''
|'''Bekostiging'''
|'''Bekostiging'''
| style="width: 160px;" |<span>'''Status'''</span>
| style="width: 160px;" |<span>'''Status'''</span>
| style="width: 100px;  " |<span>'''Actueel van - tot'''</span>
| style="width: 100px;  " |<span>'''Planning'''</span>
|-
|-
|
|
|
|
|
|
|
|
|
|
|-
|
|'''Consulten en toeslagen'''
|'''Consulten en toeslagen'''
|
|
|
|
|
|
|
|
|-
|
|Verslaglegging niet te beoordelen door model
|NVT
|
|[[Verslaglegging niet te beoordelen door model (N6499)|N6499]]
|
|
|
|
Regel 76: Regel 75:
|
|
|-
|-
|[[Periode met medewerker zonder (geldige) AGB-code (N2905)|AI-analyse van verslaglegging bij telefonisch consult duidt op onrechtmatige registratie (N6400)]]
|00
|Taalmodel
|Verslaglegging duidt op mogelijk onterechte registratie van telefonisch consult
|[[N6400]]
|Ja
|N6500 (in ontwikkeling)
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
|Gereed
|Opgeleverd
|2024-
|Afgerond
|-
|-
|[[Medewerker met ongeldige kwalificatie AGB-code (N2904)|AI-analyse van verslaglegging bij afspraak duidt op gemist declarabel telefonisch consult (N6401)]]
|01
|Taalmodel
|Verslaglegging duidt op mogelijk gemiste registratie van telefonisch consult
|[[N6401]]
|Ja
|N6501 (in ontwikkeling)
|
|Volledigheid
|Volledigheid
|ZPM
|ZPM
|Gereed
|Opgeleverd
|2024-
|Afgerond
|-
|-
| style="width: 500px;" |[[AI-analyse van verslaglegging bij consult duidt op geen feitelijke levering van het consult (N6403)]]
|02
| style="width: 125px;" |Taalmodel
|Verslaglegging duidt op mogelijk incorrecte behandelinhoudelijkheid bij registratie van consult
|NVT
|
|[[N6502]]
|
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|03
| style="width: 500px;" |Verslaglegging duidt op mogelijk onterechte registratie van consult
| style="width: 125px;" |[[Verslaglegging duidt op mogelijk onterechte registratie van consult (N6403)|N6403]]
|Ja
|[[N6503]]
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
| style="width: 75px;" |Gereed
| style="width: 75px;" |Opgeleverd
| style="width: 100px;" |2024-
| style="width: 100px;" |Afgerond
|-
|-
|[[Periode met medewerker niet gekoppeld aan instelling (via Vektis) (N2906)|AI-analyse van verslaglegging bij consult duidt op een gemist declarabel consult (N6404)]]
|04
|Taalmodel
|Verslaglegging duidt op mogelijk gemiste registratie van consult
|[[Verslaglegging duidt op mogelijk gemiste registratie van consult (N6404)|N6404]]
|
|[[Verslaglegging duidt op mogelijk gemiste registratie van consult (N6504)|N6504]]
|
|Volledigheid
|Volledigheid
|ZPM
|ZPM
|Gereed
|Opgeleverd
|2024-
|Afgerond
|-
|-
|[[Diagnostiekconsult duidt op onrechtmatige registratie (N6407)]]
|07
|Taalmodel
|Verslaglegging duidt op mogelijk onjuiste registratie van een diagnostiekconsult
|[[N6407]]
|
|N6507 (in ontwikkeling)
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
|In ontwikkeling
|Opgeleverd
|Q4 2024-
|Afgerond
|-
|-
|[[Behandelconsult duidt op onrechtmatige registratie (N6408)]]
|08
|Taalmodel
|Verslaglegging duidt op mogelijk onjuiste registratie van een behandelconsult
|[[N6408]]
|
|N6508 (in ontwikkeling)
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
|In ontwikkeling
|Opgeleverd
|Q4 2024-
|Afgerond
|-
|-
|'''Verblijf'''
|18
|Verslaglegging duidt op onterecht diagnostiekconsult ná vastlegging diagnose
|
|
|
|[[N6518]]
|
|
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|09
|Verslaglegging duidt op mogelijk onjuiste registratie van een crisisconsult
|[[N6409]]
|
|
|
|
|
|
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|-
|[[AI-analyse van verslaglegging bij verblijf duidt op onrechtmatige verblijfsdag omdat client in nacht afwezig was (N6405)]]
|12
|Taalmodel
|Verslaglegging duidt op mogelijk onterechte registratie van een toeslag tolk
|[[Verslaglegging duidt op mogelijk onterechte registratie van een toeslag tolk (N6412)|N6412]]
|
|
|
|Rechtmatigheid
|Rechtmatigheid
|ZPM
|ZPM
|Gereed
|Opgeleverd
|2024-
|Afgerond
|-
|-
|[[Deelwaarneming Beroepen - Gegevensgericht (N9238)|AI-analyse van verslaglegging bij verblijf duidt op een gemiste verblijfsdag (N6406)]]
|13
|Taalmodel
|Verslaglegging duidt op mogelijk gemiste registratie van een toeslag tolk
|[[Verslaglegging duidt op mogelijk gemiste registratie van een toeslag tolk (N6413)|N6413]]
|
|
|
|Volledigheid
|Volledigheid
|ZPM
|ZPM
|Gereed
|Opgeleverd
|2024-
|Afgerond
|}
|-
== Bibliotheek Actielijsten RPA (Robot Process Automation) ==
|14
 
|Verslaglegging duidt op mogelijk onterechte registratie van groepsconsult
=== LuCa: Digitale Ondersteuning in de Zorg ===
|[[N6414]]
 
|
 
|
In de hedendaagse zorgwereld is expertise van onschatbare waarde. Medewerkers in de zorgwereld bezitten een schat aan zorginhoudelijke kennis die zij dagelijks toepassen. Terwijl de complexiteit van deze kennis en de uitvoering ervan hoog is, zijn er ook werkzaamheden die een herhalend karakter kennen. Om de efficiëntie te verhogen en medewerkers meer ruimte te bieden voor gespecialiseerde taken, heeft ValueCare RPA-oplossingen beschikbaar om deze repeterende werkzaamheden te automatiseren. De onderstaande lijsten geven de robots weer die binnen het ValueCare netwerk operationeel zijn en deze automatisering mogelijk maken. Voor elke robot worden de acties en hun kenmerken uiteengezet die hen geschikt maken voor automatisering, evenals een beschrijving van de gerealiseerde robotflows. Deze robots staan klaar om onmiddellijk te worden geïmplementeerd, waarmee een directe verbetering in efficiëntie binnen uw werkprocessen kan worden gerealiseerd.[[Bestand:Luca lost acties op .png|miniatuur|Luca lost acties op ]]
|
{| class="wikitable" border="1" cellspacing="1" cellpadding="1" style="width:1600px;"
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|-
| style="width: 650px;" |<span>'''Normomschrijving'''</span>
|15
| style="width: 160px;" |<span>'''Status'''</span>
|Verslaglegging duidt op mogelijk gemiste registratie van groepsconsult
| style="width: 100px;  " |<span>'''Actueel van - tot'''</span>
|[[N6415]]
|'''Applicatie'''
|
|
|
|Volledigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|-
|
|
|Toeslag oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) ontbreekt
|
|
|
|
|
|
|
|Volledigheid
|ZPM
|Ontwerpen
|n.t.b.
|-
|-
|'''Consulten en toeslagen'''
|
|Afspraak houdt geen verband met ECT
|
|
|
|
|
|
|
|Volledigheid
|ZPM
|Ontwerpen
|n.t.b.
|-
|-
|Zet (telefonisch) consult om in indirecte tijd
|
|Toeslag psychodiagnostiek ontbreekt
|
|
|
|
|Volledigheid
|ZPM
|Ontwerpen
|Ontwerpen
|Q1 2025
|n.t.b.
|-
|
|
|
|
|
|
|
|
|
|
|
|-
|-
|Zet (telefonische) afspraak om in directe consult
|
|Ontwerpen
|'''Verblijf'''
|Q1 2025
|
|
|
|
|
|
|
|
|
|-
|-
|Zet belcontact in agenda
|05
|Ontwerpen
|Verslaglegging duidt op mogelijk onterechte registratie van verblijfsdag
|Q1 2025
|[[Verslaglegging duidt op mogelijk onterechte registratie van verblijfsdag (N6405)|N6405]]
|Ja
|[[N6505]]
|
|
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|-
|Zet belcontact met naaste in agenda
|06
|Ontwerpen
|Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag
|Q1 2025
|[[Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag (N6406)|N6406]]
|
|[[N6506]]
|
|
|Volledigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|-
|Past afspraakregistratie aan bij overlap
|Ontwerpen
|Q1 2025
|
|
|-
|Oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz)
|Past afspraakduur aan
|
|Ontwerpen
|
|Q1 2025
|
|
|-
|Past contactsoort aan
|Ontwerpen
|Q1 2025
|
|
|-
|Volledigheid
|Voegt toeslag oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) toe aan afspraak
|ZPM
|Ontwerpen
|Ontwerpen
|Q1 2025
|n.t.b.
|Nexus, mQ, USER
|-
|-
|Voegt toeslag tolk toe aan afspraak
|
|Ontwerpen
|
|Q1 2025
|
|
|
|
|
|
|
|
|
|-
|-
|Voegt afspraken zonder zorginhoudelijke onderbreking samen
|
|Ontwerpen
|'''Overige prestaties'''
|Q1 2025
|
|
|
|
|
|
|
|
|
|-
|-
|Voegt toeslag psychodiagnostiek toe aan afspraak
|10
|Ontwerpen
|Verslaglegging duidt op mogelijk onterechte registratie van reistijd (N6410)
|Q1 2025
|[[Verslaglegging duidt op mogelijk onterechte registratie van reistijd (N6410)|N6410]]
|
|[[N6510]]
|
|
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|-
|Diagnogstiekconsult duidt op onrechtmatige registratie
|11
|Ontwerpen
|Verslaglegging duidt op mogelijk gemiste registratie van reistijd (N6411)
|Q1 2025
|[[N6411]]
|
|[[N6511]]
|
|
|Volledigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|-
|Behandelconsult duidt op onrechtmatige registratie
|
|Afspraak duidt op consultatie ggz door sociaal domein
|
|
|
|
|Volledigheid
|ZPM
|Ontwerpen
|Ontwerpen
|Q1 2025
|n.t.b.
|-
|
|
|
|
|
|
|
|
|
|
|
|-
|-
|Registreert indirecte tijd afspraken​.
|
|Ontwerpen
|'''Aanspraak & Onverzekerde zorg'''
|Q1 2025
|
|
|
|
|
|
|
|
|
|-
|-
|[[Stuurinformatie Horizontaal Toezicht - Blokkadelijst ZPM - Robot USER (R61800)|R61800 - Blokkeert  consulten voor facturatie bij onrechtmatige registratie]]
|Gereed
|n.v.t.
|
|
|Jaarlijkse beloofbrief aan de huisarts staat in concept
|
|
|
|
|Rechtmatigheid
|ZPM
|Ontwerpen
|n.t.b.
|-
|-
|
|Feitelijke geleverde zorg duidt op te lage indicatie
|
|
|
|
|
|
|
|
|Volledigheid
|LZ
|Ontwerpen
|n.t.b.
|-
|-
|'''Verblijf'''
|
|Feitelijke geleverde zorg duidt op te hoge indicatie
|
|
|
|
|
|
|
|Rechtmatigheid
|LZ
|Ontwerpen
|n.t.b.
|}
=== Datafusie ===
{| class="wikitable" border="1" cellspacing="1" cellpadding="1" style="width:1600px;"
|<span>'''Normomschrijving'''</span>
|'''Type controle'''
|'''Soort controle'''
|'''Bekostiging'''
|<span>'''Status'''</span>
|<span>'''Planning'''</span>
|-
|-
|Zet onrechtmatige geregistreerde verblijfsdag op afwezig
|Ontwerpen
|Afgerond
|
|
|-
|
|Zet gemiste verblijfsdag op aanwezig
|
|
|
|
|
|
|
|-
|-
|Voegt toeslag Oorlogsgerelateerd psychotrauma (alleen op verblijfsdag D ggz) toe
|'''Consulten en toeslagen'''
|
|
|
|
|
|
|
|
|-
|-
|[[Stuurinformatie Horizontaal Toezicht - Blokkadelijst ZPM - Robot USER (R61800)|R61800 - Blokkeert verblijfsdagen bij onrechtmatige registratie]]
|[[Belcontact duidt op gemist (declarabel) consult (N4000)|Belcontact duidt op gemist declarabel consult (N4000)]]
|Gereed
|Datafusie
|n.v.t.
|Volledigheid
|Nexus, mQ, USER
|ZPM
|Opgeleverd
|Afgerond
|-
|[[Duur belcontact wijkt af van duur geregistreerd telefonisch consult (N4001)]]
|Datafusie
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|-
|[[Onjuist contactsoort geregistreerd bij telefonisch consult (N4002)]]
|Datafusie
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|[[Belcontact vindt plaats tijdens consult met andere patiënt (overlap) (N4003)]]
|Datafusie
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|[[Telefonisch consult geregistreerd zonder belcontact in mobiele data (N4004)]]
|Datafusie
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|
|
|
|
|
|
Regel 272: Regel 482:
|
|
|-
|-
|'''Aanspraak & Onverzekerde zorg'''
|'''Planning is realisatie'''
|
|
|
|
|
|
|-
|Past verwijsdatum aan
|Ontwerpen
|Q1 2025
|
|
|-
|Past verwijzer aan
|Ontwerpen
|Q1 2025
|
|
|-
|-
|Past type verwijzer aan
|Contact feitelijk geleverd, maar contactduur ongewijzigd bij afwijking > 15 minuten
|Datafusie
|Rechtmatigheid
|ZPM
|Ontwerpen
|Ontwerpen
|Q1 2025
|Vooralsnog niet mogelijk, alleen via N4001.
|
|-
|-
|Zet concept jaarlijkse beloofbrief aan de huisarts klaar
|Contact feitelijk geleverd, maar contactduur gewijzigd bij verandering <15 minuten
|Datafusie
|Volledigheid
|ZPM
|Ontwerpen
|Ontwerpen
|Q1 2025
|Q4 2025
|
|-
|-
|Verwerkt aanmeldingen in het EPD
|
|
|
|
|
|
|-
|Maakt diagnose definitief
|
|
|
|
|
|
|-
|-
|Maakt zorgvraagtypering definitief
|'''Verblijf'''
|
|
|
|
|
|
|
|
|-
|-
|Patiënt in WiFi zonder aanwezigheidsdag
|Datafusie
|Volledigheid
|ZPM
|Ontwerpen
|n.t.b.
|-
|Patiënt buiten WiFi met aanwezigheidsdag
|Datafusie
|Rechtmatigheid
|ZPM
|Ontwerpen
|n.t.b.
|-
|
|
|
|
|
|
Regel 321: Regel 542:
|
|
|
|
|
|
|-
|Behandelaar op externe locatie zonder reistijd
|Datafusie
|Volledigheid
|ZPM
|Ontwerpen
|n.t.b.
|-
|-
|Verwijderd overige prestatie reistijd
|
|
|
|
|
|
|-
|Voeg overigeprestatie reistijd toe
|
|
|
|
|
|
|-
|-
|[[Stuurinformatie Horizontaal Toezicht - Blokkadelijst ZPM - Robot USER (R61800)|R61800 - Blokkeert overige prestaties bij onrechtmatige registratie]]
|'''Aanspraak & Onverzekerde zorg'''
|Gereed
|
|n.v.t.
|Nexus, mQ, USER
|-
|
|
|
|
Regel 342: Regel 566:
|
|
|-
|-
|'''Beroepen'''
|[[Verwijsdatum niet juist overgenomen in EPD (N6420)]]
|
|Taalmodel/PDF-scan verwijsbrief
|
|Rechtmatigheid
|
|ZPM
|Opgeleverd
|Afgerond
|-
|Verwijzer niet juist overgenomen in EPD (N6421)
|Taalmodel/PDF-scan verwijsbrief
|Rechtmatigheid
|ZPM
|Ontwerpen
|Q4 2025
|-
|[[Vastlegging AGB-code verwijzer niet juist vastgelegd in EPD (N6423)]]
|Taalmodel/PDF-scan verwijsbrief
|Rechtmatigheid
|ZPM
|Opgeleverd
|Afgerond
|-
|Vastlegging type verwijzer niet juist vastgelegd in EPD (N6424)
|Taalmodel/PDF-scan verwijsbrief
|Rechtmatigheid
|ZPM
|Ontwerpen
|Q4 2025
|}
 
== Beheer AI: modelversies toelichting waarden ==
Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.
 
'''F1 score:''' de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.
 
* '''Precisie''''':'' hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
* '''Recall''' ''(volledigheid):'' hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.
* '''Accuratesse''''':'' het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.
* '''Specificiteit''''':'' een waarde die de kans op een negatief resultaat weergeeft, ook wel '''true negative rate'''. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.
* '''Aantal prediction categorieën''': hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.
 
==== Beheer en risicobeheersing van AI-controles ====
Het beheer van de controles op het taalmodel vindt plaats via een aantal specifieke beheermodules, gericht op transparantie en risicobeheersing:
{| class="wikitable"
!Beheerfunctie
!Omschrijving
|-
|Beheer Risicobeheersing Taalmodel: Model versie
|Mogelijkheid om de verschillende (historische) modelversies (en bovengenoemde parameters) in te zien.
|-
|Beheer Risicobeheersing Taalmodel: Training instellingen
|Inzicht en beheer van de instellingen waarmee het model is getraind.
|-
|Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling
|Instellingen kunnen hier de training- en testset beoordelen; deze beoordeling wordt vervolgens gebruikt als basis voor het trainen van het taalmodel.
|-
|Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling actielijst
|Inzien van verslaglegging over acties die (in test of productie) worden gesignaleerd binnen de taalmodelcontroles.
|-
|Beheer Risicobeheersing Taalmodel: Bijtrainingssets
|Overzicht van de regels die in (toekomstige) bijtrainingsfases worden ingezet.
|-
|-
|[[R90043 - Personeel - Verschil tussen BIG register en BIG gegevens HR-systeem - Robot Visma|R90043 - Personeel - Verschil tussen BIG register en BIG gegevens HR-systeem - Visma]]
|Beheer Risicobeheersing Taalmodel: Feitelijke levering bijtrainingsbibliotheek
|Gereed
|Hier worden standaard woord(combinaties) weergegeven die frequent voorkomen binnen instellingen en of deze vaker wél of niet geleverd zijn. Wanneer een regel wordt geactiveerd in deze beheertabel, worden er automatisch 25 gegenereerde zinnen met die woordcombinatie toegevoegd aan de bijtrainingsset.
|n.v.t.
|Visma
|}
|}


== Bibliotheek Registratie Processen RPA ==
== Belangrijke parameters binnen AI ==
{| class="wikitable" id="homepage-table"
{| class="wikitable"
!Zorg gerelateerde registratie processen voor automatisering
!Parameter
!Omschrijving
!Standaardwaarde
|-
|GGZ_HT_AI_INSTELLING
|Maakt uw organisatie gebruik van  AI bij ValueCare?
|Nee
|-
|-
|[[Aanmeldproces Nexus automatiseren]]
|N64_MODEL_VERSIE
|Huidige modelversie (instelbaar per organisatie of moment).
|(leeg, kan gevuld worden)
|-
|-
|[[Robot - Beschikkingen Jeugd onderaannemers overbrengen naar EPD|Beschikkingen Jeugd onderaannemers overbrengen naar EPD]]
|N64_MODEL_VERSIE_OUD
|Vorige modelversie (voor rapportage of terugval).
|(leeg, kan gevuld worden)
|-
|-
|[[Robot - Facturen invoeren in AFAS|Facturen invoeren in AFAS]]
|AI_DRAAIDAGEN_ACCEPTATIE
|Op welke dag draait de AI in de acceptatieomgeving? (Dagnummer, 1 = maandag)
|8 (AI draait niet automatisch)
|-
|-
|[[Robot - Ortec rooster status aanpassen|Ortec rooster status aanpassen]]
|AI_DRAAIDAGEN_PRODUCTIE
|Op welke dag draait de AI in de productieomgeving? (Dagnummer, 1 = maandag)
|8 (AI draait niet automatisch)
|-
|-
|Aanvragen jeugdbeschikkingen MQ
|AI_EXTRA_DRAAIDAGEN_EINDTIJD
|Tot welk tijdstip zijn extra AI-draaidagen actief?
|17:00 uur
|-
|-
|Overbrengen data naar MQ
|GGZ_AI_BEOORDELEN_ACTIELIJST_BEHEERTABEL
|Zijn verslagen van de actielijst zichtbaar in het beheerscherm ‘AI: Feitelijke levering beoordeling actielijst’?
|Nee (standaard niet zichtbaar)
|-
|-
|Resultaten COV check invoeren in EPD
|GGZ_AI_FL_MINIMUM_BIJTRAINEN
|Vanaf hoeveel genegeerde items op de actielijst wordt het AI-model automatisch bijgetraind?
|150
|-
|-
|Invoeren nieuwe cliënten vanuit Zorgdomein in EPD
|AI_FL_OPLOSSER_BEOORDELINGEN_ACTIELIJST
|Wiens beoordelingen worden meegenomen in het verder trainen van het model.
|(leeg, kan gevuld worden)
|-
|-
|Vanuit Triageformulier het dossier invullen
|AI_N64_MAX_RUNTIME
|}
|Maximale tijd (in seconden) dat het AI-model mag draaien.
{| class="wikitable" id="homepage-table"
|3600 (1 uur)
!Personeelsgerelateerde processen voor automatisering
|-
|-
|Aanmaken nieuwe gebruiker in EPD vanuit HR systeem
|GGZ_AI_VERBLIJF_NACHTRAP_VERSLAGREGELTYPE
|}
|Worden specifieke soorten verblijf-verslagen herkend aan een verslagregeltype?
{| class="wikitable" id="homepage-table"
|(leeg, kan gevuld worden)
!Datagedreven actielijsten ter verbetering van zorg processen
|-
|-
|Afspraak heeft verhoogd risico op NoShow
|AI_FL_VERBLIJF_VERSLAG_GROEPREN
|Worden AI-verblijfsverslagen gegroepeerd?
|Nee
|-
|-
|Voorstel voor nieuwe afspraak cliënt in agenda behandelaar
|AI_FL_TIJDSCHRIJVEN_MEDEWERKER_CODE_UITSLUITEN
|Uitsluiten van bepaalde medewerkers van AI-controle op tijdschrijven.
|(leeg, kan gevuld worden)
|-
|-
|Cliënt op wachtlijst heeft verhoogde kans op verslechtering
|GGZ_BLOK_AI_ACTIES_SPECIFIEK_OBV_TOELICHTING
|Zorgt ervoor dat alléén bepaalde AI-acties worden meegenomen in blokkadelijsten (bv. alleen 'AI juist').
|(leeg, kan gevuld worden)
|}
|}
<p style="text-align: center">{{VALUECARE}}</p>
 
== Vragen en antwoorden (Q&A) ==
Voor de vragen en antwoorden (Q&A), ga naar [[AI GGZ - Vragen en antwoorden (Q&A)]]
 
{{VALUECARE}}
Overgenomen van "https://www.normenkaderzorg.nl/index.php/AI_-_Automatisering_Zorgregistratie_(GGZ)"