AI - Automatisering Zorgregistratie (GGZ): verschil tussen versies

Naar navigatie springen Naar zoeken springen
← Oudere bewerkingNieuwere bewerking →
VisueelWikitekst
Regel 37: Regel 37:
# Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst.
# Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst.
# Jaarlijkse herbeoordeling: Jaarlijks worden steekproeven door de klant samen met ValueCare gedaan, waarbij menselijke beoordeling als referentie wordt genomen.
# Jaarlijkse herbeoordeling: Jaarlijks worden steekproeven door de klant samen met ValueCare gedaan, waarbij menselijke beoordeling als referentie wordt genomen.
== Beheer AI: modelversies toelichting waarden ==
Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.
'''F1 score:''' de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.
* '''Precisie''''':'' hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
* '''Recall''' ''(volledigheid):'' hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.
'''Accuratesse''''':'' het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.
'''Specificiteit''''':'' een waarde die de kans op een negatief resultaat weergeeft, ook wel '''true negative rate'''. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.
'''Aantal prediction categorieën''': hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.


== Stappenplan: In Productie Nemen en Bijtrainen van AI-Taalmodellen ==
== Stappenplan: In Productie Nemen en Bijtrainen van AI-Taalmodellen ==
Regel 84: Regel 70:


[[Bestand:Lijstjes.png|miniatuur|200x200px|Luca analyseert verslagleggingen|alt=]]
[[Bestand:Lijstjes.png|miniatuur|200x200px|Luca analyseert verslagleggingen|alt=]]
== Beheer AI: modelversies toelichting waarden ==
Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.
'''F1 score:''' de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.
* '''Precisie''''':'' hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
* '''Recall''' ''(volledigheid):'' hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.
* '''Accuratesse''''':'' het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.
* '''Specificiteit''''':'' een waarde die de kans op een negatief resultaat weergeeft, ook wel '''true negative rate'''. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.
* '''Aantal prediction categorieën''': hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.
==== Beheer en risicobeheersing van AI-controles ====
Het beheer van de controles op het taalmodel vindt plaats via een aantal specifieke beheermodules, gericht op transparantie en risicobeheersing:
{| class="wikitable"
!Beheerfunctie
!Omschrijving
|-
|Beheer Risicobeheersing Taalmodel: Model versie
|Mogelijkheid om de verschillende (historische) modelversies (en bovengenoemde parameters) in te zien.
|-
|Beheer Risicobeheersing Taalmodel: Training instellingen
|Inzicht en beheer van de instellingen waarmee het model is getraind.
|-
|Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling
|Instellingen kunnen hier de training- en testset beoordelen; deze beoordeling wordt vervolgens gebruikt als basis voor het trainen van het taalmodel.
|-
|Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling actielijst
|Inzien van verslaglegging over acties die (in test of productie) worden gesignaleerd binnen de taalmodelcontroles.
|-
|Beheer Risicobeheersing Taalmodel: Bijtrainingssets
|Overzicht van de regels die in (toekomstige) bijtrainingsfases worden ingezet.
|-
|Beheer Risicobeheersing Taalmodel: Feitelijke levering bijtrainingsbibliotheek
|Hier worden standaard woord(combinaties) weergegeven die frequent voorkomen binnen instellingen en of deze vaker wél of niet geleverd zijn. Wanneer een regel wordt geactiveerd in deze beheertabel, worden er automatisch 25 gegenereerde zinnen met die woordcombinatie toegevoegd aan de bijtrainingsset.
|}
== Bibliotheek normen Artificial Intelligence ==
== Bibliotheek normen Artificial Intelligence ==
In de zorgsector is nauwkeurige verslaglegging niet enkel een administratieve handeling, maar vormt het ook de basis voor het vaststellen van de rechtmatigheid van geregistreerde zorg, evenals het identificeren van mogelijke gemiste registratie van geleverde diensten. Het handmatig doorlopen en controleren van deze omvangrijke verslagleggingen is echter een arbeidsintensief proces, dat zowel tijdsgebonden als kostbaar kan zijn. ValueCare erkent de behoefte aan een efficiëntere aanpak en heeft daarom geïnvesteerd in de kracht van Artificial Intelligence. Met behulp van geavanceerde AI-modellen kunnen verslagleggingen snel en accuraat worden geanalyseerd. In het volgende overzicht presenteren we de normen die gebruik maken van de getrainde ValueCare-taalmodellen die specifiek zijn ontwikkeld om de integriteit van de registratie te waarborgen.
In de zorgsector is nauwkeurige verslaglegging niet enkel een administratieve handeling, maar vormt het ook de basis voor het vaststellen van de rechtmatigheid van geregistreerde zorg, evenals het identificeren van mogelijke gemiste registratie van geleverde diensten. Het handmatig doorlopen en controleren van deze omvangrijke verslagleggingen is echter een arbeidsintensief proces, dat zowel tijdsgebonden als kostbaar kan zijn. ValueCare erkent de behoefte aan een efficiëntere aanpak en heeft daarom geïnvesteerd in de kracht van Artificial Intelligence. Met behulp van geavanceerde AI-modellen kunnen verslagleggingen snel en accuraat worden geanalyseerd. In het volgende overzicht presenteren we de normen die gebruik maken van de getrainde ValueCare-taalmodellen die specifiek zijn ontwikkeld om de integriteit van de registratie te waarborgen.
Overgenomen van "https://www.normenkaderzorg.nl/index.php/AI_-_Automatisering_Zorgregistratie_(GGZ)"