Verslaglegging duidt op mogelijk incorrecte behandelinhoudelijkheid bij registratie van consult (N6502): verschil tussen versies

Naar navigatie springen Naar zoeken springen
← Oudere bewerking
VisueelWikitekst
Mstas (overleg | bijdragen)
Beheerders
577 bewerkingen
 
(5 tussenliggende versies door 3 gebruikers niet weergegeven)
Regel 9: Regel 9:


===== Samenvatting =====
===== Samenvatting =====
Deze norm signaleert acties wanneer met behulp van LLM wordt aangetoond dat consulten niet hbehandelinhoudelijk zijn geweest.  
Deze norm signaleert acties wanneer met behulp van LLM wordt aangetoond dat consulten niet behandelinhoudelijk zijn geweest.  
{| class="mw-collapsible wikitable" style="width:90em"
{| class="mw-collapsible wikitable" style="width:90em"
!Huidig (geldig vanaf 01-01-2024)
!Huidig (geldig vanaf 01-01-2024)
Regel 30: Regel 30:
* Deze controle is pas beschikbaar wanneer de N6499 en N6503 zijn gevalideerd (zie stroomschema hieronder)
* Deze controle is pas beschikbaar wanneer de N6499 en N6503 zijn gevalideerd (zie stroomschema hieronder)


===== Instelbaar =====
=====Instelbaar=====


* Norm signaleert vanaf: 01-01-2025 (standaard)
* Contactproduct code uitsluiten: Geen (standaard).
* Contactproductcode uitsluiten: Geen (standaard).
* Contactsoort uitsluiten: TEL (standaard)
* De volgende contactsoorten worden uitgesloten : Telefonisch consult (standaard) (telefonische consulten zitten in [https://www.normenkaderzorg.nl/Verslaglegging_duidt_op_mogelijk_onterechte_registratie_van_telefonisch_consult_(N6400) N6400]/[https://www.normenkaderzorg.nl/N6500 N6500])
* Het is instelbaar om specifieke contactproducten uit te sluiten X|X (standaard)
* N6502_CONTACTSOORT_UITSLUITEN : TEL (standaard)
* N6502_MODEL_LLM : gpt-oss-120b (standaard)
* Startdatum controle 11-12-2025 (standaard)


=== Stroomschema: LLM op Consulten ===
=== Stroomschema: LLM op Consulten ===
'''Volgorde LLM-controles'''
Er wordt dagelijks een grote hoeveelheid verslagen opgehaald en middels prompting beoordeeld. Echter, niet alle verslagen hoeven door alle prompts beoordeeld te worden. Bijvoorbeeld: als blijkt uit de verslaglegging dat er geen consult heeft plaatsgevonden, is het logischerwijs ook niet nodig om te beoordelen of er toeslag voor een tolk geregistreerd had mogen worden. Daarom wordt, de in onderstaand figuur beschreven, volgordelijkheid gebruikt. Allereerst wordt beoordeeld of het verslag überhaupt beoordeelbaar is ([[Verslaglegging niet te beoordelen door model (N6499)|N6499]]). Vervolgens wordt beoordeeld of het consult feitelijk is geleverd (N6503). Daarna wordt beoordeeld of er sprake was van een behandelinhoudelijk consult ([[Verslaglegging duidt op mogelijk incorrecte behandelinhoudelijkheid bij registratie van consult (N6502)|N6502]]). Wanneer een verslag deze stappen heeft doorlopen, zonder voor te komen op die controles wordt het verslag dus onderdeel van de controlemassa die door de rest van de prompting controles wordt beoordeeld. Een opsomming van deze overige prompting controles staan [[AI - Automatisering Zorgregistratie (GGZ)|hier]] gedocumenteerd. Dit is dus ook de volgordelijkheid die wordt gebruikt voor het in productie nemen van de AI controles, om een zo zuiver mogelijke controlemassa te genereren voor de prompting controles.
[[Bestand:StroomschemaLLM.png|geen|miniatuur|Stroomschema prompting controles]]


Aangezien er veel data door de het Large Language Model gaat, waarbij die voor consulten ook nog eens van elkaar afhankelijk is, is er besloten om een bepaalde volgorde toe te passen wat betreft het testen en in productie nemen van de controles. De volgorde is als volgt:
===== Prompt-ontwerp =====
Beschrijving:


'''<u>Stap 1</u>:''' [https://www.normenkaderzorg.nl/N6499 N6499] - Is verslag te beoordelen?
* Toetst of een reeds geleverde zorgactiviteit voldoende behandelinhoud bevat, passend bij het beroep van de zorgverlener.


  '''Nee'''    → Op N6499 (Stop)
Hoofdstappen:


  '''Ja'''      → Volgende stap
* Herkent welk beroep betrokken is via codes.
* Controleert of het verslag enigszins aansluit bij minimale beroepsvereisten betreffende behandelinhoud.
* Geeft oordeel over of de zorgactiviteit waarover verslag is gedaan voldoende behandelinhoud bevat.


'''↓'''
===== Negeren van acties =====
Het kan voorkomen dat er fout wordt gesignaleerd. In dat geval kan de actie in ValueCare genegeerd worden door de opmerking ‘AI onjuist’ toe te voegen. Deze informatie wordt gebruikt om het model bij te trainen.


'''<u>Stap 2</u>:''' [https://www.normenkaderzorg.nl/N6503 N6503] - Blijkt uit verslag dat consult feitelijk is geleverd?
Over het algemeen geldt dat als de kolom ‘Opmerking’ niet is ingevuld, de actie automatisch wordt teruggezet. Wil je een actie negeren, dan moet de opmerking dus altijd worden ingevuld.


  '''Nee'''    → Op N6503 (Stop)
Wanneer er een wijziging in de data plaatsvindt bij een genegeerde actie, blijft deze actie genegeerd. Een uitzondering hierop is wanneer de uitkomst van het taalmodel wijzigt van WAAR naar ONWAAR (of andersom). Dergelijke veranderingen zijn relevant en worden daarom getoond aan de instelling.
 
  '''Ja'''      → Volgende stap
 
'''↓'''
 
'''<u>Stap 3</u>:''' [https://www.normenkaderzorg.nl/N6502 N6502] - Blijkt uit verslag dat consult behandelinhoudelijk was?
 
  '''Nee'''    → Op N6502 (Stop)
 
  '''Ja'''        → <u>Consult goedgekeurd</u>
 
'''↓'''
 
'''<u>Stap 4</u>:''' Verder naar controles:
 
                   • Reistijd (N6510)
 
                   • Tolk (N6512)
 
                   • Diagnostiek/behandeling (N6507/N6508)
 
===== Werkinstructie van de AI =====
Stel vast dat het geregistreerde consult ook daadwerkelijk feitelijk geleverd is door onderstaande vragen te beantwoorden:
 
# Is het contact doorgegaan?
# Is van het contact een behandelinhoudelijk verslag aanwezig?
 
Het kan voorkomen dat er wel een zorginhoudelijk gesprek heeft plaatsgevonden. In dat geval kan de actie in ValueCare genegeerd worden met de tekst: 'AI onjuist'. Deze data wordt gebruikt om het model bij te trainen. Voor het negeren van acties geldt over het algemeen dat als de kolom 'Opmerking' niet gevuld is, de actie automatisch wordt teruggezet. Als de actie genegeerd dient te worden moet de opmerking dus gevuld worden.


===== Programmeerbare norm =====
===== Programmeerbare norm =====
Overgenomen van "https://www.normenkaderzorg.nl/index.php/Verslaglegging_duidt_op_mogelijk_incorrecte_behandelinhoudelijkheid_bij_registratie_van_consult_(N6502)"