GGZ AI - Large Language Models (LLM): verschil tussen versies

Naar navigatie springen Naar zoeken springen
Mstas (overleg | bijdragen)
Regel 30: Regel 30:
'''Volgorde LLM-controles'''
'''Volgorde LLM-controles'''


Er wordt dagelijks een grote hoeveelheid verslagen opgehaald en middels prompting beoordeeld. Echter, niet alle verslagen hoeven door alle prompts beoordeeld te worden. Bijvoorbeeld: als blijkt uit de verslaglegging dat er geen consult heeft plaatsgevonden, is het logischerwijs ook niet nodig om te beoordelen of er toeslag voor een tolk geregistreerd had mogen worden. Daarom wordt, de in onderstaand figuur beschreven, volgordelijkheid gebruikt. Allereerst wordt beoordeeld of het verslag überhaupt beoordeelbaar is ([[Verslaglegging niet te beoordelen door model (N6499)|N6499]]). Vervolgens wordt beoordeeld of het consult feitelijk is geleverd ([[Verslaglegging duidt op mogelijk onterechte registratie van consult (N6503)|N6503]]). Daarna wordt beoordeeld of er sprake was van een behandelinhoudelijk consult ([[Verslaglegging duidt op mogelijk incorrecte behandelinhoudelijkheid bij registratie van consult (N6502)|N6502]]). Wanneer een verslag deze stappen heeft doorlopen, zonder voor te komen op die controles wordt het verslag dus onderdeel van de controlemassa die door de rest van de prompting controles wordt beoordeeld. Een opsomming van deze overige prompting controles staan [[AI - Automatisering Zorgregistratie (GGZ)|hier]] gedocumenteerd. Dit is dus ook de volgordelijkheid die wordt gebruikt voor het in productie nemen van de AI controles, om een zo zuiver mogelijke controlemassa te genereren voor de prompting controles.
Dagelijks worden grote aantallen verslagen opgehaald en via prompting beoordeeld. Niet elk verslag hoeft echter door alle prompts gecontroleerd te worden. Zo is het bijvoorbeeld niet zinvol om te controleren of er een tolktoeslag geregistreerd had mogen worden als uit het verslag al blijkt dat er geen consult heeft plaatsgevonden.
[[Bestand:StroomschemaLLM.png|geen|miniatuur|Stroomschema prompting controles]]
 
Daarom wordt er gewerkt met een vaste volgorde, zoals weergegeven in onderstaand schema. De controle begint altijd met de vraag of een verslag überhaupt beoordeeld kan worden ([[Verslaglegging niet te beoordelen door model (N6499)|N6499]]). Daarna wordt vastgesteld of er daadwerkelijk een consult heeft plaatsgevonden ([[Verslaglegging duidt op mogelijk onterechte registratie van consult (N6503)|N6503]]). Vervolgens wordt gekeken of het om een behandelinhoudelijk consult gaat ([[N6502]]).
 
Alleen de verslagen die deze eerste stappen doorstaan, komen in aanmerking voor de verdere prompting controles (zoals N6507, N6508, N6510, N6511, N6518, etc.; zie ook: [[AI - Automatisering Zorgregistratie (GGZ)|AI - Automatisering Zorgregistratie]]). Een overzicht van deze vervolgstappen is in de documentatie opgenomen. Deze volgordelijkheid wordt ook toegepast bij de implementatie van AI-controles in de productie, zodat er een zo zuiver mogelijke selectie ontstaat voor de verdere prompting-controles.[[Bestand:StroomschemaLLM.png|geen|miniatuur|Stroomschema prompting controles]]I


== Stappenplan: In Productie Nemen en Bijtrainen van LLM-controles ==
== Stappenplan: In Productie Nemen en Bijtrainen van LLM-controles ==