GGZ AI - Taalmodellen: verschil tussen versies

← Oudere bewerking

VisueelWikitekst

@@ Regel 5: / Regel 5: @@
 #* ValueCare gebruikt een specifiek voor Nederlandstalige medische data getraind RoBERTa-model (“Robustly Optimized BERT Pretraining Approach”), in de vorm van RoBERT, een open source model.
 # Samenstelling trainingset: In samenwerking met de klant wordt een trainingset samengesteld.
-#* De trainingset bevat een reeks van verslaglegging records voor gerealiseerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging is aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig bevonden kan worden of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseer
+#* De trainingset bevat een reeks van verslaglegging records van geregistreerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging wordt door de instelling aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig is of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseerd.
 #* De trainingset is bij voorkeur voldoende omvangrijk en kan automatisch of handmatig worden samengesteld (meestal via Horizontaal Toezicht of zelfonderzoek).
-# Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid te classificeren.
+# Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid (is het terecht dat hier een consult is geregistreerd), en volledigheid (is het terecht dat hier <u>geen</u> consult is geregistreerd).
-# Controle: Het taalmodel classificeert alle verslaglegging en bepaalt de mate van zekerheid.
+# Controle: Het taalmodel beoordeelt op basis van de verslaglegging of de registratie van de prestatie terecht en volledig is, en bepaalt de mate van zekerheid.
 # Resultaat: Resultaten van de AI worden weergegeven in een actielijst.
-# Kanspercentage: Het kanspercentage is een instelbare drempelwaarde. Alleen acties met een modeluitkomst die boven deze afgesproken drempel ligt, worden zichtbaar gemaakt in de controle. Standaard ligt deze drempel op 50%. ValueCare adviseert welk percentage het meest geschikt is voor de klant.
+# Kanspercentage: kanspercentages beschrijven de zekerheid van de voorspelling van het taalmodel. Hoe zekerder het taalmodel is van de voorspelling, des te hoger het kanspercentage voor de ontstane actie in de actielijst. Alleen acties met een modeluitkomst die boven deze afgesproken drempel ligt, worden zichtbaar gemaakt in de controle. Standaard ligt deze drempel op 50%. ValueCare adviseert welk percentage het meest geschikt is voor de klant.
@@ Regel 17: / Regel 17: @@
 == Kwaliteitsborging & Controle op de AI-Technologie ==
-Het waarborgen van de betrouwbaarheid van het AI-model gebeurt als volgt:
+Het waarborgen van de betrouwbaarheid en kwaliteit van het AI-model gebeurt als volgt:
 # Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst.
@@ Regel 25: / Regel 25: @@
 Om de toepasbaarheid en kwaliteit van de AI te borgen, volgt ValueCare een strikt stappenplan rondom training, inzet en vervolgtrainen van de AI-taalmodellen. Dit biedt transparantie, herhaalbaarheid en voortdurende optimalisatie.
-=== <u>Trainingsfase (Stap 1–3) & Bijtrainingsfase (Stap 4–10)</u> ===
+=== Fase 1: Voorbereiding en testen ===
-# '''Opleiden van het model'''
+# Modeltraining en Validatie
-#* Het model wordt getraind met een trainingset.
+#* Het AI-taalmodel wordt eerst getraind op een vooraf geselecteerde trainingset (1500 posten).
-#* Voor validatie dient een aparte testset te worden beoordeeld die alléén wordt gebruikt voor evaluatie, zodat deze ook bruikbaar blijft bij bijtraining.
+#* Evaluatie vindt plaats met een aparte testset (300 posten), die uitsluitend wordt ingezet voor validatiedoeleinden en beschikbaar blijft voor toekomstige bijtrainingsrondes.
-# '''Beperkte testperiode voor initiële evaluatie'''
+# Beperkte Pilot en Eerste Evaluatie
-#* Alleen de acties van één maand worden getest, om snelheid en overzichtelijkheid te bevorderen.
+#* Het model wordt getest op acties uit één maand, zodat de eerste test overzichtelijk en snel uit te voeren is.
-#* Geconstateerde fouten in deze maand dienen als input voor (eventuele) bijstelling voorafgaand aan productie. Zo zijn meerdere iteraties mogelijk.
+#* Geconstateerde fouten uit deze pilot worden gebruikt voor eventuele bijtraining, indien nodig worden meerdere korte iteraties doorlopen.
-# '''Modelgoedkeuring en overgang naar productie'''
+# Modelgoedkeuring en Start Productie
-#* Na akkoord van de instelling wordt het model in productie genomen bij een vastgesteld kanspercentage (advies komt vanuit de data-specialist van ValueCare).
+#* Na definitieve beoordeling en akkoord vanuit de instelling, wordt het model in productie genomen op basis van het afgesproken kanspercentage.
-#* Vanaf de startdatum van de controle verwerkt het model alle geselecteerde acties.
+#* Vanaf het afgesproken startmoment verwerkt het model alle relevante acties.
-# '''Verwerking van foutieve acties na livegang'''
-#* Foutieve meldingen worden na livegang niet langer individueel behandeld.
+----
-#* Instellingen markeren deze als ‘AI onjuist’ en negeren de betreffende actie.
-# '''Signalering voor nieuwe bijtrainingsronde'''
+=== Fase 2: Monitoring en optimalisatie ===
-#* Zodra er meer dan 300 gemarkeerd zijn met 'AI juist' of ‘AI onjuist’ (in actielijst óf beheertabel) waarvan er meer dan 150 op 'AI juist' staat, volgt er automatisch een melding voor ValueCare.
-# '''Advies en overleg over bijtrainen'''
+# Registratie van Foutieve Acties
-#* De data-specialist informeert de consultant bij behalen van de drempel, die op zijn/haar beurt samen met de instelling beoordeelt of bijtrainen wenselijk is.
+#* Na livegang worden foutieve meldingen niet langer individueel opgepakt.
-# '''Voorbereiding van trainingsdata'''
+#* Medewerkers markeren deze als ‘AI onjuist’ waarna de actie verder wordt genegeerd.
-#* Na akkoord verzamelt de data-specialist een evenredig aantal ‘AI juist’-beoordeelde posten uit de reeds uitgestroomde acties als extra trainingsdata.
+# Detectie van Bijtrainingsmoment
-# '''Bijtrainen van het model'''
+#* Zodra er meer dan 300 acties zijn gemarkeerd (waarvan er minimaal 150 behandeld zijn of gekenmerkt als ‘AI juist’'), ontvangt ValueCare automatisch een melding dat het tijd is voor een mogelijke nieuwe trainingsronde.
-#* Het model wordt opnieuw getraind met de nieuwe correcte én onjuiste acties.
+#Overleg en Besluitvorming
-# '''Evaluatie na bijtraining'''
+#* De data-specialist van ValueCare informeert de consultant; er volgt overleg met de instelling om te bepalen of bijtrainen gewenst is.
-#* Het nieuwe model wordt geëvalueerd en vergeleken met het oude, op basis van dezelfde testset als eerder.
+# Selectie en Voorbereiding Nieuwe Trainingsdata
-#* Op basis van deze analyse volgt keuze: doorzetten naar productie of verdere optimalisatie.
+#* Indien akkoord, wordt een representatieve selectie van recent beoordeelde 'AI onjuist- en '‘AI juist’-acties verzameld als extra trainingsdata.
-# '''Herhaling cyclus'''
+# Bijtraining van het Model
-#* Het markeren en negeren van foutieve acties herhaalt zich tot de afgesproken drempel weer is bereikt; dan start het proces weer bij stap 5.
+#* Het model wordt opnieuw getraind, gebruikmakend van zowel de ‘AI juist’ als ‘AI onjuist’ gemarkeerde acties uit de praktijk.
+# Her-evaluatie en Besluit naar Productie
+#* Het nieuwe model wordt opnieuw gevalideerd met dezelfde testset en vergeleken met het oude model.
+#* Afhankelijk van de resultaten volgt implementatie of verdere optimalisatie.
+=== Fase 3: Cyclisch herhalen en continu verbeteren ===
+# Herhaling en continue cyclus
+#* Het markeren van beoordelingen en signaleren van verbeterpunten blijft doorlopen. Zodra opnieuw de drempel voor optimalisatie bereikt wordt, start het proces weer bij stap 3 uit fase 2.
 == Beheer AI: modelversies toelichting waarden ==

GGZ AI - Taalmodellen: verschil tussen versies

Navigatiemenu

Zoeken