GGZ AI - Taalmodellen: verschil tussen versies

Naar navigatie springen Naar zoeken springen
Regel 25: Regel 25:
Om de toepasbaarheid en kwaliteit van de AI te borgen, volgt ValueCare een strikt stappenplan rondom training, inzet en vervolgtrainen van de AI-taalmodellen. Dit biedt transparantie, herhaalbaarheid en voortdurende optimalisatie.
Om de toepasbaarheid en kwaliteit van de AI te borgen, volgt ValueCare een strikt stappenplan rondom training, inzet en vervolgtrainen van de AI-taalmodellen. Dit biedt transparantie, herhaalbaarheid en voortdurende optimalisatie.


=== <u>Trainingsfase (Stap 1–3) & Bijtrainingsfase (Stap 4–10)</u> ===
=== Fase 1: Voorbereiding en Initiële Training ===


# '''Opleiden van het model'''
# Modeltraining en Validatie
#* Het model wordt getraind met een trainingset.
#* Het AI-taalmodel wordt eerst getraind op een vooraf geselecteerde trainingset (1500 posten).
#* Voor validatie dient een aparte testset te worden beoordeeld die alléén wordt gebruikt voor evaluatie, zodat deze ook bruikbaar blijft bij bijtraining.
#* Evaluatie vindt plaats met een aparte testset (300 posten), die uitsluitend wordt ingezet voor validatiedoeleinden en beschikbaar blijft voor toekomstige bijtrainingsrondes.
# '''Beperkte testperiode voor initiële evaluatie'''
# Beperkte Pilot en Eerste Evaluatie
#* Alleen de acties van één maand worden getest, om snelheid en overzichtelijkheid te bevorderen.
#* Het model wordt getest op acties uit één maand, zodat de eerste test overzichtelijk en snel uit te voeren is.
#* Geconstateerde fouten in deze maand dienen als input voor (eventuele) bijstelling voorafgaand aan productie. Zo zijn meerdere iteraties mogelijk.
#* Geconstateerde fouten uit deze pilot worden gebruikt voor eventuele bijstelling, indien nodig worden meerdere korte iteraties doorlopen.
# '''Modelgoedkeuring en overgang naar productie'''
# Modelgoedkeuring en Start Productie
#* Na akkoord van de instelling wordt het model in productie genomen bij een vastgesteld kanspercentage (advies komt vanuit de data-specialist van ValueCare).
#* Na definitieve beoordeling en akkoord vanuit de instelling, wordt het model in productie genomen op basis van het afgesproken kanspercentage.
#* Vanaf de startdatum van de controle verwerkt het model alle geselecteerde acties.
#* Vanaf het afgesproken startmoment verwerkt het model alle relevante acties.
# '''Verwerking van foutieve acties na livegang'''
 
#* Foutieve meldingen worden na livegang niet langer individueel behandeld.
----
#* Instellingen markeren deze als ‘AI onjuist’ en negeren de betreffende actie.
 
# '''Signalering voor nieuwe bijtrainingsronde'''
=== Fase 2: Monitoring en Markering na Livegang ===
#* Zodra er meer dan 300 gemarkeerd zijn met 'AI juist' of ‘AI onjuist’ (in actielijst óf beheertabel) waarvan er meer dan 150 op 'AI juist' staat, volgt er automatisch een melding voor ValueCare.
 
# '''Advies en overleg over bijtrainen'''
# Registratie van Foutieve Acties
#* De data-specialist informeert de consultant bij behalen van de drempel, die op zijn/haar beurt samen met de instelling beoordeelt of bijtrainen wenselijk is.
#* Na livegang worden foutieve meldingen niet langer individueel opgepakt.
# '''Voorbereiding van trainingsdata'''
#* Medewerkers markeren deze als ‘AI onjuist’ waarna de actie verder wordt genegeerd.
#* Na akkoord verzamelt de data-specialist een evenredig aantal ‘AI juist’-beoordeelde posten uit de reeds uitgestroomde acties als extra trainingsdata.
# Detectie van Bijtrainingsmoment
# '''Bijtrainen van het model'''
#* Zodra er meer dan 300 acties zijn gemarkeerd (waarvan minimaal 150 als ‘AI juist’), ontvangt ValueCare automatisch een melding dat het tijd is voor een mogelijke nieuwe trainingsronde.
#* Het model wordt opnieuw getraind met de nieuwe correcte én onjuiste acties.
 
# '''Evaluatie na bijtraining'''
----
#* Het nieuwe model wordt geëvalueerd en vergeleken met het oude, op basis van dezelfde testset als eerder.
 
#* Op basis van deze analyse volgt keuze: doorzetten naar productie of verdere optimalisatie.
=== Fase 3: Doorontwikkeling/Bijtrainen ===
# '''Herhaling cyclus'''
 
#* Het markeren en negeren van foutieve acties herhaalt zich tot de afgesproken drempel weer is bereikt; dan start het proces weer bij stap 5.
# Overleg en Besluitvorming
#* De data-specialist van ValueCare informeert de consultant; er volgt overleg met de instelling om te bepalen of bijtrainen gewenst is.
# Selectie en Voorbereiding Nieuwe Trainingsdata
#* Indien akkoord, wordt een representatieve selectie van recent beoordeelde ‘AI juist’-acties verzameld als extra trainingsdata.
# Bijtraining van het Model
#* Het model wordt opnieuw getraind, gebruikmakend van zowel de ‘AI juist’ als ‘AI onjuist’ gemarkeerde acties uit de praktijk.
# Her-evaluatie en Besluit naar Productie
#* Het nieuwe model wordt opnieuw gevalideerd met dezelfde testset en vergeleken met het oude model.
#* Afhankelijk van de resultaten volgt implementatie of verdere optimalisatie.
# Cyclisch Proces
#* Het monitoring- en bijtrainingsproces herhaalt zich steeds zodra de vastgestelde drempels opnieuw bereikt worden.


== Beheer AI: modelversies toelichting waarden ==
== Beheer AI: modelversies toelichting waarden ==