GGZ AI - Taalmodellen: verschil tussen versies
Naar navigatie springen
Naar zoeken springen
| (4 tussenliggende versies door 2 gebruikers niet weergegeven) | |||
| Regel 5: | Regel 5: | ||
#* ValueCare gebruikt een specifiek voor Nederlandstalige medische data getraind RoBERTa-model (“Robustly Optimized BERT Pretraining Approach”), in de vorm van RoBERT, een open source model. | #* ValueCare gebruikt een specifiek voor Nederlandstalige medische data getraind RoBERTa-model (“Robustly Optimized BERT Pretraining Approach”), in de vorm van RoBERT, een open source model. | ||
# Samenstelling trainingset: In samenwerking met de klant wordt een trainingset samengesteld. | # Samenstelling trainingset: In samenwerking met de klant wordt een trainingset samengesteld. | ||
#* De trainingset bevat een reeks van verslaglegging records | #* De trainingset bevat een reeks van verslaglegging records van geregistreerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging wordt door de instelling aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig is of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseerd. | ||
#* De trainingset is bij voorkeur voldoende omvangrijk en kan automatisch of handmatig worden samengesteld (meestal via Horizontaal Toezicht of zelfonderzoek). | #* De trainingset is bij voorkeur voldoende omvangrijk en kan automatisch of handmatig worden samengesteld (meestal via Horizontaal Toezicht of zelfonderzoek). | ||
# Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid | # Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid (is het terecht dat hier een consult is geregistreerd), en volledigheid (is het terecht dat hier <u>geen</u> consult is geregistreerd). | ||
# Controle: Het taalmodel | # Controle: Het taalmodel beoordeelt op basis van de verslaglegging of de registratie van de prestatie terecht en volledig is, en bepaalt de mate van zekerheid. | ||
# Resultaat: Resultaten van de AI worden weergegeven in een actielijst. | # Resultaat: Resultaten van de AI worden weergegeven in een actielijst. | ||
# Kanspercentage: | # Kanspercentage: kanspercentages beschrijven de zekerheid van de voorspelling van het taalmodel. Hoe zekerder het taalmodel is van de voorspelling, des te hoger het kanspercentage voor de ontstane actie in de actielijst. Alleen acties met een modeluitkomst die boven deze afgesproken drempel ligt, worden zichtbaar gemaakt in de controle. Standaard ligt deze drempel op 50%. ValueCare adviseert welk percentage het meest geschikt is voor de klant. | ||
| Regel 17: | Regel 17: | ||
== Kwaliteitsborging & Controle op de AI-Technologie == | == Kwaliteitsborging & Controle op de AI-Technologie == | ||
Het waarborgen van de betrouwbaarheid van het AI-model gebeurt als volgt: | Het waarborgen van de betrouwbaarheid en kwaliteit van het AI-model gebeurt als volgt: | ||
# Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst. | # Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst. | ||
| Regel 25: | Regel 25: | ||
Om de toepasbaarheid en kwaliteit van de AI te borgen, volgt ValueCare een strikt stappenplan rondom training, inzet en vervolgtrainen van de AI-taalmodellen. Dit biedt transparantie, herhaalbaarheid en voortdurende optimalisatie. | Om de toepasbaarheid en kwaliteit van de AI te borgen, volgt ValueCare een strikt stappenplan rondom training, inzet en vervolgtrainen van de AI-taalmodellen. Dit biedt transparantie, herhaalbaarheid en voortdurende optimalisatie. | ||
=== Fase 1: Voorbereiding en | === Fase 1: Voorbereiding en testen === | ||
# Modeltraining en Validatie | # Modeltraining en Validatie | ||
| Regel 32: | Regel 32: | ||
# Beperkte Pilot en Eerste Evaluatie | # Beperkte Pilot en Eerste Evaluatie | ||
#* Het model wordt getest op acties uit één maand, zodat de eerste test overzichtelijk en snel uit te voeren is. | #* Het model wordt getest op acties uit één maand, zodat de eerste test overzichtelijk en snel uit te voeren is. | ||
#* Geconstateerde fouten uit deze pilot worden gebruikt voor eventuele | #* Geconstateerde fouten uit deze pilot worden gebruikt voor eventuele bijtraining, indien nodig worden meerdere korte iteraties doorlopen. | ||
# Modelgoedkeuring en Start Productie | # Modelgoedkeuring en Start Productie | ||
#* Na definitieve beoordeling en akkoord vanuit de instelling, wordt het model in productie genomen op basis van het afgesproken kanspercentage. | #* Na definitieve beoordeling en akkoord vanuit de instelling, wordt het model in productie genomen op basis van het afgesproken kanspercentage. | ||
| Regel 39: | Regel 39: | ||
---- | ---- | ||
=== Fase 2: Monitoring en | === Fase 2: Monitoring en optimalisatie === | ||
# Registratie van Foutieve Acties | # Registratie van Foutieve Acties | ||
| Regel 45: | Regel 45: | ||
#* Medewerkers markeren deze als ‘AI onjuist’ waarna de actie verder wordt genegeerd. | #* Medewerkers markeren deze als ‘AI onjuist’ waarna de actie verder wordt genegeerd. | ||
# Detectie van Bijtrainingsmoment | # Detectie van Bijtrainingsmoment | ||
#* Zodra er meer dan 300 acties zijn gemarkeerd (waarvan minimaal 150 als ‘AI juist’), ontvangt ValueCare automatisch een melding dat het tijd is voor een mogelijke nieuwe trainingsronde. | #* Zodra er meer dan 300 acties zijn gemarkeerd (waarvan er minimaal 150 behandeld zijn of gekenmerkt als ‘AI juist’'), ontvangt ValueCare automatisch een melding dat het tijd is voor een mogelijke nieuwe trainingsronde. | ||
#Overleg en Besluitvorming | |||
# Overleg en Besluitvorming | |||
#* De data-specialist van ValueCare informeert de consultant; er volgt overleg met de instelling om te bepalen of bijtrainen gewenst is. | #* De data-specialist van ValueCare informeert de consultant; er volgt overleg met de instelling om te bepalen of bijtrainen gewenst is. | ||
# Selectie en Voorbereiding Nieuwe Trainingsdata | # Selectie en Voorbereiding Nieuwe Trainingsdata | ||
#* Indien akkoord, wordt een representatieve selectie van recent beoordeelde ‘AI juist’-acties verzameld als extra trainingsdata. | #* Indien akkoord, wordt een representatieve selectie van recent beoordeelde 'AI onjuist- en '‘AI juist’-acties verzameld als extra trainingsdata. | ||
# Bijtraining van het Model | # Bijtraining van het Model | ||
#* Het model wordt opnieuw getraind, gebruikmakend van zowel de ‘AI juist’ als ‘AI onjuist’ gemarkeerde acties uit de praktijk. | #* Het model wordt opnieuw getraind, gebruikmakend van zowel de ‘AI juist’ als ‘AI onjuist’ gemarkeerde acties uit de praktijk. | ||
| Regel 60: | Regel 55: | ||
#* Het nieuwe model wordt opnieuw gevalideerd met dezelfde testset en vergeleken met het oude model. | #* Het nieuwe model wordt opnieuw gevalideerd met dezelfde testset en vergeleken met het oude model. | ||
#* Afhankelijk van de resultaten volgt implementatie of verdere optimalisatie. | #* Afhankelijk van de resultaten volgt implementatie of verdere optimalisatie. | ||
# | |||
#* Het | === Fase 3: Cyclisch herhalen en continu verbeteren === | ||
# Herhaling en continue cyclus | |||
#* Het markeren van beoordelingen en signaleren van verbeterpunten blijft doorlopen. Zodra opnieuw de drempel voor optimalisatie bereikt wordt, start het proces weer bij stap 3 uit fase 2. | |||
== Beheer AI: modelversies toelichting waarden == | == Beheer AI: modelversies toelichting waarden == | ||