GGZ AI - Taalmodellen: verschil tussen versies
Naar navigatie springen
Naar zoeken springen
kGeen bewerkingssamenvatting |
|||
| (Een tussenliggende versie door een andere gebruiker niet weergegeven) | |||
| Regel 5: | Regel 5: | ||
#* ValueCare gebruikt een specifiek voor Nederlandstalige medische data getraind RoBERTa-model (“Robustly Optimized BERT Pretraining Approach”), in de vorm van RoBERT, een open source model. | #* ValueCare gebruikt een specifiek voor Nederlandstalige medische data getraind RoBERTa-model (“Robustly Optimized BERT Pretraining Approach”), in de vorm van RoBERT, een open source model. | ||
# Samenstelling trainingset: In samenwerking met de klant wordt een trainingset samengesteld. | # Samenstelling trainingset: In samenwerking met de klant wordt een trainingset samengesteld. | ||
#* De trainingset bevat een reeks van verslaglegging records | #* De trainingset bevat een reeks van verslaglegging records van geregistreerde (telefonische) consulten/ verblijfsdagen. Voor elke verslaglegging wordt door de instelling aangegeven of het bijbehorende (telefonische) consult/ verblijfsdag rechtmatig is of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseerd. | ||
#* De trainingset is bij voorkeur voldoende omvangrijk en kan automatisch of handmatig worden samengesteld (meestal via Horizontaal Toezicht of zelfonderzoek). | #* De trainingset is bij voorkeur voldoende omvangrijk en kan automatisch of handmatig worden samengesteld (meestal via Horizontaal Toezicht of zelfonderzoek). | ||
# Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid | # Training: Het AI-taalmodel wordt getraind op deze trainingset om verslaglegging op rechtmatigheid (is het terecht dat hier een consult is geregistreerd), en volledigheid (is het terecht dat hier <u>geen</u> consult is geregistreerd). | ||
# Controle: Het taalmodel | # Controle: Het taalmodel beoordeelt op basis van de verslaglegging of de registratie van de prestatie terecht en volledig is, en bepaalt de mate van zekerheid. | ||
# Resultaat: Resultaten van de AI worden weergegeven in een actielijst. | # Resultaat: Resultaten van de AI worden weergegeven in een actielijst. | ||
# Kanspercentage: | # Kanspercentage: kanspercentages beschrijven de zekerheid van de voorspelling van het taalmodel. Hoe zekerder het taalmodel is van de voorspelling, des te hoger het kanspercentage voor de ontstane actie in de actielijst. Alleen acties met een modeluitkomst die boven deze afgesproken drempel ligt, worden zichtbaar gemaakt in de controle. Standaard ligt deze drempel op 50%. ValueCare adviseert welk percentage het meest geschikt is voor de klant. | ||
| Regel 17: | Regel 17: | ||
== Kwaliteitsborging & Controle op de AI-Technologie == | == Kwaliteitsborging & Controle op de AI-Technologie == | ||
Het waarborgen van de betrouwbaarheid van het AI-model gebeurt als volgt: | Het waarborgen van de betrouwbaarheid en kwaliteit van het AI-model gebeurt als volgt: | ||
# Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst. | # Oplevering en test: Iedere actielijst wordt getest door de klant samen met ValueCare. Na goedkeuring wordt deze actielijst in productie geplaatst. | ||
| Regel 32: | Regel 32: | ||
# Beperkte Pilot en Eerste Evaluatie | # Beperkte Pilot en Eerste Evaluatie | ||
#* Het model wordt getest op acties uit één maand, zodat de eerste test overzichtelijk en snel uit te voeren is. | #* Het model wordt getest op acties uit één maand, zodat de eerste test overzichtelijk en snel uit te voeren is. | ||
#* Geconstateerde fouten uit deze pilot worden gebruikt voor eventuele | #* Geconstateerde fouten uit deze pilot worden gebruikt voor eventuele bijtraining, indien nodig worden meerdere korte iteraties doorlopen. | ||
# Modelgoedkeuring en Start Productie | # Modelgoedkeuring en Start Productie | ||
#* Na definitieve beoordeling en akkoord vanuit de instelling, wordt het model in productie genomen op basis van het afgesproken kanspercentage. | #* Na definitieve beoordeling en akkoord vanuit de instelling, wordt het model in productie genomen op basis van het afgesproken kanspercentage. | ||
| Regel 45: | Regel 45: | ||
#* Medewerkers markeren deze als ‘AI onjuist’ waarna de actie verder wordt genegeerd. | #* Medewerkers markeren deze als ‘AI onjuist’ waarna de actie verder wordt genegeerd. | ||
# Detectie van Bijtrainingsmoment | # Detectie van Bijtrainingsmoment | ||
#* Zodra er meer dan 300 acties zijn gemarkeerd (waarvan minimaal 150 als ‘AI juist’), ontvangt ValueCare automatisch een melding dat het tijd is voor een mogelijke nieuwe trainingsronde. | #* Zodra er meer dan 300 acties zijn gemarkeerd (waarvan er minimaal 150 behandeld zijn of gekenmerkt als ‘AI juist’'), ontvangt ValueCare automatisch een melding dat het tijd is voor een mogelijke nieuwe trainingsronde. | ||
#Overleg en Besluitvorming | #Overleg en Besluitvorming | ||
#* De data-specialist van ValueCare informeert de consultant; er volgt overleg met de instelling om te bepalen of bijtrainen gewenst is. | #* De data-specialist van ValueCare informeert de consultant; er volgt overleg met de instelling om te bepalen of bijtrainen gewenst is. | ||
# Selectie en Voorbereiding Nieuwe Trainingsdata | # Selectie en Voorbereiding Nieuwe Trainingsdata | ||
#* Indien akkoord, wordt een representatieve selectie van recent beoordeelde ‘AI juist’-acties verzameld als extra trainingsdata. | #* Indien akkoord, wordt een representatieve selectie van recent beoordeelde 'AI onjuist- en '‘AI juist’-acties verzameld als extra trainingsdata. | ||
# Bijtraining van het Model | # Bijtraining van het Model | ||
#* Het model wordt opnieuw getraind, gebruikmakend van zowel de ‘AI juist’ als ‘AI onjuist’ gemarkeerde acties uit de praktijk. | #* Het model wordt opnieuw getraind, gebruikmakend van zowel de ‘AI juist’ als ‘AI onjuist’ gemarkeerde acties uit de praktijk. | ||