|
|
| Regel 62: |
Regel 62: |
| # Cyclisch Proces | | # Cyclisch Proces |
| #* Het monitoring- en bijtrainingsproces herhaalt zich steeds zodra de vastgestelde drempels opnieuw bereikt worden. | | #* Het monitoring- en bijtrainingsproces herhaalt zich steeds zodra de vastgestelde drempels opnieuw bereikt worden. |
|
| |
| == Beheer AI: modelversies toelichting waarden ==
| |
| Om de kwaliteit van het taalmodel te beheren maken we gebruik van verschillende indicatoren die bepalend zijn voor het voorspellend vermogen van het taalmodel voor verslaglegging. Om een score te koppelen aan de kwaliteit van het model gebruiken we de F1 score.
| |
|
| |
| '''F1 score:''' de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.
| |
|
| |
| * '''Precisie''''':'' hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.
| |
| * '''Recall''' ''(volledigheid):'' hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.
| |
| * '''Accuratesse''''':'' het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.
| |
| * '''Specificiteit''''':'' een waarde die de kans op een negatief resultaat weergeeft, ook wel '''true negative rate'''. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.
| |
| * '''Aantal prediction categorieën''': hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.
| |
|
| |
| ==== Beheer en risicobeheersing van AI-controles ====
| |
| Het beheer van de controles op het taalmodel vindt plaats via een aantal specifieke beheermodules, gericht op transparantie en risicobeheersing:
| |
| {| class="wikitable"
| |
| !Beheerfunctie
| |
| !Omschrijving
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Model versie
| |
| |Mogelijkheid om de verschillende (historische) modelversies (en bovengenoemde parameters) in te zien.
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Training instellingen
| |
| |Inzicht en beheer van de instellingen waarmee het model is getraind.
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling
| |
| |Instellingen kunnen hier de training- en testset beoordelen; deze beoordeling wordt vervolgens gebruikt als basis voor het trainen van het taalmodel.
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Feitelijke levering beoordeling actielijst
| |
| |Inzien van verslaglegging over acties die (in test of productie) worden gesignaleerd binnen de taalmodelcontroles.
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Bijtrainingssets
| |
| |Overzicht van de regels die in (toekomstige) bijtrainingsfases worden ingezet.
| |
| |-
| |
| |Beheer Risicobeheersing Taalmodel: Feitelijke levering bijtrainingsbibliotheek
| |
| |Hier worden standaard woord(combinaties) weergegeven die frequent voorkomen binnen instellingen en of deze vaker wél of niet geleverd zijn. Wanneer een regel wordt geactiveerd in deze beheertabel, worden er automatisch 25 gegenereerde zinnen met die woordcombinatie toegevoegd aan de bijtrainingsset.
| |
| |}
| |