Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag (N6406)

Behoort tot Normenkader ValueCare

Zorgprestatiemodel

1. GGZ Volledigheid - Verblijf

Samenvatting

Deze controle signaleert gemiste verblijfsdagen, waarbij een analyse van verslaglegging met behulp van AI-technieken aantoont dat verblijfsdag onterecht niet geregistreerd is. De client is 's nachts wel in de kliniek verbleven.

Regelgeving / beleid

2023

Verblijfsdag Dag inclusief de daaropvolgende nacht dat een patiënt gedurende een periode van klinische opname in een instelling verblijft. De eerste verblijfsdag is de dag dat de patiënt voor 20:00u is opgenomen. Een dag waarop de patiënt de daaropvolgende nacht niet in een instelling verblijft is geen verblijfsdag. Los van de vraag welke verblijfsdagen gedeclareerd mogen worden, is in het Besluit Zvw art 2:12 bepaald welke dagen meetellen als Zvw-zorg. In het tarief van de verblijfsprestaties is wel de verpleging, verzorging, vaktherapie en dagbesteding meegenomen, maar niet de overige behandeling. 2023: Beleidsregel Prestaties en tarieven geestelijke gezondheidszorg en forensische zorg – BR/REG-23139 – Artikel 1.1

2024

Verblijfsdag Dag inclusief de daaropvolgende nacht dat een patiënt gedurende een periode van klinische opname in een instelling verblijft. De eerste verblijfsdag is de dag dat de patiënt voor 20:00u is opgenomen. Een dag waarop de patiënt de daaropvolgende nacht niet in een instelling verblijft is geen verblijfsdag. 2024: Beleidsregel Prestaties en tarieven geestelijke gezondheidszorg en forensische zorg BR/REG-24145 art. 1.1

Interpretaties

De volgende interpretatiekeuzes zijn gemaakt:

• Er is een verslaglegging nodig om meegenomen te worden in de controlemassa van deze controle.
• Als er géén verblijfsdag is geregistreerd, maar wel verslaglegging is vastgelegd, dan wordt dit niet meegenomen in de N6406, maar op de N2581.
• Als er wel een verblijfsdag is geregistreerd, maar géén verslaglegging is vastgelegd, dan wordt dit niet meegenomen in de N6405, maar in de N2480.
• Prestaties die op de blokkadelijst staan of validatiefouten hebben worden niet meegenomen.

Achtergrond bij AI techniek

De AI-analyse van de verslaglegging werkt als volgt:

1. Er wordt een AI-taalmodel beschikbaar gemaakt op de klant ValueCare server.
   • ValueCare beoordeelt medische verslagen door gebruik te maken van een fine-tuned RoBERTa model (een specifiek soort AI-Large Language Model). RoBERTa staat voor: a Robustly Optimized BERT (Bidirectional Encoder Representations from Transformers) pretraining Approach.
   • ValueCare gebruikt als basis een open-source RoBERTa model dat specifiek is getraind voor Nederlandstalige medische data. Het model heeft al kennis over taalstructuren en woordrelaties.
   • Er wordt gebruik gemaakt van RoBERT. RoBERT is een Nederlands vooraf getraind RoBERTa model.
2. Er wordt een training set gemaakt in afstemming met de klant.
   • De training set bevat een reeks van verslaglegging records voor gerealiseerde verblijfsdagen. Voor elke verslaglegging is aangegeven of het bijbehorende verblijfsdag rechtmatig bevonden kan worden of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseerd.
   • De training set moet voldoende groot zijn. Een te kleine training set leidt tot onvoldoende nauwkeurigheid van het AI-model.
   • De training set kan óf automatisch worden opgesteld óf handmatig worden opgesteld. Veelal worden handmatige beoordelingen uit het verleden gebruikt uit zelfonderzoeken of Horizontaal Toezicht audits. Daarnaast wordt deze set in de regel aangevuld met een groot aantal handmatig beoordeelde verslagleggingen
3. Het AI-taalmodel wordt getraind met de verslaglegging en classificatie uit de training set. Hierdoor is een getraind AI-taalmodel beschikbaar op de ValueCare server. Het AI-model kan dus verslaglegging categoriseren naar rechtmatig of onrechtmatig.
4. Vervolgens wordt de gehele controlemassa van verslagleggingen voorgelegd aan het AI-model. Het AI-model categoriseert de verslaglegging en geeft de zekerheid van het model aan.
5. De resultaten worden in een actielijst getoond.

Controle op de AI-technologie vindt als volgt plaats:

1. Elke actielijst wordt na oplevering door ValueCare getest door de klant in samenwerking met ValueCare. Bij akkoord wordt de actielijst in productie geplaatst.
   • Met het testen van de actielijst wordt ook het AI-algoritme getest.
   • Er wordt gecontroleerd of de resultaten in de actielijst correct zijn aan de hand van een menselijke beoordeling.
2. Jaarlijks wordt de werking van de actielijst door een steekproef getest door de klant in samenwerking met ValueCare.
   • Er wordt gecontroleerd of de resultaten in de actielijst correct zijn aan de hand van een menselijke beoordeling.

Beheer AI: modelversies toelichting waarden

Precisie: hoe vaak klopt het als het model iets als 'positief' aanduidt ten opzichte van alle voorspellingen. Oftewel: het aandeel positieven onder de voorspelde positieven.

Recall (volledigheid): hoeveel van de echte positieve gevallen heeft het model gevonden. Oftewel: het aandeel echte positieven dat is gevonden door het model onder de werkelijke positieven. Dit is belangrijk als je er zeker van wilt zijn dat je niets belangrijks mist.

F1 score: de F1 score is een metriek die wordt gebruikt bij binaire classificatie en informatieopslag om de voorspellende prestaties te beoordelen. Het combineert precisie en recall tot een gemiddelde, waarbij beide even belangrijk worden geacht. De waarde varieert van 0 (slechtst) tot 1 (best), waarbij een score van 1 perfecte precisie en recall aangeeft.

Accuratesse: het percentage van alle gevallen (zowel positief als negatief) dat een model correct voorspelt. Het kijkt naar de totale prestaties van het model dus hoeveel van alle voorspellingen juist zijn.

Specificiteit: een waarde die de kans op een negatief resultaat weergeeft, ook wel true negative rate. Deze waarde geeft aan hoe vaak de afwezigheid van een bepaalde factor correct wordt geïdentificeerd.

Aantal prediction categoriën: hoeveel klassen er zijn die voorspeld worden, bij de controles nu; behandelinhoudelijk correct of incorrect = 2.

Werkinstructie

Stel vast dat het geregistreerde verblijfsdag ook daadwerkelijk feitelijk geleverd is door onderstaande vraag te beantwoorden:

1. Blijkt uit dossier dat cliënt in de nacht aanwezig was?

Door het beantwoorden van de vraag kan worden aangetoond dat de gerealiseerde verblijfsdagen niet alleen hebben plaatsgevonden, maar ook behandelinhoudelijk verantwoord zijn. De strengheid van de controle hangt in samenhang met de strengheid van het beoordelen van de instelling. Hoe strenger er wordt beoordeeld, hoe strenger AI zal beoordelen in de controle.

Het kan voorkomen dat er wel een zorginhoudelijk gesprek heeft plaatsgevonden. In dat geval kan de actie in ValueCare genegeerd worden met de tekst: 'AI onjuist'. Deze data wordt gebruikt om het model bij te trainen. Voor het negeren van acties geldt over het algemeen dat als de kolom 'Opmerking' niet gevuld is, de actie automatisch wordt teruggezet. Als de actie genegeerd dient te worden moet de opmerking dus gevuld worden.

Programmeerbare norm

Er is sprake van “Verslaglegging duidt op mogelijk gemiste registratie van verblijfsdag (N6406)” als aan de volgende selectie is voldaan:

1) Alle afwezige verblijfsdagen met bijbehorend verslag
2) AI-analyse van verslag toont aan dat verblijfsdag rechtmatig was

Logica: 1 en 2

Berekening financiële impact

Niet van toepassing.