Verslaglegging duidt op mogelijk onterechte registratie van telefonisch consult (N6400)

Behoort tot Normenkader ValueCare

Zorgprestatiemodel

1. GGZ Rechtmatigheid - Consulten

Samenvatting

Deze controle signaleert de telefonische consulten, waarbij een analyse van de bijbehorende verslaglegging met behulp van AI-technieken aantoont dat de telefonische consulten onrechtmatig zijn. Dat wil zeggen: telefonische consulten hebben niet plaatsgevonden of zijn niet door een behandelaar gevoerd of hebben geen zorginhoudelijke inhoud.

Regelgeving / beleid

2022

De zorgaanbieder registreert het consult op basis van de werkelijke tijd die de zorgverlener heeft besteed aan het contact. De zorgaanbieder mag afwijken van de hoofdregel in lid 1 en op een eigen manier invulling geven aan het registreren van de werkelijk bestede tijd aan het contact als de eigen invulling conform de veldafspraak in het zorgprestatiemodel plaatsvindt. Dit geldt ook voor groepsconsulten. De zorgaanbieder toetst periodiek, maar minimaal 1 keer per jaar, of de gehanteerde invulling een goede benadering is van de werkelijk bestede tijd. Als op deze wijze wordt gewerkt dient informatie element f4. Starttijd consult te worden geregistreerd. 2022: Regeling geestelijke gezondheidszorg en forensische zorg b-release - NR/REG-2214a art. 3.2 lid 1 en 2

2023

De zorgaanbieder registreert het consult op basis van de werkelijke tijd die de zorgverlener heeft besteed aan het contact. De zorgaanbieder mag afwijken van de hoofdregel in lid 1 en op een eigen manier invulling geven aan het registreren van de werkelijk bestede tijd aan het contact als de eigen invulling conform de veldafspraak over planning is realisatie in het zorgprestatiemodel plaatsvindt. Dit geldt ook voor groepsconsulten. De zorgaanbieder toetst periodiek, maar minimaal 1 keer per jaar, of de gehanteerde invulling een goede benadering is van de werkelijk bestede tijd. Als op deze wijze wordt gewerkt dient informatie-element f4 Starttijd consult te worden geregistreerd. 2023: Regeling geestelijke gezondheidszorg en forensische zorg b-release - NR/REG-2313a art. 3.2 lid 1 en 2

2024

De zorgaanbieder registreert het consult op basis van de werkelijke tijd die de zorgverlener heeft besteed aan het contact. De zorgaanbieder mag afwijken van de hoofdregel in lid 1 en op een eigen manier invulling geven aan het registreren van de werkelijk bestede tijd aan het contact als de eigen invulling conform de veldafspraak over planning is realisatie in het zorgprestatiemodel plaatsvindt. Dit geldt ook voor groepsconsulten. De zorgaanbieder toetst periodiek, maar minimaal 1 keer per jaar, of de gehanteerde invulling een goede benadering is van de werkelijk bestede tijd. Als op deze wijze wordt gewerkt dient informatie-element f4 Geplande starttijd consult te worden geregistreerd. 2024: Regeling geestelijke gezondheidszorg en forensische zorg b-release - NR/REG-2418 art. 3.2 lid 1 en 2

Interpretaties

De volgende interpretatiekeuzes zijn gemaakt.

Achtergrond bij AI techniek

De AI-analyse van de verslaglegging werkt als volgt:

1. Er wordt een AI-taalmodel beschikbaar gemaakt op de klant ValueCare server.
   • ValueCare beoordeelt medische verslagen door gebruik te maken van een fine-tuned BERT model (een specifiek soort AI-Large Language Model). BERT staat voor: Bidirectional Encoder Representations from Transformers.
   • ValueCare gebruikt als basis een open-source BERT model dat specifiek is getraind voor Nederlandstalige medische data. Het model heeft al kennis over taalstructuren en woordrelaties.
   • Er wordt gebruik gemaakt van BERTje. BERTje is een Nederlands vooraf getraind BERT model ontwikkeld aan de Universiteit van Groningen. De laatst beschikbare versie stamt uit 2021.
   • De volgende whitepaper geeft inzicht in de opzet van BERTje als ook de gebruikte bronnen: https://arxiv.org/pdf/1912.09582.pdf
2. Er wordt een training set gemaakt in afstemming met de klant.
   • De training set bevat een reeks van verslaglegging records voor gerealiseerde telefonische consulten. Voor elke verslaglegging is aangegeven of het bijbehorende telefonische consult rechtmatig bevonden kan worden of niet. Kortom: de verslagen zijn dus geïnterpreteerd en gecategoriseerd.
   • De training set moet voldoende groot zijn. Een te kleine training set leidt tot onvoldoende nauwkeurigheid van het AI-model.
   • De training set kan óf automatisch worden opgesteld óf handmatig worden opgesteld. Veelal worden handmatige beoordelingen uit het verleden gebruikt uit zelfonderzoeken of Horizontaal Toezicht audits. Daarnaast wordt deze set in de regel aangevuld met een groot aantal handmatig beoordeelde verslagleggingen.
3. Het AI-taalmodel wordt getraind met de verslaglegging en classificatie uit de training set. Hierdoor is een getraind AI-taalmodel beschikbaar op de ValueCare server. Het AI-model kan dus verslaglegging categoriseren naar rechtmatig of onrechtmatig.
4. Vervolgens wordt te analyseren verslagleggingen voorgelegd aan het AI-model. Het AI-model categoriseert de verslaglegging en geeft de zekerheid van het model aan.
5. De resultaten worden in een actielijst getoond.

Controle op de AI-technologie vindt als volgt plaats:

1. Elke actielijst wordt na oplevering door ValueCare getest door de klant in samenwerking met ValueCare. Bij akkoord wordt de actielijst in productie geplaatst.
   • Met het testen van de actielijst wordt ook het AI-algoritme getest.
   • Er wordt gecontroleerd of de resultaten in de actielijst correct zijn aan de hand van een menselijke beoordeling.
2. Jaarlijks wordt de werking van de actielijst door een steekproef getest door de klant in samenwerking met ValueCare.
   • Er wordt gecontroleerd of de resultaten in de actielijst correct zijn aan de hand van een menselijke beoordeling.

Werkinstructie

Stel vast dat het geregistreerde consult ook daadwerkelijk feitelijk geleverd is door onderstaande vragen te beantwoorden:

1. Is het contactsoort juist (telefonisch)?
2. Is het contact doorgegaan?
3. Is van het contact een behandelinhoudelijk verslag aanwezig?

Het beantwoorden van de vragen helpen aan te tonen dat de gerealiseerde consulten niet alleen hebben plaatsgevonden, maar ook behandelinhoudelijk te verantwoorden zijn.

NB: Het kan voorkomen dat er wel een zorginhoudelijk gesprek heeft plaatsgevonden. In dat geval kan de actie in ValueCare genegeerd worden met de tekst: 'AI onjuist'. Deze data wordt in de toekomst gebruikt om het model bij te trainen.

Programmeerbare norm

Er is sprake van “Verslaglegging duidt op mogelijk onterechte registratie van telefonisch consult (N6400)” als aan de volgende selectie is voldaan:

1) Er is een telefonisch consult geregistreerd met bijbehorend verslag
2) Aan de hand van het verslag is het telefonisch consult beoordeeld als onrechtmatig

Logica: 1 en 2

Berekening financiële impact

Niet van toepassing