Slik tester du KI-verktøy på legekontoret på 14 dager

Skal du teste KI-verktøy på legekontoret, bør du ikke starte med demoen leverandøren viser. Du bør starte med det som faktisk stjeler tid i praksis.

For mange fastleger er det ikke selve notatet som er verst. Det er å finne riktig opplysning i en lang journal, lage et presist NAV-utkast, sjekke tidligere epikriser eller rydde etter en travel dag. Som en fastlege sa i kundearbeidet vårt: "Tidstyven er å lete seg gjennom historien til pasienten."

Denne guiden gir deg en 14-dagers prøveperiode. Den passer når du skal vurdere KI-verktøy på legekontoret, AI-transkribering, journalchat eller skjemautfylling fra journal.

Teste KI-verktøy på legekontoret: kort svar

Et KI-verktøy bør testes på ekte fastlegearbeid før kjøp. Testen bør dekke fem ting:

Testområde	Hva du bør finne ut
Tidsbruk	Sparer verktøyet tid etter at du har kontrollert og rettet teksten?
Kvalitet	Blir notat, henvisning eller skjema bedre, eller bare penere skrevet?
Kilder	Viser verktøyet hvor journalopplysninger kommer fra?
Sikkerhet	Er databehandleravtale, lagring, sletting og tilgang avklart?
Arbeidsflyt	Passer verktøyet inn i EPJ, rutiner og en vanlig travel dag?

En god test har én setning

Vi tester om verktøyet gjør en konkret oppgave raskere og tryggere for vår praksis, uten at legen mister kontroll på journalen.

Hvis du ikke kan skrive den setningen før testen starter, er testen for uklar.

Før du tester: velg én tidstyv

Mange legekontor tester for bredt. De prøver litt transkribering, litt oppsummering og litt fritekst. Etter to uker sitter de igjen med en følelse, men ingen beslutning.

Velg heller én hovedoppgave. Den bør være hyppig nok til at dere får testet flere ganger, og smertefull nok til at en forbedring betyr noe.

Gode testoppgaver er:

• vanlig konsultasjonsnotat
• psykisk helse-samtale med sykmelding
• L40 eller annen NAV-dokumentasjon
• henvisning med prøvesvar og epikrise
• journalchat på pasient med lang historikk
• forsikringserklæring eller annen attest

NAV skriver at "Legeerklæring ved arbeidsuførhet" brukes for å belyse pasientens helsebegrensninger opp mot arbeid, og at NAV kan innhente den i sykmeldingsfasen, ved AAP og ved uføretrygd. Derfor er NAV-saker gode testsaker. De viser om verktøyet hjelper med det som ofte er tungt: å finne historikk, skille fakta fra vurdering og lage et presist utkast. Se også vår guide til KI-verktøy for NAV-skjemaer.

Mål dagens tidsbruk før prøveperioden

Før dag 1 bør du måle hvordan arbeidet går uten verktøyet. Dette trenger ikke være tungt.

Ta tiden på tre til fem saker. Skriv ned:

• type sak
• hvor lang tid journal, skjema eller henvisning tok
• hvor mange steder du måtte lete
• om du måtte jobbe videre etter siste pasient
• hva som var mest irriterende

Ikke gjør dette mer komplisert enn nødvendig. Målet er ikke forskning. Målet er å vite om verktøyet faktisk gjør en forskjell.

Regjeringens gjennomgang av allmennlegetjenesten peker på at mange fastleger jobber mer på kveldstid, blant annet knyttet til e-konsultasjoner. En god KI-test bør derfor måle mer enn minutter per notat. Den bør også spørre: Ble det mindre rydding etter arbeidstid?

Dag 1: sjekk sikkerhet og ansvar

Dag 1 handler ikke om hvor smart verktøyet virker. Den handler om om verktøyet kan prøves trygt.

Start med disse spørsmålene:

Sikkerhet før første pasientdata

Har vi en databehandleravtale?Vet vi hvor data lagres og hvem som er underleverandører?Vet vi om lyd, råtekst og utkast slettes, og når?Har dataansvarlig sagt ja til avgrenset test?Har vi vurdert om DPIA trengs før bred bruk?Har leverandøren forklart eventuell CE-merking eller hvorfor den ikke gjelder?

Normens faktaark om trygg bruk av KI i dokumentasjon av helsehjelp sier at KI kan brukes som støtte når journalen skal føres, men at bruken må være forsvarlig, verktøyet egnet og trygt, og helsepersonell må ha kontroll på det som havner i journalen.

Har dere ikke disse punktene på plass, bør dere ikke starte med ekte pasientdata. Da kan dere først teste på fiktive saker.

Hvis sikkerhet eller intern godkjenning er flaskehalsen, bruk de egne guidene om databehandleravtale for KI-verktøy og DPIA for fastleger før dere går videre.

Dag 2: test vanlig konsultasjonsnotat

Velg en vanlig konsultasjon. Ikke velg den perfekte demosaken. Velg en vanlig luftveisinfeksjon, blodtrykkskontroll, diabeteskontroll eller muskel-skjelett-plage.

Mål dette:

• Hvor lang tid tok notatet med kontroll?
• Måtte du rette klinisk viktige feil?
• Ble vurdering og plan tydelig?
• Ble notatet for langt?
• Var det lett å få teksten inn i riktig pasients journal?

Normen sier at KI bare får med det som sies høyt. Den får ikke med kroppsspråk, alvorlighetsgrad eller vurderinger som ikke uttales. Test derfor om verktøyet gjør deg mer bevisst på å si viktige funn høyt, eller om du mister viktig klinisk informasjon.

Dag 3: test psykisk helse og sykmelding

Psykisk helse er en god test fordi samtalen ofte er lang, nyansert og sårbar. Den viser om verktøyet lager en nyttig tekst, eller bare en glatt tekst.

Sjekk spesielt:

• Skiller teksten mellom pasientens ord og legens vurdering?
• Fanger den opp funksjon, arbeidsevne og plan?
• Håndterer den negasjoner riktig, for eksempel "ikke suicidal"?
• Er teksten for detaljert for formålet?
• Vil pasienten oppleve bruken som trygg?

Normen skriver at pasienten ikke må samtykke til tale-til-utkast i journalføring, men bør informeres. Hvis pasienten ikke ønsker slik bruk, bør helsepersonell ta hensyn til det. Dette bør være del av testen, ikke noe dere finner ut av senere.

Dag 4: test L40 eller NAV-sak

Dag 4 bør brukes på en sak der journalhistorikken betyr mye. Det kan være L40, AAP, uføretrygd, lang sykmelding eller tilleggsopplysninger til NAV.

Dette er testen for om verktøyet er mer enn en notatmaskin.

Be verktøyet hjelpe med:

• relevant sykdomshistorikk
• tidligere behandling
• funksjonsbeskrivelse
• arbeidsevne over tid
• hva som er dokumentert, og hva som er legens vurdering

Her bør du være streng. Et KI-verktøy som skriver pent, men ikke viser hvor opplysningene kommer fra, kan øke risiko. For NAV-saker bør du prioritere kildeankring, tydelig skille mellom funn og vurdering, og mulighet til å kontrollere journalgrunnlaget.

Hvis du vurderer verktøy spesielt for NAV-arbeid, kan du lese vår sammenligning av Noteless, Medbric og NAV-skjemaer.

Dag 5: test journalchat på lang journal

Velg en pasient med lang historikk. Still konkrete spørsmål:

• Når startet ryggplagene?
• Hvilke behandlinger er prøvd?
• Har pasienten tidligere hatt bivirkning av legemiddel?
• Hva sier siste epikrise?
• Hva er siste relevante prøvesvar?

Et godt svar bør ha kilder. Det bør vise dato, dokument eller journalnotat slik at legen kan kontrollere raskt. Et svar uten kilder kan være nyttig som idé, men ikke som grunnlag for dokumentasjon.

Journalchat bør også testes på det den ikke finner. Spør om noe du vet ikke finnes. Hvis verktøyet finner på et svar, er det et rødt flagg.

Dag 6: test henvisning

Henvisninger er gode fordi de krever prioritering. Det er ikke nok å kopiere all historikk.

Test om verktøyet kan lage et kort utkast med:

• problemstilling
• relevante funn
• prøvesvar
• behandling som er forsøkt
• hva du ber spesialisthelsetjenesten vurdere

Sammenlign utkastet med en henvisning du selv ville sendt. Hvis du må bruke like lang tid på å fjerne overflødig tekst som du ville brukt på å skrive selv, er gevinsten liten.

Dag 7: oppsummer første uke

Etter første uke bør du ikke spørre "liker vi verktøyet?" Spør heller:

Spørsmål	Godt tegn	Dårlig tegn
Sparte vi tid?	Ja, etter kontroll	Bare før kontroll
Ble teksten tryggere?	Færre mangler	Flere skjulte feil
Fant vi kildene raskt?	Ja	Nei eller uklart
Passet det i EPJ?	Få ekstra steg	Mye kopiering
Var pasientflyten god?	Naturlig	Forstyrrende

Hvis svaret er uklart etter en uke, avgrens testen. Ikke legg til flere funksjoner. Velg én svakhet og test den hardt i uke 2.

Dag 8 til 10: test vanskelige feil

Normen anbefaler at helsepersonell dobbeltsjekker kritisk innhold og vanlige feil, som ordet "ikke", legemidler, doser, allergier, prøver, avtaler og om KI har blandet behandler, pasient og pårørende.

Bruk dag 8 til 10 på slike feilscenarier:

• pasienten sier "jeg har ikke brystsmerter"
• pårørende snakker mye i konsultasjonen
• pasienten bytter mellom to legemidler
• avtalen endres underveis
• legen gjør en undersøkelse uten å si alt høyt
• det er bakgrunnsstøy eller avbrudd

Skriv ned feilene uten å pynte på dem. Alle verktøy gjør feil. Spørsmålet er om feilene er lette å oppdage, og om rutinen gjør at de stoppes før journalføring.

Dag 11 til 12: test arbeidsflyt i journalsystemet

Et verktøy kan ha god KI og dårlig arbeidsflyt. For fastleger er det ofte arbeidsflyten som avgjør.

Test dette på en travel dag:

• Hvor mange klikk trengs fra konsultasjon til ferdig journal?
• Må legen kopiere tekst manuelt?
• Er det lett å lime inn i feil pasient?
• Kan utkastet lagres uten å bli journalført?
• Kan sekretær, lege og vikar bruke samme rutine?
• Fungerer det med reelle tidsluker på 15 til 20 minutter?

Dette er også dagen for å se på pris. Bruk gjerne vår ROI-guide for KI-verktøy hos fastleger. En billig løsning som gir mye ekstraarbeid, blir dyr i praksis.

Dag 13: vis funnene til dataansvarlig

Før bred bruk bør dataansvarlig se mer enn leverandørens brosjyre. Vis konkret hva dere fant.

Ta med:

• hvilke oppgaver dere testet
• hvor mange saker dere prøvde
• tidsbruk før og etter
• feil dere fant
• hvordan feil fanges opp
• rutine for pasientinformasjon
• sletting av lyd, råtekst og utkast
• hva verktøyet ikke skal brukes til

Regjeringens Meld. St. 23 om allmennlegetjenesten omtaler både muligheter og skepsis til KI i fastlegehverdagen, særlig rundt personvern. Den peker også på at leger forventer effektivisering fra KI, blant annet mer standardiserte notater og bedre dokumentasjon. Det gjør en ryddig lokal prøveperiode viktig.

Trenger du godkjenningsløpet steg for steg, se guiden om hvordan få KI-verktøy godkjent på legekontoret.

Dag 14: kjøp, avgrens eller stopp

Siste dag skal ende i en beslutning. Ikke la testen gli over i uformell bruk.

Velg ett av tre utfall:

Utfall	Når det passer
Kjøp	Verktøyet sparer tid på valgt oppgave, har kontrollbar kvalitet og trygg dataflyt
Avgrens	Verktøyet fungerer for notat, men ikke NAV, journalchat eller henvisning
Stopp	Verktøyet mangler kilder, har uklare avtaler eller skaper mer etterarbeid

Et avgrenset ja er ofte best. Det kan være riktig å bruke verktøyet til konsultasjonsnotater, men ikke til NAV-vurderinger. Eller å bruke journalchat for å finne dokumenter, men ikke for å formulere medisinske konklusjoner.

Scorekort for KI-verktøy

Bruk et enkelt scorekort fra 1 til 5. Score 1 betyr svakt. Score 5 betyr klart bedre enn dagens arbeidsmåte.

Kriterium	Score	Kommentar
Tidsbruk etter kontroll	1-5	Sparte vi faktisk tid?
Klinisk kvalitet	1-5	Ble innholdet riktig og relevant?
Kildevisning	1-5	Fant vi raskt grunnlaget i journalen?
NAV-egnethet	1-5	Hjalp det med funksjon, historikk og arbeidsevne?
Pasientflyt	1-5	Forstyrret det samtalen?
EPJ-flyt	1-5	Var det lett å få riktig tekst inn riktig sted?
Personvern	1-5	Var avtaler, sletting og tilgang tydelig?
Opplæring	1-5	Kan kollegaer bruke det likt?

Sett også én fritekstlinje: "Dette skal vi ikke bruke verktøyet til."

Den linjen er viktig. Den hindrer at en god prøveperiode blir til uklar bruk.

Når du bør si nei

Si nei hvis leverandøren ikke kan forklare hvor data behandles, hvem som har tilgang, når data slettes eller om data brukes til trening.

Si også nei hvis:

• verktøyet er laget for generell tekst, ikke helseopplysninger
• det ikke finnes databehandleravtale
• kildene i journalchat er svake eller mangler
• det lager plausible detaljer som ikke står i journalen
• det krever for mange manuelle steg
• ansvaret for kvalitet blir uklart
• leverandøren ikke kan svare på CE-vurdering ved medisinsk formål

Normen skriver tydelig at åpne, generelle KI-verktøy ikke skal brukes til pasientopplysninger. For fastleger er det et enkelt skille: Pasientdata hører hjemme i løsninger som er laget for helsehjelp, med avtaler og rutiner som tåler kontroll.

Ofte stilte spørsmål om å teste KI-verktøy

Kilder

• Helsedirektoratet/Normen: Trygg bruk av KI i dokumentasjon av helsehjelp
• Helsedirektoratet/Normen: ansvar for kvaliteten på journalnotatet
• Helsedirektoratet/Normen: steg for god kvalitet i journalen
• NAV: Legeerklæring og spesialisterklæring
• Regjeringen: Gjennomgang av allmennlegetjenesten
• Regjeringen: Meld. St. 23 (2024-2025)