TILLEGG
135 Forskningspublikasjoner. Kritisk lesning (REV 092)
Øyvind Palm
Leseteknikk
Å lese artikler fra medisinske vitenskapelige tidsskrift er essensielt for leger i spesialistutdanning, men også for godt etablerte klinikere og forskere. Hver studie som publiseres i fagfelle-vurderte internasjonale tidsskrift (og registres i PubMed) har gjennomgått og bestått en møysommelig publiserings- og seleksjonsprosess. Publiserte forskningsstudier er bygget opp ganske likt på tvers av fag. En kort sammenfatning (abstract) ender med en konklusjon. Selve publikasjonen har hoveddelene: Innledning, Metode, Resultater, Diskusjon og Referanseliste. Den faste, strukturerte oppbyggingen gjør det lettere for leseren å finne frem raskt. Litteraturen gir oss oversikt over allerede har av publisert kunnskap, forståelse av hva som ennå er usikkert og hva en mangler troverdige data på.
Ofte ønsker leseren oppdatering innen et spesielt felt eller diagnose. Det letes etter bestemte resultater, for eksempel dosering av et legemiddel ved en spesiell sykdom eller symptomer passer med en mistenkt diagnose. I blant ønskes støtte i litteraturen for synspunkter eller leseren vil imponere andre med ny kunnskap. Antall publiserte studier har over tid økt nesten eksponentielt. En kan ikke lese alt, selv innen et begrenset fag. Det er imidlertid tidsbesparende å lese bare en liten del av en publikasjon.
En kan være fristet til bare å lese konklusjonen på abstractet. Dessverre kan en da komme til feil resultat. Leseren bør heller være kritisk til kvaliteten og studienes budskap. Forskning tyder faktisk på at nær halvparten av alle publiserte studier tar feil i sin konklusjon, slik at etterfølgende forskning korrigerer konklusjonen. Mulige feil eller usikre data kan en få mistanke om ved spesielt å lese metode-delen grundig. Selv i et godt tidsskrift er resultater fra en enkelt publikasjon sjelden er tilstrekkelig til å etablere en medisinsk sannhet.
Feil konklusjon
Vi husker fra COVID-19 epidemien studien som tidlig viste at hydroksyklorokin (Plaquenil) kunne redusere et alvorlig forløp (med ARDS). Konklusjonen var imidlertid basert på en metode med in vitro observasjoner, men ble i media ekstrapolert slik at man kunne tro at medikamentet hadde vist effekt på mennesker (Yao X, 2020). Senere har mer omfattende studier vist at hydroksyklorokin ikke forbedrer prognosen ved COVID-19 infeksjon in vivo (Fiolet T, 2021). Et eksempel av revmatologisk interesse omfatter behandling med rituksimab (biologisk legemiddel) mot fatigue ved Sjøgrens syndrom. En placebokontrollert studie i 2008 tydet på effekt av rituksimab (Das S, 2008). Forfatterne konkluderte med at flere studier burde gjøres, men resultatene ble uansett mottatt med stor entusiasme. Flere studier ble etter hvert utført. Dessverre bekreftet disse ikke at rituksimab hjelper på fatigue ved Sjøgrens (Herman A-M, 2019). Epidemiologen John Ioannidis fant i sitt prosjekt «Why Most Published Research Findings are False” fra 2005 (Ioannidis J, 2005) at hele 80% av ikke-randomiserte studier endte i feil konklusjon. Det var færre feil når en så på randomiserte, kontrollerte studier (RCTs), men selv der fant han at en av fire publikasjoner hadde konklusjoner som senere forskning avkreftet.
Metaanalyser
I metaanalyser slås resultatene fra mange studier sammen, forutsatt at metodene er tilstrekkelig like. Resultatene har derfor god tyngde. Likevel bør den oppmerksomme leser ha i mente at vesentlige studier likevel kan være utelatt. Det gjelder i første rekke ikke-publiserte resultater, særlig de med negative funn. Det er ikke tvil om at både forskere og tidsskriftene ønsker å publisere studier som viser interessante, nye funn. Resultater som ikke bekrefter en hypotese blir lettere lagt bort upublisert På den måten kan metaanalyser være skjevfordelte mot studier som viser positive funn (publikasjonsskjevhet), selv om disse kan være mer tilfeldige (Pripp AH, 2021).
Massemedia
Media liker å presentere uventede resultater og sensasjonelle, nye oppdagelser basert på enkeltstudier. Det passer bra for forskere som trenger oppmerksomhet for å sikre finansiering for sin videre forskning. Dette er i kontrast til den ideelle, klassiske vitenskapelige tilnærmingen som innebærer å tolke data med forsiktighet, påpeke metodiske begrensinger og svakheter og avvente endelige konklusjoner før flere studier foreligger. I publikasjonen «Why Most Biomedical Findings Echoed by Newspaper Turn Out to be False” viser Gonon F, 2012 at blant de ti mest omtalte innledende studiene om ADHD på 1990-tallet, viste senere forskning at åtte hadde kommet til feil resultater eller at effekten var overdrevet. Disse ti studiene ble omtalt i 223 avisartikler, mens de etterfølgende 67 studiene som viste at de innledende studiene var feil bare ble omtalt i bare 57 artikler.
Kritisk lesning
I en studie påpekes (Ioannidis J, 2005) noen årsaker til feil resultater og hva den kritiske leseren bør være spesielt oppmerksom på:
- Små studier. Jo mindre studiene er, desto større er sannsynligheten for at resultatene ikke er korrekte. Det er dermed smart å se på antall pasienter inkludert og hvor mange som resultatene baseres på.
- Små forskjeller. Selv om små forskjeller fremstår som statistisk signifikante, øker sannsynligheten for feil tolkning. Se på mål for signifikans og konfidensintervaller og vurder hvor solide konklusjonene er.
- Befolkningsstudier. I store materialer, slik som befolkningsstudier med tusenvis av inkluderte personer er sannsynligheten for tilfeldige, statistisk signifikante forskjeller stor når en gjør mange tester. Sjekk at resultatene gjenspeiler på forhånd definerte mål med prosjektet.
- Metoden. Jo mindre spesifikt metoden, studie-design, definisjoner, resultatmål og modeller for analyse er beskrevet, desto mer skeptisk bør en være til resultatene.
- Bindinger. Jo sterkere finansielle bindinger, andre interessekonflikter og på forhånd inntatte standpunkter forfatterne har, desto mindre sannsynlig er resultatene sanne. Uventede funn bør kontrolleres med en ny studie fra en annen forskergruppe.
- Først med det siste. Jo «hottere» et forskningsfelt er (mange konkurrerende teams), desto større er risikoen for feil resultat.
Hvordan bør man lese vitenskapelige publikasjoner?
Det er publisert anbefalinger for lesing av publikasjoner. De fleste begynner med artikkelens overskrift. Deretter konklusjonen i «Abstract» eller til sist i «Discussion». Hvis en kommer til at overskrift og konklusjon er innenfor interesse, anbefaler Subramanuam RV, 2013 deretter følgende: Sjekk artikkelen / publikasjonens design/metode. Case-reports og ikke-randomiserte studier uten kontrollgruppe tillegges mindre vekt enn randomiserte kontrollerte studier (RCT), systematiske reviews, metaanalyser og velbegrunnede guidelines. I stedet for å begynne øverst i artikkelen, bør en så sjekke om artikkelen viser til klart beskrevne mål og hypoteser og om disse er innenfor det en var ute etter. I så fall anbefales å lese hele artikkelen. Samlet sett; erfaring tilsier at troen på resultater fra enkelt-studier kan være overdrevet. Usannsynlige hypoteser og uventede resultatene må spesielt tolkes med nøkternhet, selv om medias interesse er størst nettopp for sensasjoner. Studier som er først med det siste, tar ofte feil. Klinikeren bør i alle fall være varsom med å endre praksis på en slik bakgrunn.
Artikkelen bygger delvis på Gunnar R Tjomlids kronikk i Journalen 2016/4 (og Håndbok i Krisemaksimering).
Mer om forskningsmetoder og statistikk i eget kapittel
