Fagfællebedømmelse har været diskuteret i årevis. Systemet, der har til formål kontrollere og sikre kvaliteten af forskning, er blevet udskældt for at modvirke innovation, at være biased og endda at være decideret dårligt til at opfange snyd.
Samtidig har de senere år været af en begyndende at se en “reviewer fatigue”, hvilket vil sige, at det er sværere at få forskere til at lave fagfællebedømmelser. Det viste en stor international undersøgelse fra 2018 foretaget af Publons, som er et internationalt site, hvor forskere kan holde styr på deres peer review-aktivitet.
– Der er bestemt nogle udfordringer med systemet, lyder det fra Maja Horst, der er bestyrelsesformand for Danmarks Frie Forskningsfond.
– Peer review har eksempelvis en vis konserverende rolle, fordi man sidder og bedømmer artikler og ansøgninger på baggrund af eksisterende kriterier for, hvad der er godt, fortsætter hun.
En tidssluger
Et af de helt store problemer ved peer review-systemet er, at det tager tid.
Hvor lang tid forskerne bruger på at lave peer reviews er meget forskelligt og afhænger i høj grad af, hvad der skal bedømmes. Men under alle omstændigheder tager det tid, som går fra forskernes eget arbejde.
– Og det er et kæmpe problem. Det koster rigtig mange ressourcer at reviewe, og det meste er ikke noget, man får betaling for, forklarer Maja Horst.
Læs også: Nyt studie peger på flere udfordringer med peer review
Det er altså med andre ord gratis arbejde. Men ikke desto mindre arbejde, som forskerne forventes at lave ved siden af deres eget arbejde. Og det er netop et af hovedproblemerne ved peer review-systemet, mener Anna Rogers.
Hun er postdoc i Social Data Science på Københavns Universitet og har blandt andet undersøgt, hvordan man kan løse nogle af udfordringerne ved fagfællebedømmelse.
Ifølge hende er selve incitamentsstrukturen bag systemet nemlig den helt store synder.
– Peer review er en del af vores job som forskere, men i projektledernes, ansættelses- og bevillingsudvalgs øjne tæller det ikke så meget som at lave vores egen research. Så der er et incitament til at bruge så meget tid som muligt på at udgive vores egne papirer og ikke gennemgå og hjælpe vores kolleger, påpeger hun.
Penge ind i ligningen?
Derfor er et af de forslag, hun og hendes medforfatter giver i artiklen “What Can We Do to Improve Peer Review in NLP?”, at man kan begynde at honorere reviewere. Ikke nødvendigvis med kontanter, da det kan risikere at skabe en forkert incitamentsstruktur. Men man kunne ifølge Anna Rogers eksempelvis give gratis adgang til konferencer eller lignende goder.
Maja Horst er ikke afvisende over for at bringe penge ind i ligningen, men påpeger, at det både kan være godt og skidt.
– Det kan betyde, at folk vil gøre det af forkerte grunde. Og selv om man ville få penge for det, hjælper det ikke på problemet med,at det stadig er tid, der går fra ens egen forskning.
Hun fortsætter:
– På den anden side er det de fleste steder nok ikke den store fyrstelige betaling, man får, men mere en form for anerkendelse af ens arbejdsindsats. Man kan også godt diskutere, om det er rimeligt, at jeg som forsker i princippet laver gratis arbejde for store videnskabelige publikationer, som så udgiver en artikel og tjener penge på det?
Formand for rektorkollegiet i Danske Universiteter, Anders Bjarklev, siger, at organisationen er opmærksom på faldgruberne ved det nuværende peer review-system. Han pointerer dog, at det trods mange års tanker om at skabe et andet og bedre system, endnu ikke er lykkedes at skabe noget bedre.
– Er det nuværende system perfekt? Nej, men alternativerne ser ikke ud til at være bedre, siger Anders Bjarklev.
Af samme grund er han umiddelbart ikke tilhænger af at give penge for fagfællebedømmelse.
– Bliver man bedre til arbejdet, hvis man får betaling for det? spørger han retorisk.
Inden han selv svarer:
– Det ved jeg ikke, men fakta er, at vi ikke laver forskning for, at det skal være nemt. På samme måde laver vi heller ikke reviews for, at det skal være nemt.
Forsker, kend dine fordomme
Et andet velkendt diskussionsemne, når det kommer til fagfællebedømmelse er bias. Altså, at bedømmelserne ikke kan forventes at være objektive, da de er farvet af bedømmernes faglige og personlige normer, værdier og holdninger.
Her peger Anna Rogers på, at en mulig løsning er at træne eller undervise forskere i at lave peer reviews særligt med fokus på at være opmærksomme på bias.
Det kan ifølge Maja Horst godt gøre processerne omkring peer review bedre.
– I undersøgelser af ubevidste bias er der nogle resultater, der tyder på, at det kan være en god ide at gøre forskere opmærksom på det og lave decideret biastræning. Man skal bare ikke tro, at vi så fri for bias, understreger hun.
En anden måde i imødekomme bias er at foretage bedømmelser i fællesskab og lave paneler, hvor man diskuterer, hvad der er godt og mindre godt.
– Det gør det nemmere at kalibrere sig frem til, hvad der er tættest på sandheden, siger hun.
Læs også: Forskerne vil gerne arbejde tværfagligt, men ofte bliver anstrengelserne ikke belønnet
Det gælder i øvrigt også, hvis der er tale om tværdisciplinær forskning. De kan være særligt svære at vurdere, fordi man som forsker typisk er højt specialiseret inden for sin egen disciplin og her opbygger nogle bestemte normer og værdier samt kriterier for, hvad der er god forskning.
Men det er ikke sikkert, at de normer, værdier og kriterier kan overføres direkte på andre discipliner, påpeger Maja Horst.
Urealistiske forventninger
Det er derfor ifølge Maja Horst vigtigt at diskutere jævnligt, hvordan man bedømmer og hvorfor, man ser noget som værende god eller dårlig forskning. Og så se peer review-systemet for dét, det er: Fejlbarligt.
– Jeg møder ofte den her forestilling om, at peer review er et ufejlbarligt redskab til at måle og veje forskning. Sådan er det jo ikke. Man kan ikke bare opfatte det som et system, der spytter et eksakt resultat ud. Indimellem tager peer reviews fejl, siger hun.
Uenigheder inden for bestemte faggrupper kan også betyde, at man sagtens kan få et peer review, hvor man bliver anbefalet til at gøre én ting, mens en anden reviewer vil mene, at lige netop dét vil gøre ens forskning dårlige.
Man kan på den måde ikke tage udgangspunkt i enkelte fagfællebedømmelser, mener Maja Horst. Det er summen af bedømmelserne, der er vigtig.
Anna Rogers er enig i, at vores forventninger til peer review som redskab er alt, alt for høje.
– Jeg har endnu ikke set nogle gode og seriøse forslag til, hvad vi kan sætte i stedet. Forskere i peer review sammenligner nogle gange systemet med demokrati – det er det bedste, dårlige system, vi har, siger Anna Rogers.
Hun mener, at vi fundamentalt set har forfejlede forventninger til den opgave, vi gerne vil have fagfællebedømmelserne til at udføre.
– Det er urealistisk at forestille sig, at en fagfælle på blot en time eller to kan afgøre, hvorvidt et givent studie er korrekt. For at kunne gøre det, skal man i princippet reproducere studiet, og det vil måske tage flere måneder. På så kort tid, som vi normalvis bruger, kan man kun se, om der er nogle åbenlyse fejl og metodiske problemer, siger hun.
Lige så urealistisk er det ifølge Anna Rogers, at de enkelte forskere skal kunne vurdere, hvor stor indvirkning et studie vil få for samfundet på sigt, hvilket også en en del af opgaven, når man laver en fagfællebedømmelse.
– Her beder man i princippet reviewerne om at forudsige fremtidens forskning. Men der er jo ingen af os, der kan. Peer review kan ikke pålideligt identificere forskning af høj kvalitet med stor effekt. Vi kan bruge det til at luge det fra, der er virkelig dårligt, siger hun.
På trods af dets uperfekthed og de mange udfordringer ved peer review-systemet, vil hverken Anna Rogers eller Maja Horst altså af med det.
– Vi skal ikke afskaffe peer review-systemet, men vi skal være mere opmærksomme på, hvordan vi bruger det. Derfor vil det være godt at få en større kultur for at debattere vores egne kriterier for kvalitetskontrol, siger Maja Horst.
