Den videnskabelige kontrol af forskningsresultater, som peer review-systemet er forbundet med, er ofte blevet beskyldt for at have sine fejl og mangler. Nu har to forskere fra Københavns Universitet undersøgt nogle af de specifikke udfordringer, der er inden for fagfællebedømmelse. 

Selvom udgangspunktet er deres eget forskningsområde, sprogteknologi og machine learning, peger forskerne på flere generelle problemer med peer review, som det fungerer i dag.

– Hovedproblemet med den måde, peer review er organiseret på er, at de forskere, der skal bedømme en artikel, ikke bliver betalt for deres arbejde. Det gør det svært at hæve kvaliteten af peer review-systemet, siger Isabelle Augenstein, lektor på Datalogisk Institut ved Københavns Universitet, som er medforfatter på artiklen. 

– Peer-review er noget folk skal lave ud over deres almindelige arbejde som forsker og uden ekstra løn, selvom det kræver meget arbejde. Derfor er man nødt til at afvise et stort antal artikler hurtigt, så man kan koncentrere sig om nogle få. Det er et problem, siger Isabelle Augenstein. 

Til trods for, at det er ulønnet arbejde, føler de fleste forskere ikke, at de kan sige nej til at lave peer review, blandt andet fordi det vejer tungt på ens cv. 

– Når vi for eksempel bliver vurderet til et nyt job, ser man på, hvad ansøgere har lavet af arbejde ud over forskningen, og peer review ser rigtig godt ud på cv’et. Det er svært at sige nej til at lave peer review, sådan som systemet er indrettet, siger Isabelle Augenstein. 

Derfor foreslår forskerne, at der opsættes nogle skarpere kriterier for, hvilke manuskripter, der kommer med på en konference, hvor artikler inden for deres fagområde typisk bliver fagfællebedømt. 

– Det er vigtigt med skarpere kriterier, ellers er det komplet umuligt at bedømme så mange artikler. Skarpere kriterier vil mindske puljen af manuskripter, så man ikke skal læse og vurdere for mange, siger Isabelle Augenstein.   

Der bør være et system, der matcher bedømmere og manuskripter

Matche bedømmer med artikel
Den manglende aflønning for peer review-timerne er dog langt fra den eneste udfordring i systemet, beskriver forskerne i artiklen. 

De peger blandt andet på, at der bør være et bedre match mellem bedømmere og de videnskabelige artikler, der skal bedømmes. 

– Der bør være et system, der matcher bedømmere og manuskripter. Vi ser ofte, at de forskere, der bedømmer andre forskeres arbejde, ikke er eksperter inden for samme område. Bedømmere bør på forhånd vide, hvad de kan forvente af artiklen, så de eventuelt kan sende den videre til andre, som er et bedre match, mener Isabelle Augenstein. 

En anden udfordringer er, at selve emnet ofte kan være afgørende. Ifølge forskerne er det lettere at få publiceret artikler, der omhandler “sexede emner”, forstået som emner, der i forvejen nyder stor opmærksomhed. 

Store forandringer
Desuden kan sproglige eller retorisk fejl have alvorlig negativ indflydelse på bedømmelsen af artiklen, og dermed bliver forskere, der ikke har engelsk som modersmål, forfordelt, lyder argumentet. 

– Det gælder også selvom indholdet af artiklen er bedre, end i artiklen, hvor der er færre sproglige fejl, siger Isabelle Augenstein. 

En anden sproglig udfordring er, at engelsk er “the default language” inden for forskning, og det har generelt den negative effekt, at studier, der er skrevet på et andet sprog, bliver betragtet som “nicher”, der ikke kan sammenlignes med anden forskning på området, mener forskerne. 

Ifølge forskerne er disse udfordringer hverken nye eller ukendte, så spørgsmålet er, hvorfor der ikke sker nogen forandring? 

– Jeg tror, det er fordi, der er så mange, der er involveret i at bestemme, hvordan manuskripter skal bedømmes. Det er ikke helt klart, hvem der skal implementere forslagene til forbedringer. Det er ligesom i en stor organisation, hvor ingen ved, hvor man skal henvende sig, siger Isabelle Augenstein. 

– Store forandringer er vanskelige i alle store organisationer – især når det er drevet af frivilligt arbejde, tilføjer hun.