Den videnskabelige kontrol af forskningsresultater, som peer review-systemet er forbundet med, er ofte blevet beskyldt for at have sine fejl og mangler. Nu har to forskere fra Københavns Universitet undersøgt nogle af de specifikke udfordringer, der er inden for fagfællebedømmelse.
Selvom udgangspunktet er deres eget forskningsområde, sprogteknologi og machine learning, peger forskerne på flere generelle problemer med peer review, som det fungerer i dag.
– Hovedproblemet med den måde, peer review er organiseret på er, at de forskere, der skal bedømme en artikel, ikke bliver betalt for deres arbejde. Det gør det svært at hæve kvaliteten af peer review-systemet, siger Isabelle Augenstein, lektor på Datalogisk Institut ved Københavns Universitet, som er medforfatter på artiklen.
– Peer-review er noget folk skal lave ud over deres almindelige arbejde som forsker og uden ekstra løn, selvom det kræver meget arbejde. Derfor er man nødt til at afvise et stort antal artikler hurtigt, så man kan koncentrere sig om nogle få. Det er et problem, siger Isabelle Augenstein.
Til trods for, at det er ulønnet arbejde, føler de fleste forskere ikke, at de kan sige nej til at lave peer review, blandt andet fordi det vejer tungt på ens cv.
– Når vi for eksempel bliver vurderet til et nyt job, ser man på, hvad ansøgere har lavet af arbejde ud over forskningen, og peer review ser rigtig godt ud på cv’et. Det er svært at sige nej til at lave peer review, sådan som systemet er indrettet, siger Isabelle Augenstein.
Derfor foreslår forskerne, at der opsættes nogle skarpere kriterier for, hvilke manuskripter, der kommer med på en konference, hvor artikler inden for deres fagområde typisk bliver fagfællebedømt.
– Det er vigtigt med skarpere kriterier, ellers er det komplet umuligt at bedømme så mange artikler. Skarpere kriterier vil mindske puljen af manuskripter, så man ikke skal læse og vurdere for mange, siger Isabelle Augenstein.
Der bør være et system, der matcher bedømmere og manuskripter
Matche bedømmer med artikel
Den manglende aflønning for peer review-timerne er dog langt fra den eneste udfordring i systemet, beskriver forskerne i artiklen.
De peger blandt andet på, at der bør være et bedre match mellem bedømmere og de videnskabelige artikler, der skal bedømmes.
– Der bør være et system, der matcher bedømmere og manuskripter. Vi ser ofte, at de forskere, der bedømmer andre forskeres arbejde, ikke er eksperter inden for samme område. Bedømmere bør på forhånd vide, hvad de kan forvente af artiklen, så de eventuelt kan sende den videre til andre, som er et bedre match, mener Isabelle Augenstein.
En anden udfordringer er, at selve emnet ofte kan være afgørende. Ifølge forskerne er det lettere at få publiceret artikler, der omhandler “sexede emner”, forstået som emner, der i forvejen nyder stor opmærksomhed.
Store forandringer
Desuden kan sproglige eller retorisk fejl have alvorlig negativ indflydelse på bedømmelsen af artiklen, og dermed bliver forskere, der ikke har engelsk som modersmål, forfordelt, lyder argumentet.
– Det gælder også selvom indholdet af artiklen er bedre, end i artiklen, hvor der er færre sproglige fejl, siger Isabelle Augenstein.
En anden sproglig udfordring er, at engelsk er “the default language” inden for forskning, og det har generelt den negative effekt, at studier, der er skrevet på et andet sprog, bliver betragtet som “nicher”, der ikke kan sammenlignes med anden forskning på området, mener forskerne.
Ifølge forskerne er disse udfordringer hverken nye eller ukendte, så spørgsmålet er, hvorfor der ikke sker nogen forandring?
– Jeg tror, det er fordi, der er så mange, der er involveret i at bestemme, hvordan manuskripter skal bedømmes. Det er ikke helt klart, hvem der skal implementere forslagene til forbedringer. Det er ligesom i en stor organisation, hvor ingen ved, hvor man skal henvende sig, siger Isabelle Augenstein.
– Store forandringer er vanskelige i alle store organisationer – især når det er drevet af frivilligt arbejde, tilføjer hun.
Forsiden lige nu:

Sprogforskers karrieresti er belagt med både hverdagssprog og trusler
DERFOR BLEV JEG FORSKER: “Jeg ved, hvor du bor” er ikke en trussel i sig selv, men har alligevel en ildevarslende lyd. Tanya Karoli Christensen har specialiseret sig i den slags ytringer og fortæller i dag, hvorfor hun blev forsker.

OL-kemi, Science-hold og grønne løsninger: Ørsted Medaljen hylder unik underviser og rollemodel
STEM-fagene og en grøn fremtid skal være for alle. Det formår lektor, Novo-rådgiver og gymnasielærer i kemi Nicolai Bogø Stabell med unik undervisning, der både når universitetshøjder og samtidig lader talentet overvinde forhindringer hos udfordrede elever. Derfor modtager han H.C. Ørsted Medaljen i bronze.

Stor forskningsbevilling skal få danskerne op af sofaen
Forskere fra Syddansk Universitet har modtaget støtte fra Nordea-fonden til at videreføre den nationale måling ’Danmark i Bevægelse’ og blive klogere på børn, unge og voksnes bevægelsesvaner. Målet er at skabe et mere fysisk aktivt Danmark.
Seneste artikler:

Robothænder med følelser
Jakob Dideriksen fra Aalborg Universitet har med en støtte fra Danmarks Frie Forskningsfond undersøgt, om man kan skabe robotarme, som kan imitere nervesystemet i vores hænder og arme. Det kan vi godt. Men der er stadig lang vej endnu.

Jens Lundgren: – Jeg var lægestuderende, havde kludder i mit privatliv og ønskede at tage orlov. Så fik jeg en øjenåbner
DERFOR BLEV JEG FORSKER: Midt i en periode med kludder i privatlivet blev Jens Lundgren inviteret til det føderale forskningsinstitut NIH i USA. Det blev en øjenåbner for ham.

Mathias Poulsen: – Mine spørgsmål trængte sig på: Bidrager legen til samfundets demokratiske samtaler?
DERFOR BLEV JEG FORSKER: Mathias Poulsen startede en international legefestival, som udviklede sig til et levende, legende fællesskab. Derfra mærkede han en længsel efter at stille store spørgsmål.
Loading...
Something went wrong. Please refresh the page and/or try again.