samfund

Nature-artikel får massiv kritik: “Det er dybt problematisk”

En videnskabelig artikel har modtaget alvorlig kritik fra flere forskere for at påstå at forskningskvalitet kun afhænger af mange citationer.

Af - 9. december 2019

Ben Britton. Foto: Thomas Angus

Tidlig medforfatterskab med topforskere skaber succes i en akademisk karriere. 

Det er titlen og konklusionen på en videnskabelig artikel, der netop er blevet publiceret i tidsskriftet Nature Communications af forskerne Weihua Li, Tomaso Aste, Fabio Caccioli og Giacomo Livan.

Men da sidstnævnte forsker delte artiklen på Twitter, startede kritikken med at rulle ind.

Den kom blandt andet fra engelske Ben Britton, der er seniorlektor ved Imperial College London, hvis kritiske Twitter-tråd om artiklen har fået over 200.000 interaktioner.

Nature-artiklen forsøger at lave sammenhæng mellem en forskers succes, og hvem de opnår medforfatterskab sammen med. Den arbejder dog med en meget begrænset forståelse af, hvad der afgør succes, da den er specielt fokuseret på antallet af citationer, siger Ben Britton og fortsætter:

– Artiklen har en signifikant mængde af komplikationer, hvor den mest vigtige handler om, at der bliver påstået kausalitet.

Ben Britton påpeger også, at der er et stort problem i forhold til den måde, hvorpå begreberne i analysen bliver anvendt, og det er professor på Dansk Center for Forskningsanalyse ved Aarhus Universitet Jesper Wiborg Schneider enig i. 

– Analysen er lavet af folk, der ikke er scientrometikere. De har ønsket at lave et studie, der kan sige noget om, hvordan nogle sociale fænomener forholder sig inden for videnskaben, men de har ikke meget forståelse for de antagelser og begrænsninger for de mål, som de har lagt ind i analysen, siger Jesper Wiborg Schneider.

Det er præmissen for kvalitet, der er problematisk
Artiklen “Early coauthorship with top scientists predicts success in academic careers”, som dens originale navn lyder, mener at påvise, at jo tidligere i ens forskerkarriere, man samarbejder med såkaldte “topforskere”, desto større chance er der for, at man selv bliver en anerkendt topforsker.

Det er ikke som sådan en overraskende udmeldelse, mener både Ben Britton og Jesper Wiborg Schneider. 

– Når du tager yngre forskere og ser på, om det giver dem citationsfordele at arbejde med nogen tidligt i deres karriere, som er højt citeret, er der ikke noget bemærkelsesværdigt i, at man finder en sammenhæng. Det er sådan, at citationer fungerer. Arbejder du med nogen, der er synlige, bliver du også selv mere synlig og øger dermed sandsynligheden for at få flere citationer, siger Jesper Wiborg Schneider. 

Analysen påviser egentlig kun en minimal succes hos én ud af seks forskere, men det er præmissen om, at der er lighedstegn mellem citationer og succes, som de to forskere er mere kritiske overfor.

– Citationer er nogle, vi kan måle, og som er relativt billige at få adgang til, fordi vi har adskillige bibliometriske databaser. Men udfordringen med dataen er, at de viser en meget lille fraktion af, hvad der udgør en talentfuld forsker, fordi de ikke medtager bidraget fra individet og det individuelle arbejde, siger Ben Britton og uddyber:

– Ofte kan et højt antal af citationer også være på grund af, at emnet har udløst en interesse. Der er klare eksempler på, at en stor mængde hype har genereret en stor mængde opmærksomhed – og heraf citationer.

Desuden påpeger Jesper Wiborg Schneider, at der er et metodisk problem med at sammenligne citationer på tværs af fagområder.

– Du kan ikke sammenligne citationer på tværs af områder. Én citation i f.eks. matematik svarer til omkring 30 inden for medicin. Nogle emner, studier og studietyper får bare flere citationer, og nogle studier, som er vigtige, men henvender sig til et mindre publikum, får færre. Områdets størrelse afgør også, hvor mange som reelt kan citere studiet, siger Jesper Wiborg Schneider.

Han mener derfor, at det er dybt problematisk, at forfatterne bag artiklen slet ikke forholder sig til, om citationer alene er gode nok til at bedømme kvalitet.

– Det rejser spørgsmålet om, hvad citationer er et udtryk for. Forfatterne mener, at det er et blåstempel for kvalitet og fortjeneste, og det vil mange af mine kollegaer måske også sige. Men det er meget mere kompliceret. Citationer gives og gives ikke af mange forskellige årsager, og kvalitet er langtfra den dominerende. Og det er noget rod, at forfatterne slet ikke forholder sig til det. Det er dybt problematisk, siger Jesper Wiborg Schneider.

Citationer kan ikke bruges som noget positivt
Udover, at fortolkningen af analysearbejdet er kørt helt af sporet efter de to forskeres mening, lægger sproget i artiklen også an til problemer. 

Ifølge Ben Britton og Jesper Wiborg Schneider bruger forfatterne et meget kausalt sprog, hvilket betyder, at de antyder, at der er en tydelig årsagssammenhæng mellem at blive en succesfuld forsker – altså en højt citeret forsker – hvis man publicerer sammen med en.   

Men det er at stramme de resultater, man er nået frem til, mener de.

– Det er ikke unormalt, når forskere prøve at fortolke eller sælge en artikels resultater, at der er en glidebane, hvor man går fra mulige sammenhænge over i et kausalt sprog, som studiet ikke kan bære. Men i dette studie er det skrevet næsten eksplicit, at man som ung forsker bare skal gøre sig til overfor en ældre forsker, der er meget citeret, så får man succes, siger Jesper Wiborg Schneider og fortsætter:

– Efter min mening burde forfatterne have reflekteret over, hvad citationer kan være et udtryk for, og om forskning og en forskningskarriere reelt bare handler om at få citationer. Men der er ingen refleksioner over de begreber, der er anvendes.

Det er også hele retorikken om, at man blot skal hægte sig på en topforsker, der er højt citeret, som Ben Britton ser som skadeligt på mange niveauer, og som bidrager til en i forvejen problematisk kultur i forskningsmiljøet.

– Der er et helt gatekeeping-aspekt i det. Og jeg finder det desuden meget problematisk, fordi du får risiko for en stor del akademisk nepotisme – og så reducerer det retfærdighed og lige adgang til f.eks. bevillinger. Og det er skadeligt af mange årsager, siger Ben Britton. 

Jesper Wiborg Schneider er generelt meget kritisk omkring brugen af citationer til at måle kvaliteten af en forskers arbejde.

– Jeg er meget kritisk overfor den naive brug af citationer, som et entydigt udtryk for noget positivt, for der er så mange sociale faktorer, der har indflydelse på citationer, som intet har at gøre med forskningskvalitet eller reel fortjeneste. At ligestille “topforskere med dem, der er mest citeret, er problematisk. De er uden tvivl dygtige, men det er der mange andre mindre citerede forskere, som også er. Af forskellige årsager er de blot ikke kommet med på citationskarrusellen. Citationer er sociologisk interessante, fordi de kan vise stratificering og netværk indenfor videnskab, men som proxy for kvalitet er de problematiske, siger Jesper Wiborg Schneider.

Nature har også en interesse i publiceringen
Ben Britton har modtaget mange positive tilkendegivelser for sin Twitter-tråd, hvor han deler sin kritik af artiklen. Ham og Jesper Wiborg Schneider er derfor langt fra de eneste, der ser store problemer med den.

Det rejser derfor spørgsmålet om, hvordan artiklen er sluppet igennem til publication hos “Nature Communications”, hvis den er så fejlfuld. 

– Du kan se, hvor viral artiklen er blevet, og det er attraktivt for at øge brandprofilen hos Nature Communications. Du betaler også 3.000 pund for at publicere i tidsskriftet, så der er også en finansiel grund for dem til at gøre det. Desuden ser Nature godt ud på folks CV, og den platform, som de giver forfattere, er fantastisk, siger Ben Britton. 

Jesper Wiborg Schneider er heller ikke forundret over, at artiklen har fundet vej til det prestigefyldte videnskabelige tidsskrift.

– Studiet er sådan set ikke bedre eller værre end så meget andet indenfor “forskning om forskning”, som publiceres. Teknikkerne i artiklen er sådan set okay, men forfatterne har ingen forståelse for de begreber, de anvender, deres antagelser er dybt problematiske, og resultaterne bliver strammet og oversolgt. Det er det, der er problemet, siger Jesper Wiborg Schneider og uddyber:

– Et videnskabeligt tidsskrifts status er langt fra en garanti for, at alt, der publiceres deri, er af høj kvalitet. Oversolgte resultater med fantastisk nyhedsværdi og tilbagetrækninger forekommer oftere i højstatus-tidsskrifterne. 

Han kan derfor også sagtens se, hvorfor Nature Communications har valgt at publicere artiklen. Det er nemlig noget, alle forskere kan forholde sig til. 

– Det er et emne, som har bred interesse i forskningsverdenen, og “forskning om forskning” er oppe i tiden. Men havde forfatterne indsendt artiklen til et af de store sociologiske tidsskrifter – for det er i bund og grund en sociologisk analyse – tror jeg, at den var blevet afvist. Teknik alene kan ikke gøre det, siger Jesper Wiborg Schneider.

Forfatterne bag artiklen er blevet kontaktet med henblik på at svare på kritikken, men de har ikke vendt tilbage på henvendelsen inden artiklens deadline.

kultur

AU-podcast om retsmedicin opnår stor succes

Det er sjældent, at vi hører fra retsmedicinerne, fordi deres arbejde involverer personfølsomme oplysninger og høj etik. Men en ny podcast åbner nu døren og lukker offentligheden ind.


Warning: sizeof() [function.sizeof]: Parameter must be an array or an object that implements Countable in /var/www/sciencereport.dk/public_html/wp-content/plugins/wp-mystat/lib/mystat.class.php on line 1252