debat

Hvad sker der, når forskningsresultater ikke kan reproduceres?

I virkelighedens verden er det nærmest umuligt at reproducere alle videnskabelige resultater, og det skaber grobund for nye ideer.

Af - 6. oktober

Det var ellers et af de forskningsresultater, der vakte opsigt i nyhederne, dengang tilbage i de tidlige 00’ere. Og med rette. Forskerholdet anført af Simon Mellow og Gordon J. Lithgow fra Buck Institute i USA havde nemlig vist, at de var i stand til at forlænge livet for rundorme ved at give dem en antioxidant, Resveratrol. Helt op til 67 % ældre blev de rundorme, der blev fodret med Resveratrol, og det var ikke en hvilken som helst kemisk forbindelse, den findes nemlig i rødvin.

Rødvin – i passende mængder – har længe været forbundet med forlænget levetid. Det er det såkaldte franske paradoks. Franskmænd har nemlig påfaldende høj levealder, når man tager i betragtning, at de spiser relativ fed mad med relativt højt indhold af mættede fedtsyrer. Det kunne jo passende være rødvinen, der beskytter franskmændene mod forhøjet blodtryk og hjertekarsygdomme. Og med det nye resultat baseret på studier af rundorme kunne det magiske molekyle – Resveratrol – måske været blevet identificeret.

Reproducerbarhed er med til at sikre mod fejl, misforståelser og skævvridning, som er stort set uundgåeligt i alle menneskelige aktiviteter, inkl. forskning.

Umiddelbart virkede alt godt. Men så ringede en af forskernes kolleger med en ubehagelig meddelelse: Resultatet kunne ikke reproduceres. Efter et års hårdt arbejde var det andet forskerhold ude af stand til at forlænge deres rundormes liv. Selv om det eksperimentelle set-up var simpelt, og forskerne var i tæt dialog vedrørende mulige fejlkilder, var det ikke muligt at opnå enslydende resultater. Nu – mere end 15 år efter det første studie blev offentliggjort og efter mange års samarbejde om eksperimenter – er det stadig en gåde, hvorfor rundormene i forskellige laboratorier responderer forskelligt på Resveratrol.

Fra ide til virkelighed
Reproducerbarhed er en af forskningens grundpiller. Forskere stræber efter at efterleve normer om objektivitet og troværdighed, og i den forbindelse er det vigtigt at kunne gentage – reproducere – eksperimentelle resultater og andre typer af observationer. Reproducerbarhed er med til at sikre mod fejl, misforståelser og skævvridning, som er stort set uundgåeligt i alle menneskelige aktiviteter, inkl. forskning. I forsøget på at reproducere resultater sker der et dobbelttjek af resultaternes gyldighed. Ikke sjældent opstår også ny viden om genstandsfeltet.

Ideen om reproducerbarhed lyder lokkende let. I praksis er det besværligt og kræver hårdt arbejde. Et praktisk problem er, at det kan være meget svært – nogle gange helt umuligt – at reproducere de omstændigheder, som var tilstede i laboratoriet eller felten, da det oprindelige resultat blev lavet. I enkelte tilfælde – blandt andet den historie om rødvin og rundorme, som indlægget indledte med (og som vi vender tilbage til i afslutningen) – giver manglende reproducerbarhed anledning til ny forståelse.

Virkelighedens laboratorier er ikke universelle. De er altid lokaliseret i tid og rum, og de er altid præget af konkrete institutionelle omstændigheder og af de individuelle forskere, der arbejder der.

En forudsætning for reproducerbarhed er standardisering og udskiftelighed: Standardisering af laboratorieudstyr, måleapparater, måleskalaer, arbejdsmetoder mm. Alle elementer i forskningsarbejdet det ene sted i verden burde i princippet kunne skiftes ud med tilsvarende elementer fra et andet sted. Det gælder for så vidt også forskerne, men kun i princippet. Forskernes individuelle forskellighed bevirker en kreativ variation i forskningsarbejdet, som på den ene side svækker muligheden for 100 % reproducerbarhed, men på den anden side er en vigtig kilde til nyskabelse og dermed nye erkendelser.

Virkelighedens laboratorier er ikke universelle. De er altid lokaliseret i tid og rum, og de er altid præget af konkrete institutionelle omstændigheder og af de individuelle forskere, der arbejder der. Det betyder, at der i videnskaben skal findes en balance mellem det universelle (det, som er standardiseret og udskifteligt) og det lokale (det, som uundgåeligt vil være formet af specifikke forhold). Hvis balancen samlet set tipper til fordel for det universelle, risikerer man for stor ensartethed; hvis balancen tipper den anden vej, mister man muligheden for reproducerbarhed.

Krisestemning
Sidste år offentliggjorde tidsskriftet Nature en større spørgeskemaundersøgelse om reproducerbarhed. Baggrunden var tidligere undersøgelser af nye forskningsresultater inden for psykologi og kræftforskning, som havde vist, at hhv. 36,1 % og 11 % af de undersøgte resultater ikke kunne reproduceres. Det fik flere forskere til at tale om en decideret reproducerbarhedskrise, og Nature oprettede en særlig side dedikeret til udfordringer med reproducerbarhed.

Det har længe været anerkendt, at negative resultater, hvor hypotesen bliver afkræftet, ikke har så stor chance for at blive publiceret.

I Natures undersøgelse anerkendte over halvdelen (52 %) af de adspurgte 1,576 forskere, at der er en reproducerbarhedskrise. Mest optimisme var der at spore blandt fysikere og kemikere, mens biologer og medicinske forskere var mere skeptiske, hvad angår graden af reproducerbarhed inden for deres eget felt. Arturo Casadevall, som arbejder med mikrobiologi ved Johns Hopkins Bloomberg School of Public Health, Baltimore, Maryland, indfangede krisestemningen således:

– For tiden eksisterer der ingen konsensus om, hvad reproducerbarhed er eller bør være. Men bare det at anerkende det, er et fremskridt. Næste skridt vil være at identificere problemet og etablere en sådan konsensus.

En af årsagerne til problemet er forskningens stræben efter at levere nye resultater – og vel at mærke nye positive resultater, der bekræfter den bagvedliggende hypotese. Det har længe været anerkendt, at negative resultater, hvor hypotesen bliver afkræftet, ikke har så stor chance for at blive publiceret. Det sker dels, fordi forskere selv fravælger at indsende negative resultater til publikation, og dels, fordi fagfællebedømmere underkender betydningen af at publicere negative resultater.

Når man som forsker forsøger at reproducere egne eller andres resultater, risikerer man at blive dobbeltramt af forskningens ”nyhedskriterium”: For det første er det ikke helt ny forskning, der er tale om, men altså netop tidligere resultater. For det andet kan man jo ende med at konkludere, at reproduktion ikke er muligt, altså et negativt resultat. Begge dele kan være med til at mindske forskeres interesse for at reproducere eksisterende forskning.

…Og hvad så med rundormene?
Efter 15 års hårdt arbejde lykkedes det tre forskerhold, som alle lavede forsøg med rundorme og rødvin, at opnå en høj grad af overensstemmelse mellem deres resultater. Der var mange forskellige rutiner, som skulle standardiseres, inden forsøgene kunne reproduceres. Det handlede for eksempel om måden, hvorpå rundormene blev samlet op med pincet og placeret på en ny petriskål, og om rundormenes diæt (ud over Resveratrol, som forskerne var interesseret i).

Det lange slidsomme koordineringsarbejde medførte heldigvis også nye videnskabelige spørgsmål. Forskerne måtte nemlig erkende, at der var genetiske forskelle mellem to arter af rundorme, som ellers ligner hinanden på en prik, og at disse genetiske forskelle har en betydning for, hvordan rundormene responderer på molekylet og ældes. Og det er nu grundlaget for mere forskning, som kan være med til at belyse, hvordan individers genetik spiller ind på aldringsprocessen.

Og hvad med sammenhængen mellem rødvin, Resveratrol og aldring? Tja, ifølge Mayo-klinikkens hjemmeside kan rødvin indtaget i moderate mængder have en vis sundhedseffekt, men den er stadig langt fra fuldt forstået, og der skal nok ofres mange flere rundorme på forskningens alter, før vi kommer dertil.

Klummen er skrevet af Kristian Hvidtfelt-Nielsen, lektor på Institut for Matematik ved Aarhus Universitet