Skrevet af Arne Flåøyen, direktør i NordForsk
Når forskningsfinansierende fonde planlægger og evaluerer forskningsansøgninger, er de optaget af to hensyn: at sikre effektivitet i evalueringsprocesserne og at sikre høj kvalitet i processerne, så de bedste projekter bliver rangeret højest og får finansiering.
Offentlige fonde skal arbejde effektivt og sikre, at så mange som muligt af de midler, de forvalter, går til forskningsmiljøerne. Vi stræber derfor efter at holde evalueringsomkostningerne så lave som muligt uden at gå på kompromis med kvaliteten af processerne.
De interne evalueringsomkostninger påvirkes i relativt lille grad af antallet af ansøgninger, der skal evalueres. De honorarer, der betales til eksperter, der evaluerer ansøgningerne, stiger derimod proportionalt med antallet af ansøgninger. Hvis tildelingsprocenten i callen er lav, vil omkostningerne per finansieret projekt være høje.
Kunstig intelligens udfordrer ansøgnings- og evalueringsprocesserne
Kvaliteten af processen påvirkes af de metoder, fondene anvender til at rekruttere eksperter, antallet af eksperter, der evaluerer hver ansøgning, og de procedurer, der følges for at tildele karakter og give tilbagemelding til ansøgerne. I sidste ende er det kompetencen hos de eksperter, der vurderer ansøgningerne, og hvor godt de udfører deres arbejde, der afgør kvaliteten af vurderingsresultaterne.
Vi må forberede os på, at AI i fremtiden vil blive brugt hyppigt i udarbejdelsen af ansøgninger.
Selvom evalueringsprocesserne hos de fleste forskningsfinansierer har været stort set uændrede i mange år, er der en løbende diskussion om, hvordan vi kan forbedre processerne.
Med den stigende brug af kunstig intelligens i både udarbejdelsen og evalueringen af forskningsansøgninger er der et nyt og øget behov for at gennemgå vores evalueringsprocesser. Og for at tilpasse os den nye brug af AI må vi være villige til at diskutere mere omfattende og grundlæggende ændringer af processerne, end vi har gjort hidtil.
Læs også: DFF afsætter stort millionbeløb til forskning i kunstig intelligens
Vi må forberede os på, at AI i fremtiden vil blive brugt hyppigt i udarbejdelsen af ansøgninger. AI vil gøre det lettere at skrive baggrundsinformation og »pynte« en uoriginal eller dårligt gennemtænkt forskningsidé med fine formuleringer. AI vil let kunne overtage udarbejdelsen af arbejdsplaner, præsentationen af konsortiet og give en tilsyneladende overbevisende beskrivelse af kommunikationsplaner og den forventede impact.
Vi må forvente, at ansøgningerne kommer til at ligne hinanden mere, især i de mere generelle dele af ansøgningerne. Det vil gøre kvaliteten af ansøgningerne mere ensartet, og der vil være færre indikatorer, der kan vægtes i rangordningen af ansøgningerne.
Flere ansøgninger, færre bevillinger og svækket tillid
Som et resultat af, at det bliver nemmere og mindre tidskrævende at skrive ansøgninger, må vi forvente flere ansøgninger til hver call. Det betyder, at vi som fonde bliver nødt til at rekruttere flere eksperter til at evaluere ansøgningerne. Det er allerede nu en udfordring at finde og ansætte tilstrækkeligt mange kompetente eksperter, der er villige til at evaluere forskningsansøgninger for os. Og det vil ikke blive nemmere i fremtiden.
Der vil være en øget sandsynlighed for, at mindre lovende forskningsidéer vil blive rangordnet foran bedre og mere originale forskningsidéer.
Når antallet af ansøgninger stiger, vil godkendelsesprocenten falde. Godkendelsesprocenten er allerede alt for lav i mange calls. Et yderligere fald vil svække tilliden til systemet.
En ting er, at det vil blive sværere for eksperterne at skelne mellem originalt indhold og AI-genereret indhold i ansøgningerne. Det vil også være fristende for eksperter at ty til AI som hjælp i deres evalueringsarbejde. Den skriftlige tilbagemelding til ansøgerne vil kunne bære præg af, at de er AI-genererede med generiske, upræcise og irrelevante formuleringer.
Læs også: Kunstig intelligens er ikke intelligent – så hvad sker der, når vi fodrer den med forskning eller fup?
Og der vil være en øget sandsynlighed for, at mindre lovende forskningsidéer vil blive rangordnet foran bedre og mere originale forskningsidéer. Også dette vil bidrage til at svække tilliden til systemet og opslutningen til åbne, konkurrencebaserede arenaer for tildeling af forskningsmidler.
Nordisk samarbejde om nye evalueringsmodeller
I vores dialog med nordiske forskningsfonde er det tydeligt, at alle forbereder sig på at håndtere et stort antal AI-genererede ansøgninger. Da de nordiske fonde i vid udstrækning følger de samme processer og metoder for calls og evaluering af ansøgninger, har de meget at vinde ved at samarbejde om at udvikle og afprøve nye og mere AI-tilpassede evalueringsmetoder.
To mulige ændringer, der kunne afprøves, er at bruge ansøgere som evaluatorer i calls, som de selv deltager i, og at indsende korte videoer, hvor forskerne præsenterer deres forskningsidéer. Vi i NordForsk står til rådighed for at hjælpe med at gennemføre sådanne tests.
Læs også: Danske ph.d.-studerende bruger AI på livet løs – men få ved, hvad de laver
NordForsk er en lille fonde, der opererer i hele Norden. Vi er fleksible og kan nemt ændre vores procedurer og afprøve nye modeller for calls og evalueringsprocesser. Jeg vil opfordre de nationale finansieringsorganer i Norden til at samarbejde om at etablere NordForsk som en platform for udvikling og afprøvning af nye evalueringsmetoder, så vi kan imødekomme den nye virkelighed, vi opererer i.
De udfordringer, som er beskrevet her, vedrører ikke kun fonde, men hele forskningssystemet. Forskere og universiteter må sikre, at AI anvendes på en ansvarlig måde. Opdragsgivere og politiske beslutningstagere skal forstå konsekvenserne for tilliden og kvaliteten af forskningen, og fonde bør udvikle evalueringsprocesser, som sikrer, at den bedste og mest originale forskning stadig får gennemslag.
