AI buldrer ind over videnskaben. Vi må sætte grænser før det er for sent

David Budtz Pedersen er professor på Aalborg Universitet, medlem af Det Norske Forskningsråd og rådgiver for EU Kommissionen. 

Forleden havde jeg en af den slags skelsættende oplevelser, som man sent kommer sig over. Ved et seminar i Bruxelles skulle Europa Kommissionen fremlægge sit forslag til brug af kunstig intelligens i videnskabelige institutioner.

I lokalet var der store forhåbninger til de mange opgaver, som AI kan bidrage til at løse. Ligesom på andre områder i den offentlige sektor forventes AI at kunne lette arbejdsprocesser på en række områder i forskningssystemet.

Men det var chokerende at høre, hvor langt europæiske forskningsmiljøer er villige til at gå – og hvilke konsekvenser det kan få for kvaliteten af videnskab. 

Brug af forskellige typer af AI kan være harmløse og vil ligesom andre digitale løsninger finde en naturlig anvendelse i forskningen. Det gælder AI-assistenter, der kan være med til at oversætte, tage noter, foreslår grammatiske forbedringer af tekster, formatere publikationer og angive videnskabelige referencer. Men allerede her på første trin, kan der opstå problemer.

For eksempel har en række af de mest anvendte sprogmodeller for vane at foreslå referencer på videnskabelige studier, der ikke findes. Faktatjek og menneskelig dømmekraft bliver kun mere – ikke mindre – relevant, når man begynder at bruge selv rudimentære AI-produkter. 

Forlagenes AI-agenda

Men det stopper ikke her. Flere af de store datavirksomheder, herunder de store internationale forlag, der i stigende grad lever af at sælge metadata fra forskning, ser et stort potentiale i at bruge AI mere gennemgribende. Fordi de store forlag har ejerskab over enorme datamængder, træner de AI-modeller, som skal bruges til at udføre deciderede forskningsopgaver.

Det drejer sig om litteratursøgning, metastudier, syntetisering af evidens, assistance til visualiseringer, automatiseret kodning, udvikling af software osv. Værktøjer som disse er allerede til salg hos Elsevier og Springer-Nature.

De er muliggjort ved, at de globale forlagsgiganter har fået ejerskab til store datamængder fra publikationer, som offentlige universiteter og fonde har betalt. Og i en tid, hvor det bliver svære for forlagene at øge deres indtægter alene fra publikationer, ser de et potentiale i at træne og tilbyde AI-løsninger.   

Det er et paradoksalt eksempel på, hvordan staten ender med at betale for den samme forskning adskillige gange. Ikke alene betaler råd, fonde og universiteter for at producere forskningen: de betaler for, at forskerne udfører fagfællebedømmelser af indsendte artikler, ligesom de betaler for at få adgang til den publicerede forskning via biblioteker og dyre gebyrer på open access. 

Læs også: Tidsskrifter sælger forskning til AI uden forskeres samtykke

Og nu ser forlagene en mulighed for at vride endnu flere penge ud af forskningen, nemlig ved at træne AI-modeller, som forskerne skal købe for at lette deres arbejde. Staten betaler for den samme data tre eller fire gange: produktion, bedømmelse, adgang og ibrugtagning.

Og det tilmed på et marked, der allerede har en enorm profitmargin. Den videnskabelige forlagsbranche i EU anslås af European University Alliance til at udgøre et marked på 7.5 milliarder kroner årligt. 

Truslen om AI-drevet forskning uden menneskelig dømmekraft

Men hvad værre er, så eksperimenterer virksomheder og forskere med at implementere endnu mere gennemgribende AI-løsninger. Eksempler omfatter brug af AI til at forfatte tekster, gennemføre statistisk analyse, foretage simulering, foreslå nye hypoteser, designe eksperimenter, udarbejde forskningsspørgsmål, definere arbejdsprocesser og bedømme og evaluere forskere.

I en teoretisk fremtid nævnes det som en mulighed, at AI kan udføre næsten hele forskningsprocessen fra hypotese til indsamling og analyse af data til publicering og bedømmelse. 

Et sådant AI-baseret forskningssystem er under ingen omstændigheder ønskværdigt. Videnskaben har de sidste 150 år været den gyldne standard for viden i det liberale demokrati.

Videnskabelige institutioner, tidsskrifter og akademier har ihærdigt kontrolleret gyldighedsbetingelserne for viden: de har smidt dårlige metoder på porten, afvist mangelfuld empiri og har nidkært brugt menneskelig dømmekraft til at skille videnskab fra ikke-videnskab. 

Filosoffer har erkendt, at denne distinktion ikke kan opretholdes i sin allermest fundamentale betydning, fordi viden kommer i mange former, og fordi overgangen fra hypotese til resultat og certificeret viden er flydende og dynamisk, og består af levende læreprocesser. Men som Karl Popper fastslog, så udgør det bedste kriterium for videnskab åbenhed over for falsifikation og evnen til at opnå foreløbig konsensus. 

Læs også: Ny analyse viser udpræget AI-optimisme blandt danske forskere

Det vil sige, at de resultater, som forskere producerer, skal kunne efterprøves, accepteres og anerkendes blandt fagfæller. Det er selve præmissen for videnskabens samfundskontrakt. Den viden, som de fleste ikke er i stand til selv at efterprøve hjemme ved køkkenbordet, har vi specialiserede institutioner til at kvalitetssikre. 

Tilliden til videnskaben er i fare

Denne samfundskontrakt hviler på, at forskere har indsigt i, hvordan videnskab er produceret og åbent fremlægger, hvordan eksperimenter er udført, data er indhentet og konklusioner opnået. Hvis denne proces gøres uigennemsigtig af et medierende lag af AI-produkter, hvis algoritmer og resultater ikke kan efterprøves, vil det erodere kvaliteten og dermed tilliden til videnskaben.

Det er en tillokkende forestilling, at langsomme arbejdsprocesser med eksperimenter, analyse, publicering, ansøgninger og fagfællebedømmelser kan lettes af kunstig intelligens. Men det bør behandles med stor forsigtighed og reguleres i kodeks for god forskningspraksis. 

Læs også: AI-godstoget tromler over os: Førende forskere går sammen for at tegne linjerne mellem fremskridt og faldgruber

I modsætning til specialdesignet AI trænet på videnskabelige kvalitetsdata som AlphaFold kan de fleste sprogmodeller ikke efterprøves eller reproduceres. Generativ AI er baseret på enorme statistiske modeller.

Når man ændrer minimale input, vil det ændre output på måder, der er utilgængelige for mennesker. Læg dertil, at algoritmer ofte er hemmeligholdte bag datavirksomhedernes betalingsmure. Offentlige forskere har ikke adgang til at efterprøve de programmer, de selv bruger. 

Mod ansvarlig og suveræn brug af AI

De store forlagsgiganter har hidtil defineret spillereglerne og sat retningen for den digitale infrastruktur i forskningssystemet. Deres løsninger er ofte bedre og billigere end de lokale alternativer, som biblioteker og videnskabelige sammenslutninger kan stille til rådighed. Det skaber voldsomme sårbarheder i vores samfund. Det handler om sikkerhed, demokrati og tillid. 

Ligesom i resten af samfundet er det afgørende at regulere den digitale infrastruktur i videnskaben. Det kræver kontrol fra universiteter og fonde. Og så kræver det, at forskningen gøres uafhængig af den kommercielle publiceringsindustri, der driver rovdrift på den offentlige forskning.

Læs også: Selv mange forskere har glemt, at det er en menneskeret at nyde godt af videnskabens fremskridt

Ved at beholde ejerskab til data og aktivt håndhæve krav til intellektuelle rettigheder kan universiteter beholde retten til deres forskning. Det handler om åben forskning. Men det handler i høj grad også om at skabe incitamenter, der bryder det nuværende mønster for publicering og dataoverførsel til virksomheder. 

I en ikke så fjern fremtid kan man øjne en mere velinformeret teknologisk optimisme. Hvis danske og europæiske forskningsinstitutioner beholder ejerskab og adgang til data, kan man træne AI-modeller på offentlig forskning.

De kan efterprøves og faktatjekkes: deres algoritmer er ikke forretningshemmeligheder, men kan publiceres på lige vilkår med andre forskningsbidrag. På den måde kan dansk og europæisk forskning bidrage til den digitale suverænitet, som beslutningstagere overalt taler om.