Videnskab
 Science >> Videnskab >  >> Andet

AI-assisteret skrivning blomstrer stille og roligt i akademiske tidsskrifter - her er hvorfor det er OK

Kredit:Unsplash/CC0 Public Domain

Hvis du søger i Google Scholar efter udtrykket "som en AI-sprogmodel", vil du finde masser af AI-forskningslitteratur og også nogle ret mistænkelige resultater. For eksempel siger et papir om landbrugsteknologi,



"Som en AI-sprogmodel har jeg ikke direkte adgang til aktuelle forskningsartikler eller undersøgelser. Jeg kan dog give dig et overblik over nogle seneste tendenser og fremskridt ..."

Tydelige fejl som dette er ikke de eneste tegn på, at forskere i stigende grad henvender sig til generative AI-værktøjer, når de skriver deres forskning. En nylig undersøgelse undersøgte hyppigheden af ​​visse ord i akademisk skrivning (såsom "prisværdigt", "omhyggeligt" og "indviklet") og fandt ud af, at de blev langt mere almindelige efter lanceringen af ​​ChatGPT - så meget, at 1 % af alle tidsskrifter artikler udgivet i 2023 kan have indeholdt AI-genereret tekst.

(Hvorfor overbruger AI-modeller disse ord? Der er spekulationer, fordi de er mere almindelige på engelsk som tales i Nigeria, hvor nøgleelementer i modeltræning ofte forekommer.)

Den førnævnte undersøgelse ser også på foreløbige data fra 2024, som indikerer, at AI-skrivehjælp kun bliver mere almindelig. Er dette en krise for moderne videnskab, eller en velsignelse for akademisk produktivitet?

Hvem skal tage æren for AI-skrivning?

Mange mennesker er bekymrede over brugen af ​​kunstig intelligens i akademiske artikler. Faktisk er praksis blevet beskrevet som "forurenende" videnskabelig litteratur.

Nogle hævder, at brug af AI-output svarer til plagiat. Hvis dine ideer er copy-pasted fra ChatGPT, er det tvivlsomt, om du virkelig fortjener kredit for dem.

Men der er vigtige forskelle mellem "plagiaterende" tekst forfattet af mennesker og tekst forfattet af AI. De, der plagierer menneskers arbejde, får ære for ideer, der burde være gået til den oprindelige forfatter.

Derimod kan det diskuteres, om AI-systemer som ChatGPT kan have ideer, endsige fortjener kredit for dem. Et kunstig intelligens-værktøj minder mere om din telefons autofuldførelsesfunktion end en menneskelig forsker.

Spørgsmålet om bias

En anden bekymring er, at AI-output kan være forudindtaget på måder, der kan sive ind i den videnskabelige optegnelse. Berygtet havde ældre sprogmodeller en tendens til at portrættere mennesker, der er kvinder, sorte og/eller homoseksuelle på en udpræget lidet flatterende måde, sammenlignet med mennesker, der er mænd, hvide og/eller hetero.

Denne form for skævhed er mindre udtalt i den nuværende version af ChatGPT.

Men andre undersøgelser har fundet en anden slags skævhed i ChatGPT og andre store sprogmodeller:en tendens til at afspejle en venstreliberal politisk ideologi.

Enhver sådan skævhed kunne subtilt forvrænge videnskabelige skrifter, der er produceret ved hjælp af disse værktøjer.

Hallucinationsproblemet

Den mest alvorlige bekymring vedrører en velkendt begrænsning af generative AI-systemer:at de ofte laver alvorlige fejl.

For eksempel, da jeg bad ChatGPT-4 om at generere et ASCII-billede af en svamp, gav det mig følgende output.

Derefter fortalte den mig selvsikkert, at jeg kunne bruge dette billede af en "svamp" til mine egne formål.

Disse former for overmodige fejl er blevet omtalt som "AI-hallucinationer" og "AI-bullshit." Selvom det er let at få øje på, at ovenstående ASCII-billede ikke ligner en svamp (og ganske lidt som en snegl), kan det være meget sværere at identificere eventuelle fejl, ChatGPT begår, når man undersøger videnskabelig litteratur eller beskriver tilstanden i en filosofisk debat.

I modsætning til (de fleste) mennesker er AI-systemer grundlæggende ligeglade med sandheden i, hvad de siger. Hvis de bruges skødesløst, kan deres hallucinationer ødelægge den videnskabelige dokumentation.

Skal AI-produceret tekst forbydes?

Et svar på fremkomsten af ​​tekstgeneratorer har været at forbyde dem direkte. For eksempel tillader Science – et af verdens mest indflydelsesrige akademiske tidsskrifter – enhver brug af AI-genereret tekst.

Jeg ser to problemer med denne tilgang.

Det første problem er praktisk:nuværende værktøjer til at detektere AI-genereret tekst er meget upålidelige. Dette inkluderer detektoren skabt af ChatGPTs egne udviklere, som blev taget offline, efter at den kun havde en nøjagtighedsrate på 26 % (og en 9 % falsk positiv rate). Mennesker begår også fejl, når de vurderer, om noget er skrevet af AI.

Det er også muligt at omgå AI-tekstdetektorer. Online-fællesskaber udforsker aktivt, hvordan man spørger ChatGPT på måder, der giver brugeren mulighed for at undgå opdagelse. Menneskelige brugere kan også overfladisk omskrive AI-output og effektivt skrubbe sporene af AI væk (som dets overforbrug af ordene "prisværdigt", "omhyggeligt" og "indviklet").

Det andet problem er, at et direkte forbud mod generativ kunstig intelligens forhindrer os i at realisere disse teknologiers fordele. Brugt godt kan generativ AI øge den akademiske produktivitet ved at strømline skriveprocessen. På denne måde kunne det hjælpe med at fremme menneskelig viden. Ideelt set bør vi prøve at høste disse fordele og samtidig undgå problemerne.

Problemet er dårlig kvalitetskontrol, ikke AI

Det mest alvorlige problem med AI er risikoen for at introducere ubemærkede fejl, hvilket fører til sjusket stipendium. I stedet for at forbyde kunstig intelligens, bør vi forsøge at sikre, at fejlagtige, usandsynlige eller partiske påstande ikke kan komme ind på den akademiske rekord.

Når alt kommer til alt, kan mennesker også producere skrift med alvorlige fejl, og mekanismer som f.eks. peer review forhindrer ofte dets offentliggørelse.

Vi skal blive bedre til at sikre, at akademiske artikler er fri for alvorlige fejl, uanset om disse fejl er forårsaget af skødesløs brug af kunstig intelligens eller sjusket menneskeligt stipendium. Ikke alene er dette mere opnåeligt end at kontrollere brugen af ​​kunstig intelligens, det vil forbedre standarderne for akademisk forskning som helhed.

Dette ville være (som ChatGPT kunne sige) en prisværdig og omhyggeligt indviklet løsning.

Leveret af The Conversation

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.




Varme artikler