Bedst af det bedste:Hvem træffer de mest præcise beslutninger i ekspertgrupper?

Eksperter er ikke altid enige med hinanden, når de laver forudsigelser eller diagnoser. Så hvordan kan vi finde ud af, hvilken ekspert i en gruppe, der træffer de bedste og mest præcise beslutninger? Et tværfagligt team af forskere ved Max Planck Institute for Human Development og Leibniz Institute of Freshwater Ecology and Inland Fisheries har udviklet en simpel metode til at identificere de mest nøjagtige eksperter og testet den med succes i forskellige grupper. Deres resultater er blevet offentliggjort i Videnskab fremskridt .

Indikerer en masse på et mammografi brystkræft? Vil Serbien være medlem af EU i 2025? Kommer der flere oversvømmelser i Tyskland om fem år? Lægernes diagnoser og forudsigelser, videnskabsmænd, og eksperter har ofte vidtrækkende konsekvenser. Og i mange tilfælde, det er først år senere, at det er muligt at sige, hvilken ekspert der oftest har ringet rigtigt.

Et tværfagligt forskerhold fra Max Planck Institute for Human Development og Leibniz Institute of Freshwater Ecology and Inland Fisheries har udviklet en simpel ny metode, der kan bruges til at identificere de bedste beslutningstagere fra en gruppe eksperter uden at skulle vide, om deres beslutninger – tidligere eller nuværende – er korrekte eller forkerte. "Forudsat at mindst halvdelen af ​​alle beslutninger truffet i gruppen er korrekte - hvilket typisk er tilfældet i ekspertgrupper - og at hver person har truffet omkring 20 ja/nej-beslutninger, denne metode har vist sig at fungere meget godt, " siger Max Wolf, forsker ved Leibniz Institute of Freshwater Ecology and Inland Fisheries og medforfatter til undersøgelsen.

Metoden er udviklet på baggrund af indsigt i kollektiv intelligens. Det hviler på en simpel antagelse:De individer i en gruppe af eksperter, der træffer beslutninger, der minder mest om andres beslutninger, træffer også de bedste beslutninger. For ja/nej-beslutninger, denne antagelse bekræftes let ved hjælp af matematisk modellering. For at teste om metoden også virker i rigtige grupper, forskerne analyserede offentliggjorte forudsigelser og diagnoser stillet af forskellige grupper inden for forskellige områder.

For eksempel, forskerne undersøgte diagnoserne stillet af 100 radiologer i USA i begyndelsen af ​​2000'erne, radiologerne fortolkede mammografierne af 155 kvinder for at afgøre, om de havde brystkræft eller ej. Forskerholdet analyserede dataene for at identificere de radiologer, hvis beslutninger var, gennemsnitlig, mest ligner de andres beslutninger. Da de havde adgang til opfølgende oplysninger om helbredstilstanden for de 155 screenede kvinder, forskerne var også i stand til at afgøre, hvilke radiologer, der stillede de mest præcise og dermed bedste diagnoser. Det var de samme radiologer som dem, der blev identificeret ved hjælp af den nye statistiske metode.

"Det har vist sig igen og igen, at eksperter, der er gode på deres område, er gode på samme måde, hvorimod dårlige kunstnere er dårlige på meget forskellige måder. Arbejder på baggrund af denne observation, vi udviklede denne nye metode og testede den på forskellige områder, siger Ralf Kurvers, hovedforfatter og forsker ved Center for Adaptiv Rationalitet ved Max Planck Institute for Human Development.

Udover radiologernes diagnoser, forskerholdet analyserede hudkræftdiagnoser stillet af 40 italienske hudlæger; geopolitiske forudsigelser lavet af 90 prognosemænd på onlineplatformen Good Judgment Project; og resultaterne af en simpel generel videnstest, hvor 100 deltagere blev bedt om at identificere den største af to amerikanske byer.

"Vi mener, at forholdet mellem lighed og nøjagtighed af beslutninger kan være et effektivt redskab til praksis. Metoden kan bruges til at forbedre kollektive og individuelle beslutningsprocesser i medicinsk diagnostik, miljørisikoanalyser, og erhvervslivet, " siger medforfatter Stefan Herzog, også forsker ved Center for Adaptiv Rationalitet.