Berkeley lab kosmologer er topkonkurrenter i maskinlæringsudfordringer

I søgningen efter nye partikler, fysikere kan læne sig op ad teoretiske forudsigelser, der foreslår nogle gode steder at lede og nogle gode måder at finde dem på:Det er som at få udleveret en grov skitse af en nål gemt i en høstak.

Men blinde søgninger er meget mere komplicerede, som at gå på jagt i en høstak uden at vide, hvad du leder efter.

For at finde ud af, hvad konventionelle computeralgoritmer og videnskabsmænd kan overse i den enorme mængde data indsamlet i partikelkollider-eksperimenter, partikelfysiksamfundet henvender sig til maskinlæring, en applikation af kunstig intelligens, der kan lære sig selv at forbedre sine søgefærdigheder, mens den søger gennem en høstak af data.

I en maskinlæringsudfordring kaldet 2020 Large Hadron Collider (LHC) Olympics, et hold af kosmologer fra det amerikanske energiministeriums Lawrence Berkeley National Laboratory (Berkeley Lab) udviklede en kode, der bedst identificerede et falsk signal skjult i simulerede partikelkollisionsdata.

Kosmologer? Det er rigtigt.

"Det var fuldstændig uventet for os at præstere så godt, " sagde George Stein, en Berkeley Lab og UC Berkeley postdoc-forsker, der deltog i udfordringen med Uros Seljak, en Berkeley Lab kosmolog, UC Berkeley professor, og meddirektør for Berkeley Center for Cosmological Physics, hvor Stein er medlem.

Ti hold, består hovedsageligt af partikelfysikere, konkurrerede i konkurrencen, som løb fra 19. nov. 2019, til 12. januar, 2020.

Stein ledede tilpasningen af ​​en kode, som to andre studerende forskere havde udviklet under Seljaks ledelse. Konkurrencen blev lanceret af arrangørerne af Machine Learning for Jets 2020 (ML4Jets2020) konferencen. Jets er smalle kegler af partikler produceret i partikelkollisionseksperimenter, som partikelfysikere kan spore tilbage for at måle egenskaberne af deres partikelkilder.

Konkurrenceresultaterne blev offentliggjort under konferencen, som blev afholdt på New York University 15.-17. januar.

Ben Nachman, en Berkeley Lab postdoc-forsker, som er en del af en gruppe, der arbejder på ATLAS - en stor detektor på CERN's LHC - fungerede som en af ​​begivenheds- og konkurrencearrangørerne. David Shih, en fysik- og astronomiprofessor ved Rutgers University nu på et sabbatår ved Berkeley Lab, og Gregor Kasieczka, professor ved universitetet i Hamburg i Tyskland, var medarrangører.

Mens nogle computerkonkurrencer giver deltagerne mulighed for at indsende og teste deres koder flere gange for at måle, om de kommer tættere på de korrekte resultater, 2020 LHC Olympics-konkurrencen gav holdene kun én chance til at indsende en løsning.

"Det fede er, at vi ikke brugte et hyldeværktøj, " sagde Seljak. "Vi brugte et værktøj, som vi havde udviklet til vores forskning."

Han bemærkede, "I min gruppe havde vi arbejdet med uovervåget maskinlæring. Tanken er, at man vil beskrive data, hvor dataene ikke har nogen etiketter."

Værktøjet, som teamet brugte, kaldes sliced ​​iterative optimal transport. "Det er en form for dyb læring, men en form, hvor vi ikke optimerer alt på én gang, " sagde Seljak. "I stedet, vi gør det iterativt, " i etaper.

Koden er så effektiv, at den kan køre på en simpel stationær eller bærbar computer. Det blev udviklet til en statistisk tilgang kendt som Bayesianske beviser.

Seljak sagde:"Antag, at du ser på anomalier i en planets transittid, "den tid, det tager for planeten at passere foran et større objekt fra dit synspunkt - som at se fra Jorden, mens Merkur bevæger sig foran solen.

"En løsning kræver, at der er en ekstra planet, " han sagde, "og den anden løsning kræver en ekstra måne, og de passer begge godt til dataene, men de har meget forskellige parametre. Hvordan sammenligner jeg disse to løsninger?"

Den Bayesianske tilgang er at beregne beviserne for begge løsninger og se, hvilken løsning der har en større sandsynlighed for at være sand.

"Denne slags eksempler dukker op hele tiden, " sagde Seljak, og hans teams kode er designet til at fremskynde de komplekse beregninger, der kræves af konventionelle metoder. "Vi prøvede at forbedre noget, der ikke var relateret til partikelfysik, og vi indså, at dette kunne bruges som et generelt maskinlæringsværktøj."

Han tilføjede, "Vores løsning er især nyttig til såkaldt anomalidetektion:at lede efter meget små signaler i data, der på en eller anden måde er anderledes end de andre data."

I 2020 LHC Olympics konkurrence, Deltagerne modtog først et prøvesæt af data, der kaldte partikelsignaldata fra nogle baggrundsdata – både nålen og høstakken – som gjorde det muligt for deltagerne at teste deres koder.

Så modtog de de faktiske "black box"-konkurrencedata:bare høstakken. De fik til opgave at finde en anden og helt ukendt slags partikelsignal skjult i baggrundsdataene, og for specifikt at beskrive de signalbegivenheder, som deres metoder viste.

Medarrangørerne af konkurrencen Shih og Nachman bemærkede, at de personligt havde arbejdet på en anomali-detektionsmetode, der bruger en meget lignende tilgang (kaldet "betinget tæthedsestimation") til teknikken udviklet af Seljak og Stein, der deltog i konkurrencen.

Seljak og Stein rådførte sig med en række partikelfysikere på laboratoriet, inklusive Nachman, Shih, og kandidatstuderende Patrick McCormack. De diskuterede, blandt andre emner, hvordan højenergifysiksamfundet typisk analyserer datasæt som dem, der bruges i konkurrencen, men til selve "black box"-udfordringen var Seljak og Stein alene.

Da konkurrencen nærmede sig sin afslutning, Stein sagde, "Vi troede, vi fandt noget omkring en uge før deadline."

Stein og Seljak indsendte deres resultater et par dage før konferencen, "men da vi ikke er partikelfysikere, vi havde ikke planer om at deltage i konferencen, " sagde Seljak.

Derefter, Stein modtog en e-mail fra konferencearrangørerne, som bad ham om at flyve ud og præsentere en snak om holdets løsning senere på ugen. Arrangørerne delte ikke resultaterne af konkurrencen, før alle talerne havde præsenteret deres resultater.

"Min tale var oprindeligt først, og så kort før sessionens start rykkede de mig til sidst. Jeg vidste ikke om det var en god ting " sagde Stein.

Koden, som Berkeley Lab-teamet indtastede, hentede omkring 1, 000 begivenheder, med en fejlmargen på plus eller minus 200, og det korrekte svar var 843 hændelser. Deres kode var den klare vinder i den kategori.

Flere hold var tæt på at estimere energiniveauet, eller "resonansmasse, "af signalet, og Berkeley Lab-teamet var tættest på i deres estimat af resonansmassen for et sekundært signal, der stammer fra hovedsignalet.

På konferencen, Stein bemærkede, "Der var en enorm interesse for den overordnede tilgang, vi tog. Det skabte bølger."

Oz Amram, en anden deltager i konkurrencen, grinet i et Twitter-opslag, "Resultatet af OL i LHC ... er, at kosmologer er bedre til vores arbejde, end vi er." Men konkurrencearrangørerne annoncerede ikke formelt en vinder.

Nachman, en af ​​arrangørerne, sagde, "Selvom George og Uros klart overgik de andre konkurrenter, i sidste ende er det sandsynligt, at ingen algoritme vil dække alle muligheder - så vi har brug for et forskelligt sæt af tilgange for at opnå bred følsomhed."

Han tilføjede, "Partikelfysik er gået ind i en interessant tid, hvor enhver forudsigelse for nye partikler, vi har testet på Large Hadron Collider, indtil videre har vist sig ikke at blive realiseret i naturen - undtagen standardmodellen for partikelfysik. Selvom det er vigtigt at fortsætte programmet af modeldrevne søgninger, vi er også nødt til at udvikle et parallelt program for at være modelagnostiske. Det er motivationen for denne udfordring."

Seljak sagde, at hans team planlægger at udgive et papir, der beskriver dets maskinlæringskode.

"Vi planlægger bestemt at anvende dette på mange astrofysiske problemer, " sagde han. "Vi vil lede efter interessante applikationer - alt med fejl eller transienter, noget unormalt. Vi vil arbejde på at fremskynde koden og gøre den mere kraftfuld. Den slags tilgange kan virkelig hjælpe."