Forskere udvikler en ny måde at teste maskinlæringsalgoritmer, der styrer selvkørende biler

Det er et stort spørgsmål for mange mennesker i trafiktætte byer som Los Angeles:Hvornår kommer selvkørende biler? Men efter en række højprofilerede ulykker i USA, sikkerhedsspørgsmål kunne bringe den autonome drøm til at stoppe.

På USC, forskere har offentliggjort en ny undersøgelse, der tackler et langvarigt problem for udviklere af autonome køretøjer:test af systemets perceptionsalgoritmer, som gør det muligt for bilen at "forstå" hvad den "ser".

Arbejder med forskere fra Arizona State University, holdets nye matematiske metode er i stand til at identificere uregelmæssigheder eller fejl i systemet, før bilen kører på vejen.

Perceptionsalgoritmer er baseret på konvolutionelle neurale netværk, drevet af maskinlæring, en form for dyb læring. Disse algoritmer er notorisk svære at teste, da vi ikke helt forstår, hvordan de laver deres forudsigelser. Dette kan føre til ødelæggende konsekvenser i sikkerhedskritiske systemer som autonome køretøjer.

"At gøre perceptionsalgoritmer robuste er en af ​​de største udfordringer for autonome systemer, " sagde undersøgelsens hovedforfatter Anand Balakrishnan, en USC datalogi Ph.D. studerende.

"Ved brug af denne metode, udviklere kan indsnævre fejl i perceptionsalgoritmerne meget hurtigere og bruge denne information til at træne systemet yderligere. På samme måde som biler skal igennem kollisionstests for at sikre sikkerheden, denne metode tilbyder en forebyggende test for at fange fejl i autonome systemer."

Papiret, med titlen Specification and Evaluating Quality Metrics for Vision-based Perception Systems, blev præsenteret på Designet, Automation and Test in Europe-konference i Italien, 28. Mar.

At lære om verden

Typisk "lærer" autonome køretøjer om verden via maskinlæringssystemer, som bliver fodret med enorme datasæt af vejbilleder, før de kan identificere objekter på egen hånd.

Men systemet kan gå galt. I tilfælde af en dødsulykke mellem en selvkørende bil og en fodgænger i Arizona i marts sidste år, softwaren klassificerede fodgængeren som en "falsk positiv" og besluttede, at den ikke behøvede at stoppe.

"Vi troede, der er tydeligvis et eller andet problem med den måde, hvorpå denne opfattelsesalgoritme er blevet trænet, " sagde studie medforfatter Jyo Deshmukh, en USC-professor i datalogi og tidligere forsknings- og udviklingsingeniør for Toyota, med speciale i selvkørende køretøjssikkerhed.

"Når et menneske opfatter en video, der er visse antagelser om persistens, som vi implicit bruger:hvis vi ser en bil inden for en videoramme, vi forventer at se en bil på et nærliggende sted i den næste videoramme. Dette er en af ​​flere 'sundhedsbetingelser', som vi ønsker, at perceptionsalgoritmen skal opfylde før implementering."

For eksempel, et objekt kan ikke dukke op og forsvinde fra et billede til det næste. Hvis det gør, det krænker en "sundhedstilstand, "eller grundlæggende fysiklov, hvilket tyder på, at der er en fejl i perceptionssystemet.

Deshmukh og hans ph.d. studerende Balakrishnan, sammen med USC Ph.D. studerende Xin Qin og masterstuderende Aniruddh Puranic, gik sammen med tre forskere fra Arizona State University for at undersøge problemet.

Ingen plads til fejl

Holdet formulerede en ny matematisk logik, kaldet Timed Quality Temporal Logic, og brugte det til at teste to populære maskinlæringsværktøjer – Squeeze Det og YOLO – ved hjælp af rå videodatasæt af kørescener.

Logikken blev med succes finpudset på tilfælde af maskinlæringsværktøjer, der krænker "sundhedsbetingelser" på tværs af flere billeder i videoen. Mest almindeligt, maskinlæringssystemerne kunne ikke detektere et objekt eller fejlklassificerede et objekt.

For eksempel, i et eksempel, systemet kunne ikke genkende en cyklist bagfra, når cyklens dæk lignede en tynd lodret streg. I stedet, den fejlklassificerede cyklisten som fodgænger. I dette tilfælde, systemet kan muligvis ikke forudse cyklistens næste træk korrekt, som kan føre til en ulykke.

Fantomobjekter - hvor systemet opfatter et objekt, når der ikke er noget - var også almindelige. Dette kan forårsage, at bilen fejlagtigt smækker på pauserne - et andet potentielt farligt træk.

Holdets metode kunne bruges til at identificere anomalier eller fejl i perceptionsalgoritmen før implementering på vejen og giver udvikleren mulighed for at lokalisere specifikke problemer.

Ideen er at fange problemer med perceptionsalgoritme i virtuel test, gør algoritmerne sikrere og mere pålidelige. Afgørende, fordi metoden er afhængig af et bibliotek af "sundhedsforhold, "der er ikke behov for mennesker at mærke objekter i testdatasættet - en tidskrævende og ofte mangelfuld proces.

I fremtiden, holdet håber at inkorporere logikken til at genoptræne perceptionsalgoritmerne, når det finder en fejl. Det kan også udvides til brug i realtid, mens bilen kører, som en sikkerhedsmonitor i realtid.