Ny ramme forbedrer ydeevnen af ​​dybe neurale netværk

North Carolina State University-forskere har udviklet en ny ramme til opbygning af dybe neurale netværk via grammatikstyrede netværksgeneratorer. I eksperimentel afprøvning, de nye netværk – kaldet AOGNets – har overgået eksisterende state-of-the-art rammer, herunder de meget udbredte ResNet- og DenseNet-systemer, i visuelle genkendelsesopgaver.

"AOGNets har bedre forudsigelsesnøjagtighed end nogen af ​​de netværk, vi har sammenlignet det med, "siger Tianfu Wu, en assisterende professor i elektro- og computerteknik ved NC State og tilsvarende forfatter til et papir om arbejdet. "AOGNets er også mere fortolkelige, hvilket betyder, at brugerne kan se, hvordan systemet når sine konklusioner. "

Den nye ramme bruger en kompositorisk grammatiktilgang til systemarkitektur, der trækker på bedste praksis fra tidligere netværkssystemer for mere effektivt at udtrække nyttig information fra rådata.

"Vi fandt ud af, at hierarkisk og kompositorisk grammatik gav os en enkel, elegant måde at forene de tilgange, der er taget af tidligere systemarkitekturer, og så vidt vi ved, det er det første værk, der gør brug af grammatik til netværksgenerering, " siger Wu.

For at teste deres nye rammer, forskerne udviklede AOGNets og testede dem mod tre billedklassificeringsbenchmarks:CIFAR-10, CIFAR-100 og ImageNet-1K.

"AOGNets opnåede betydeligt bedre ydeevne end alle de state-of-the-art netværk under rimelige sammenligninger, herunder ResNets, DenseNets, ResNeXts og DualPathNets, "Wu siger." AOGNets opnåede også den bedste modelfortolkningsscore ved hjælp af metoden for netværksdissektion i ImageNet. AOGNets viser yderligere et stort potentiale inden for kontradiktorisk forsvar og platform-agnostisk implementering (mobil vs sky)."

Forskerne testede også ydeevnen af ​​AOGNets i objektdetektion og semantisk segmentering af instanser, på Microsoft COCO benchmark, ved hjælp af vaniljemaske R-CNN-systemet.

"AOGNets opnåede bedre resultater end ResNet og ResNeXt backbones med mindre modelstørrelser og lignende eller lidt bedre slutningstid, "Wu siger." Resultaterne viser effektiviteten af ​​AOGNets, der lærer bedre funktioner i objektdetektering og segmenteringsopgaver.

Disse test er relevante, fordi billedklassificering er en af ​​de centrale grundopgaver inden for visuel genkendelse, og ImageNet er standard benchmark for klassificering i stor skala. Tilsvarende objektdetektering og segmentering er to centrale synsopgaver på højt niveau, og MS-COCO er et af de mest udbredte benchmarks.

"For at evaluere nye netværksarkitekturer til dyb læring i visuel genkendelse, de er de gyldne testbede, "Wu siger." AOGNets er udviklet under en principiel grammatikramme og opnår en betydelig forbedring i både ImageNet og MS-COCO, viser dermed potentielt brede og dybe konsekvenser for repræsentationslæring i mange praktiske anvendelser.

"Vi er begejstrede for den grammatikstyrede AOGNet-ramme, og udforsker dens ydeevne i andre deep learning -applikationer, såsom dyb naturlig sprogforståelse, dyb generativ læring og dyb forstærkende læring, " siger Wu.

Papiret, "AOGNets:Compositional Grammatical Architectures for Deep Learning, " vil blive præsenteret på IEEE Computer Vision and Pattern Recognition Conference, afholdes 16.-20. juni i Long Beach, Californien. Første forfatter til papiret er Xilai Li, en ph.d. studerende på NC State. Avisen var medforfatter af Xi Song, en uafhængig forsker.