Forbedret videokvalitet på trods af dårlige netværksforhold

Professor Jinwoo Shin og professor Dongsu Han fra School of Electrical Engineering udviklede neurale adaptive indholdsbevidste internetvideovisning. Denne teknologi er en ny metode, der kombinerer adaptiv streaming via HTTP, videooverførselssystemet vedtaget af YouTube og Netflix, med en dyb læringsmodel.

Denne teknologi forventes at skabe et internetmiljø, hvor brugerne kan nyde at se 4K- og AV/VR-videoer med højkvalitets- og HD-videoer (selv med svage internetforbindelser).

Takket være videostreamingtjenester, internetvideo har oplevet en bemærkelsesværdig vækst; alligevel, brugere lider ofte af lav videokvalitet på grund af ugunstige netværksforhold. I øjeblikket, eksisterende adaptive streaming -systemer justerer kvaliteten af ​​videoen i realtid, imødekommer den konstant skiftende internetbåndbredde. Forskellige algoritmer undersøges for adaptive streaming -systemer, men der er en iboende begrænsning; det er, videoer i høj kvalitet kan ikke streames i dårlige netværksmiljøer, uanset hvilken algoritme der bruges.

Ved at indarbejde superopløsning i adaptiv streaming, teamet overvandt grænsen for eksisterende indholdsdistributionsnetværk, hvoraf deres kvalitet afhænger for meget af båndbredden. I den konventionelle metode, serveren, der leverer videoen, opdeler en video i bestemte tidsrum på forhånd. Men det nye system, der blev introduceret af teamet, tillader download af neurale netværkssegmenter. For at lette denne metode, videoserveren skal levere dybe neurale netværk for hvert videosegment samt størrelser af Deep Neural Networks (DNN) i henhold til specifikationerne for brugerens computerkapacitet.

Den største neurale netværksstørrelse er to megabyte, som er betydeligt mindre end video. Når du downloader det neurale netværk fra brugerens videoafspiller, det er opdelt i flere segmenter. Selv dens delvise download er tilstrækkelig til en lidt omfattende superopløsning.

Mens du afspiller videoen, systemet konverterer videoen af ​​lav kvalitet til en version af høj kvalitet ved at anvende superopløsning baseret på dybe konvolutionsneurale netværk (CNN). Hele processen udføres i realtid, og brugere kan nyde HD-videoen.

Selv med en 17 procent mindre båndbredde, systemet kan levere oplevelseskvaliteten svarende til den nyeste adaptive streamingtjeneste. Ved en given internetbåndbredde, det kan levere 43 procent højere gennemsnitlig QoE end den nyeste service.

Ved hjælp af en deep learning -metode kan dette system opnå et højere komprimeringsniveau end de eksisterende videokomprimeringsmetoder. Deres teknologi blev anerkendt som et næste generations internetvideosystem, der anvender superopløsning baseret på et dybt konvolut neuralt netværk til online videoer.

Professor Han sagde, "Indtil nu, det er kun blevet implementeret på desktops, men vi vil videreudvikle applikationer, der også fungerer i mobile enheder. Denne teknologi er blevet anvendt på de samme videooverførselssystemer, der bruges af streamingkanaler som YouTube og Netflix, og viser dermed gode tegn på anvendelighed. "