Dataloger udvikler nyt værktøj, der genererer videoer fra tematekst

I en verden af ​​nybegyndere fotografer og videografer, fanger en syndflod af indhold via deres smartphones og håndholdte enheder, der er behov for en intelligent, brugervenligt værktøj til at automatisere oprettelsen af ​​film og videomontager. Til dato, mange kvalitetsvideoer er stadig afhængige af professionelle frame-baserede redigeringsværktøjer til at manipulere rå optagelser og producere en sammenhængende video med en fængslende historie.

Et globalt team af dataloger, fra Tsinghua og Beihang Universiteter i Kina, Harvard University i USA og IDC Herzliya i Israel, har udviklet "Write-A-Video, " et nyt værktøj, der genererer videoer ud fra tematekst. Ved hjælp af ord og tekstredigering, værktøjet bestemmer automatisk, hvilke scener eller billeder der vælges fra et lager for at illustrere den ønskede historie. Værktøjet gør det muligt for nybegyndere at producere kvalitetsvideomontager på en enkel og brugervenlig måde, der ikke kræver professionel videoproduktion og redigeringsevner.

Holdet skal præsentere deres arbejde på ACM SIGGRAPH Asia, afholdt 17. til 20. november i Brisbane, Australien. SIGGRAPH Asien, nu i sit 12. år, tiltrækker de mest respekterede tekniske og kreative mennesker fra hele verden inden for computergrafik, animation, interaktivitet, spil, og nye teknologier.

Mens eksisterende videoredigeringsværktøjer stadig kræver viden om videobehandling og -redigering, forskernes nye metode giver nybegyndere mulighed for at lave videoer, der fortæller historier mere naturligt. Skriv-en-video, siger forskerne, giver brugerne mulighed for at oprette en videomontage ved blot at redigere teksten, der ledsager videoen. For eksempel, tilføje eller slette tekst, og flytte sætninger rundt, konvertere til videoredigeringsoperationer, såsom at finde tilsvarende skud, skære og omarrangere billeder, og skabe et endeligt videomontageresultat.

"Write-A-Video bruger nuværende fremskridt inden for automatisk videoforståelse og en unik brugergrænseflade for at tillade mere naturlig og enklere videooprettelse, " siger professor Ariel Shamir, Dekan for Efi Arazi School of Computer Science ved IDC Herzliya. "Med vores værktøj, brugeren giver input mest i form af redigering af tekst. Værktøjet søger automatisk efter semantisk matchende kandidatbilleder fra et videolager, og bruger derefter en optimeringsmetode til at samle videomontagen ved at klippe og omarrangere billederne automatisk."

"Write-A-Video giver også brugerne mulighed for at udforske visuelle stilarter for hver scene ved hjælp af filmiske idiomer, der genererer, for eksempel, hurtigere eller langsommere film, færre eller flere indholdsbevægelser, osv." forklarer Dr. Miao Wang fra Beihang University.

Når du vælger kandidatbilleder fra videolageret, metoden tager også højde for skuddenes æstetiske appel, at vælge dem, der er ideelt belyst, der er godt fokuseret og ikke er slørede eller ustabile. "På ethvert tidspunkt, brugeren kan gengive filmen og forhåndsvise videomontageresultatet med en tilhørende voice-over-fortælling." siger professor Shi-Min Hu fra Tsinghua University.

Holdets forskning viser, at intelligente digitale værktøjer, der kombinerer menneskers evner og algoritmer sammen, kan hjælpe brugerne i den kreative proces. "Vores arbejde demonstrerer potentialet ved automatisk visuel-semantisk matchning i formsprogbaseret computerredigering, tilbyder en intelligent måde at gøre videooprettelse mere tilgængelig for ikke-professionelle, " siger Shamir.

Til studiet, tilgangen blev testet på forskellige tematiske tekst- og videodepoter, med kvantitativ evaluering og brugerundersøgelser. Brugere uden erfaring med videoredigering kunne producere tilfredsstillende videoer ved hjælp af Write-A-Video-værktøjet, nogle gange endda hurtigere end fagfolk, der bruger rammebaseret redigeringssoftware. Hos SIGGRAPH Asia, holdet vil demonstrere Write-A-Video-applikationen og fremvise en række eksempler på tekst-til-video-produktioner.