Nyt augmented reality-system giver smartphone-brugere mulighed for at komme i gang med virtuelle objekter

Et nyt softwaresystem udviklet af Brown University-forskere gør mobiltelefoner til augmented reality-portaler, gør det muligt for brugere at placere virtuelle byggeklodser, møbler og andre genstande i den virkelige verden, og bruge deres hænder til at manipulere disse genstande, som om de virkelig var der.

Udviklerne håber, at det nye system, kaldet Portal-ble, kunne være et værktøj for kunstnere, designere, spiludviklere og andre til at eksperimentere med augmented reality (AR). Holdet vil præsentere arbejdet senere på måneden på ACM Symposium on User Interface Software and Technology (UIST 2019) i New Orleans. Kildekoden til Andriod er frit tilgængelig til download på forskernes hjemmeside, og iPhone-kode følger snart.

"AR bliver en fantastisk ny måde at interagere på, " sagde Jeff Huang, en assisterende professor i datalogi hos Brown, som udviklede systemet sammen med sine elever. "Vi ville lave noget, der gjorde AR bærbart, så folk kunne bruge hvor som helst uden nogen omfangsrige headsets. Vi ønskede også, at folk skulle kunne interagere med den virtuelle verden på en naturlig måde ved hjælp af deres hænder."

Huang sagde, at ideen til Portal-bles "hands-on" interaktion voksede ud af en vis frustration med AR-apps som Pokemon GO. AR-apps bruger smartphones til at placere virtuelle objekter (som Pokémon-figurer) i scener i den virkelige verden, men interaktion med disse objekter kræver, at brugerne stryger på skærmen.

"Swiping var bare ikke en tilfredsstillende måde at interagere på, " sagde Huang. "I den virkelige verden, vi interagerer med genstande med vores hænder. Vi drejer dørhåndtag, samle ting op og smide ting. Så vi troede, at det ville være meget mere kraftfuldt at manipulere virtuelle objekter i hånden end at swipe. Det er det, der er anderledes ved Portal-ble."

Platformen gør brug af en lille infrarød sensor monteret på bagsiden af ​​en telefon. Sensoren sporer positionen af ​​folks hænder i forhold til virtuelle objekter, gør det muligt for brugere at samle genstande op, vend dem, stable dem eller slip dem. Det lader også folk bruge deres hænder til nærmest at "male" på baggrunde i den virkelige verden. Som en demonstration, Huang og hans elever brugte systemet til at male en virtuel have til et grønt område på Brown's College Hill campus.

Huang siger, at det vigtigste tekniske bidrag til arbejdet var at udvikle de rigtige indkvarterings- og feedbackværktøjer for at gøre det muligt for folk at interagere intuitivt med virtuelle objekter.

"Det viser sig, at det er virkelig svært at opfange et virtuelt objekt, hvis du prøver at anvende den virkelige verdens fysik, " sagde Huang. "Folk prøver at gribe det forkerte sted, eller de stikker fingrene gennem genstandene. Så vi var nødt til at observere, hvordan folk forsøgte at interagere med disse objekter og derefter gøre vores system i stand til at imødekomme disse tendenser."

At gøre det, Huang hvervede elever i en klasse, han underviste, til at finde på opgaver, de kunne have lyst til at udføre i AR-verdenen – stable et sæt blokke, for eksempel. Eleverne bad derefter andre om at prøve at udføre disse opgaver ved hjælp af Portal-ble, mens de optog, hvad folk var i stand til, og hvad de ikke kunne. De kunne derefter justere systemets fysik og brugergrænseflade for at gøre interaktioner mere succesfulde.

"Det er lidt ligesom, hvad der sker, når folk tegner streger i Photoshop, " sagde Huang. "De linjer, folk trækker, er aldrig perfekte, men programmet kan glatte dem ud og gøre dem helt lige. Det var den slags indkvartering, vi forsøgte at lave med disse virtuelle objekter."

Holdet tilføjede også sensorisk feedback – visuelle højdepunkter på objekter og telefonvibrationer – for at gøre interaktioner nemmere. Huang sagde, at han var noget overrasket over, at telefonvibrationer hjalp brugerne til at interagere. Brugere mærker vibrationerne i hånden, de bruger til at holde telefonen, ikke i hånden, der faktisk griber efter det virtuelle objekt. Stadig, Huang sagde, vibrationsfeedback hjalp stadig brugerne til at interagere med objekter mere vellykket.

I opfølgende undersøgelser, brugere rapporterede, at de akkommodationer og feedback, som systemet brugte, gjorde opgaver væsentligt nemmere, mindre tidskrævende og mere tilfredsstillende.

Huang og hans elever planlægger at fortsætte med at arbejde med Portal-ble - ved at udvide dets objektbibliotek, raffinering af interaktioner og udvikling af nye aktiviteter. De håber også at strømline systemet, så det kører helt på en telefon. I øjeblikket kræver den infrarøde sensor en infrarød sensor og ekstern compute stick for ekstra processorkraft.

Huang håber, at folk vil downloade den frit tilgængelige kildekode og prøve den selv.

"Vi vil virkelig bare lægge det her ud og se, hvad folk gør med det, " sagde han. "Koden er på vores hjemmeside, så folk kan downloade, redigere og bygge ud af. Det bliver interessant at se, hvad folk gør med det."