Hvordan var det at designe musikinstrumenter med hjælp fra handicappede musikere og VR

De fleste nye digitale teknologier plejer at være designet med en rask bruger i tankerne. De første stationære computere krævede finmotorik for at navigere i softwaremenuer ved hjælp af en mus, og mobiltelefoner har brug for, at brugerne trykker på knapper, swipe skærme, og så videre. For at bruge en sådan teknologi skal en person være ret behændig.

I vores forskningsgruppe Performance uden barrierer, vi designer digitale musikalske grænseflader med handicappede musikere i tankerne. Dette arbejde engagerer handicappede kunstnere fra starten af ​​en ny teknologi og ser på de specifikke evner, de har. På denne måde teknologier udvikler sig i takt med dem, under hensyntagen til deres mobilitet, behov og kreative interesser.

Den nuværende VR-teknologi er designet til de raske kropslige, men endnu vigtigere tillader det ofte kun passive interaktioner – at lytte til musikoptrædener, såsom Elton Johns 360 koncert, for eksempel, eller "kører" i en rutsjebane. Vi var mere interesserede i, hvordan handicappede musikere kan bruge VR-teknologier på en aktiv og performativ måde.

Arbejde sammen

Vores forskerteam består af en mangfoldig gruppe, herunder elektronikingeniører, dataloger, soniske kunstforskere, fordybende indholdsdesignere, et solistensemble og en lokal gruppe, der hjælper handicappede musikere selvstændigt med at optræde og komponere deres egen musik. Sammen med disse musikere, vi slog os sammen med en amerikansk softwareudvikler, som var ved at designe et VR-musikinstrument kaldet "Infinite Instrument", kører på et 360° VR-headset kaldet HTC VIVE.

Instrumentet er udviklet med raske musikere i tankerne, så vi har designet det til at tage højde for forskellige typer mobiliteter. Dette førte til, at en af ​​vores musikere med cerebral parese spillede et nyt VR-instrument, der var specielt designet til at tage hensyn til hendes udtryksfulde overkropsbevægelser. Det krævede ikke, at hun brugte finmotorisk præcision i sine arme eller fingre, som hun ikke besidder.

VR-headset handler nødvendigvis om, hvad du ser. Imidlertid, vi fandt ud af, at den taktile feedback fra de håndholdte controllere – hvorigennem en bruger får adgang til en menu og trykker på kommandoer for at nå indhold – tillod denne særlige musiker at spille på instrumentet ved at føle og høre det, i stedet for at se det gennem headsettet. Ikke at skulle stole på headsettet betød også, at hun kunne bevare visuel kontakt med andre musikere under forestillingen.

Et andet eksempel på vores kollaborative VR-design var at arbejde med en blind performer. Nøglen til denne musiker var hans virtuose færdigheder på klarinet. Idéen var at bygge videre på hans ekspertise og tilpasse og forbedre hans musikalske præstationsevner ved hjælp af VR-teknologier.

VR-oplevelser er så koncentreret om den visuelle oplevelse, at de ofte ser bort fra lydens iboende fordybende natur, men det er overalt omkring os, en ordentlig 360° oplevelse. Klart, et visuelt headset var ikke relevant eller nyttigt for denne blinde musiker. Vi havde brug for at fokusere på, hvordan vi kunne bruge de andre fordybende kvaliteter ved et rum til en musikoptræden.

Vores team er baseret på Sonic LAB i Queen's, et fordybende og fuldt tilpasseligt 3-D-lydrum – ofte omtalt som iMAX for ørerne – besluttede vi at tilpasse VIVE-teknologien til denne eksisterende kontekst.

For vores klarinettist fokuserede vi på VIVE-controllere, da de er mere taktile end visuelle. De kan også spore fysiske positioner i et rum, hvilket betød, at klarinettist var i stand til at placere lyde i 3-D Sonic LAB ved at have VIVE-controlleren fastspændt til sit instrument.

Inklusiv tænkning og design

Disse skræddersyede VR-instrumentdesigns blev vist i en udstillingskoncert i november 2018, hvor handicappede musikere optrådte sammen med musikere fra Hard Rain Soloist Ensemble.

Publikum blev placeret i en cirkel tæt omkring musikerne for at forstærke den fordybende oplevelse af forestillingsrummet.

Handicapudstyrsmarkedet på verdensplan anslås at stige til mere end 8 milliarder USD i 2020, og salget af handicappet udstyr i Storbritannien er steget med over 93 % i løbet af de sidste ti år. Alle teknologier, inklusive VR, kan være inkluderende, hvis handicappedes perspektiv er en del af deres design.

Vores tilgang afslører, hvordan nye teknologier kan udvikles, som aktivt engagerer handicappede musikere i musikfremstilling og demonstrerer en forpligtelse til livskvalitet for handicappede musikere. Vi vil fortsætte med at designe instrumenter, der kan bruges i VR, men vi vil nu fokusere på at bruge mere overkommelige systemer, med henblik på at skabe et virtual reality-ensemble af handicappede og arbejdsdygtige musikere.

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs den originale artikel.