ArguLens:en ramme, der hjælper udviklere med at forstå brugervenlighedsrelateret feedback

Evaluering af anvendeligheden af ​​open source software (OSS), software, der stilles frit til rådighed for udviklere over hele verden, indebærer generelt at analysere feedback og kommentarer fra dem, der har brugt det. Behandle og forstå den feedback, der gives i brugerdiskussioner, imidlertid, kan være udfordrende på grund af det store antal kommentarer online, og fordi de ofte præsenterer modsatrettede meninger.

klar over disse vanskeligheder, forskere ved McGill University, University of Bari og Polytechnique Montreal har for nylig udviklet ArguLens, en teoretisk ramme og automatiseret teknik til at forenkle analysen af ​​samfundsdiskussioner relateret til anvendeligheden af ​​OSS. Deres seneste papir, forudgivet på arXiv, er en del af en bredere igangværende forskningsindsats, der har til formål at hjælpe udviklere af open source-projekter med at forbedre anvendeligheden af ​​deres software.

"Det kan være meget vanskeligt at forstå rationalerne bag fællesskabsanmodninger og yderligere evaluere deres indvirkning på slutbrugerne, især når samfundets meninger er i konflikt med hinanden, " fortalte forskerne TechXplore, via e-mail. "Hovedformålet med vores undersøgelse var at hjælpe open source-bidragydere med at fordøje og evaluere fællesskabets meninger om anvendeligheden af ​​deres projekt."

Før de begyndte at arbejde på ArguLens, forskerne havde lange diskussioner med open source -bidragydere for bedre at forstå, hvad de fandt mest udfordrende ved at forstå feedback, de modtog fra samfundet. De fandt ud af, at de fleste udviklere oplevede enorme vanskeligheder med at fordøje og inkorporere fællesskabskommentarer, herunder forslag og anmodninger fremsat via problemsporingssystemer.

Dette skyldtes den store mængde feedback, de indsamlede, samt til det faktum, at brugerne ofte udtrykte forskellige og lidt modsatrettede perspektiver. Kombineret, disse to faktorer gjorde ofte behandling og fordøjelse af brugervenlighedsrelateret feedback udfordrende.

Forskerne udtænkte ArguLens med det vigtigste mål at hjælpe OSS-udviklere med at give mening om den rige og varierede feedback, de indsamlede online. ArguLens indeholder både en konceptuel ramme og en automatiseret teknik til analyse af onlinekommentarer.

"Som en begrebsramme, den tilpasser en argumentationsmodel foreslået af Stephen Toulmin for at strukturere de usability-relaterede diskussioner i tre hovedelementer:Påstand, Jord, og kendelse, " forklarede forskerne. "Dette er, hvad vi kalder 'anatomien' af samfundets meninger. Som en automatiseret teknik, det foreslår metoder til naturligt sprog til at opdage disse elementer fra brugervenlighedsrelaterede diskussioner i fri form. "

Udviklere og andre fællesskabsmedlemmer kan bruge ArguLens til at differentiere og syntetisere konkrete anmodninger fra fællesskabsmedlemmer (fanget i kategorien "Krav"). samt fakta om deres system, som samfundet bekymrer sig om (fanget inden for kategorien 'jord') og personlige meninger om, hvorfor individuelle fakta er særligt vigtige for brugerne (fanget inden for kategorien "Bekendtgørelse"). rammen kan således bruges til stilladsdiskussioner og til at analysere OSS usability-problemer.

Som en del af deres forskning, holdet evaluerede og konstaterede ArguLens' skalerbarhed ved hjælp af overvågede maskinlæringsteknikker til automatiseret argumentudtrækning. De bad også erfarne udviklere om at bruge ArguLens og give feedback om, hvorvidt det hjalp dem med at forstå fællesskabets kommentarer. Den feedback de fik var meget lovende, da flertallet af brugere sagde, at rammen hjalp dem til bedre at fordøje og gennemgå brugervenlighedsrelaterede meninger.

"En direkte anvendelse af ArguLens-rammen kan være i værktøjer til open-source problemsporingssystemer for at give en effektiv grænseflade til samfundets diskussioner om brugervenlighedsspørgsmål, " sagde forskerne. "Når de var blevet bredt vedtaget, denne ramme kan inducere en banebrydende ændring i, hvordan folk overvejer open source-anvendelighedsproblemer, opmuntre til konstruktiv diskussion om disse spørgsmål og i sidste ende hjælpe med at forbedre open source-anvendeligheden."

Rammen vil snart kunne hjælpe OSS -udviklere over hele verden med at give mening om kontrasterende meninger om anvendeligheden af ​​deres projekter. Interessant nok, imidlertid, det kan også anvendes på andre aspekter af software, der kan forbedres baseret på brugerfeedback, såsom privatliv eller sikkerhed. Teamet planlægger nu at forbedre rammerne yderligere, med fokus på to nye forskningsretninger.

"Først, vi undersøger værktøjsdesign, der effektivt kan præsentere den information, der er fanget af ArguLens-rammen, " sagde forskerne. "Dette vil ikke kun hjælpe os til bedre at forstå effektiviteten af ​​denne ramme i naturen (i den virkelige verden), men det kan også resultere i konkrete applikationer, der direkte gavner open source-samfundene. Sekund, vi fokuserer på human-in-the-loop metoder til at afbøde den ufuldkomne klassificering af automatiserede teknikker, for yderligere at sikre skalerbarheden og anvendeligheden af ​​denne ramme."

© 2020 Science X Network