Team skabte teknikker til at analysere tusindvis af timers NASA-bånd

NASA optog tusindvis af timers lyd fra Apollo-månemissionerne, alligevel har de fleste af os kun været i stand til at høre højdepunkterne.

Agenturet registrerede al kommunikation mellem astronauterne, mission control specialister og bagværelsesstøttepersonale under de historiske månemissioner foruden Neil Armstrongs berømte citater fra Apollo 11 i juli 1969.

Det meste af lyden forblev lagret på forældede analoge bånd i årtier, indtil forskere ved University of Texas i Dallas lancerede et projekt for at analysere lyden og gøre den tilgængelig for offentligheden.

Forskere ved Center for Robust Speech Systems (CRSS) på Erik Jonsson School of Engineering and Computer Science (ECS) modtog en National Science Foundation-bevilling i 2012 til at udvikle talebehandlingsteknikker til at rekonstruere og transformere det massive arkiv af lyd til Explore Apollo , en hjemmeside, der giver offentlig adgang til materialerne. Projektet, i samarbejde med University of Maryland, inkluderet lyd fra hele Apollo 11 og det meste af Apollo 13, Apollo 1 og Gemini 8 missioner.

Et kæmpe teknologisk spring

At transskribere og rekonstruere det enorme lydarkiv ville kræve et kæmpe spring inden for talebehandling og sprogteknologi. F.eks. kommunikationen blev optaget på mere end 200 14-timers analoge bånd, hver med 30 lydspor. Løsningen ville skulle dechifrere kommunikation med forvansket tale, teknisk interferens og overlappende lydsløjfer. Forestil dig, at Apples Siri forsøger at transskribere diskussioner midt i tilfældige afbrydelser og så mange som 35 personer forskellige steder, taler ofte med regionale Texas-accenter.

Projektet, ledet af CRSS grundlægger og direktør Dr. John H.L. Hansen og forsker Dr. Abhijeet Sangwan, omfattede et hold ph.d.-studerende, som arbejdede med at etablere løsninger til digitalisering og organisering af lyden. De udviklede også algoritmer til at behandle, genkende og analysere lyden for at afgøre, hvem der sagde hvad og hvornår. Algoritmerne er beskrevet i novemberudgaven af IEEE/ACM-transaktioner på lyd, Tale, og sprogbehandling .

Syv undergraduate senior design teams overvåget af CRSS hjalp med at skabe Explore Apollo for at gøre oplysningerne offentligt tilgængelige. Projektet modtog også bistand fra universitetets Science and Engineering Education Center (SEEC), som evaluerede Explore Apollo-webstedet.

Fem år senere, holdet er ved at afslutte sit arbejde, som har ført til fremskridt inden for teknologi til at konvertere tale til tekst, analysere talere og forstå, hvordan folk samarbejdede for at udføre missionerne.

"CRSS har gjort betydelige fremskridt inden for maskinlæring og videnudvinding for at vurdere menneskelig interaktion til en af ​​de mest udfordrende ingeniøropgaver i menneskehedens historie, sagde Hansen, associeret dekan for forskning i ECS, professor i elektro- og computerteknik, professor ved School of Behavioural and Brain Sciences, og Distinguished Chair in Telecommunications.Refining Retro Equipment

Da de begyndte deres arbejde, forskere opdagede, at det første, de skulle gøre, var at digitalisere lyden. Overførsel af lyden til et digitalt format viste sig at være en ingeniørmæssig bedrift i sig selv. Den eneste måde at spille på hjulene var på et 1960'er-udstyr på NASA Johnson Space Center i Houston kaldet en SoundScriber.

"NASA pegede os på SoundScriber og sagde gør, hvad du skal gøre, sagde Hansen.

Enheden kunne kun læse ét spor ad gangen. Brugeren skulle mekanisk dreje et håndtag for at flytte båndlæsehovedet fra et spor til et andet. Efter Hansens skøn, det ville tage mindst 170 år at digitalisere netop Apollo 11-missionslyden ved hjælp af teknologien.

"Vi kunne ikke bruge det system, så vi var nødt til at designe en ny, " sagde Hansen. "Vi designede vores eget 30-spors læsehoved, og byggede en parallel løsning til at fange alle 30 spor på én gang. Dette er den eneste løsning, der findes på planeten."

Det nye læsehoved skar digitaliseringsprocessen fra år til måneder. Den opgave blev Tuan Nguyens job, en biomedicinsk ingeniør senior, der brugte et semester på at arbejde i Houston.

Forstærker stemmer fra helte bag heltene

Når de først overførte lyden fra hjul til digitale filer, forskere havde brug for at skabe software, der kunne registrere taleaktivitet, herunder sporing af hver person, der taler, og hvad de sagde og hvornår, en proces kaldet diarisering. De var også nødt til at spore højttaleregenskaber for at hjælpe forskere med at analysere, hvordan folk reagerer i anspændte situationer. Ud over, båndene inkluderede lyd fra forskellige kanaler, som skulle placeres i kronologisk rækkefølge.

Forskerne, der arbejdede på projektet, sagde, at en af ​​de mest udfordrende dele var at finde ud af, hvordan tingene fungerede på NASA under missionerne, så de kunne forstå, hvordan man rekonstruerer den enorme mængde lyd.

"Dette er ikke noget, man kan lære i en klasse, " sagde Chengzhu Yu PhD'17. Yu begyndte sit ph.d.-program i starten af ​​projektet og dimitterede sidste forår. Nu, han arbejder som forsker med fokus på talegenkendelsesteknologi på Tencents forskningscenter for kunstig intelligens i Seattle.

Lakshmish Kaushik, en ph.d.-studerende, der forlod et tidligere job for at arbejde på projektet, har også til formål at vie sin karriere til talegenkendelsesteknologi. Hans rolle var at udvikle algoritmer, der adskilte rækken af ​​stemmer på flere kanaler.

"De sidste fire år har været virkelig spændende, " sagde Kaushik.

Holdet har demonstreret den interaktive hjemmeside på Perot Museum of Nature and Science i Dallas. For Hansen, projektet har været en chance for at fremhæve arbejdet for de mange mennesker, der er involveret i månemissionerne ud over astronauterne.

"Når man tænker på Apollo, vi drager til de enorme bidrag fra astronauterne, som helt klart fortjener vores ros og beundring.

Imidlertid, heltene bag heltene repræsenterer de utallige ingeniører, videnskabsmænd og specialister, der bragte deres STEM-baserede erfaring sammen for at sikre succesen med Apollo-programmet, " sagde Hansen. "Lad os håbe, at studerende i dag fortsætter med at begå deres erfaring inden for STEM-områder for at løse morgendagens udfordringer."