Brug af multi-task læring til taleoversættelse med lav latency

Forskere fra Karlsruhe Institute of Technology (KIT), i Tyskland, har for nylig anvendt multi-task maskinlæring til neural taleoversættelse med lav latens. Deres studie, som var forudgivet den ArXiv , adresserer nogle af begrænsningerne ved eksisterende neural machine translation (NMT) teknikker.

Fremskridt inden for deep learning har ført til betydelige forbedringer i menneskelig tale og tekstoversættelse. NMT, en udbredt tilgang til maskinoversættelse, træner et stort neuralt netværk til at læse en sætning og levere en nøjagtig oversættelse, generelt ved at modellere hele sætninger til en integreret model.

Sammenlignet med traditionelle tilgange, såsom regelbaseret eller statistisk maskinoversættelse, NMT opnår typisk mere flydende oversættelser, både til tale og skrevet tekst. Selvom det effektivt kan fange mere komplekse afhængigheder mellem kilde- og målsprog, konsekvent at præstere godt, denne tilgang kræver betydelige mængder træningsdata.

"Når du anvender delvis sætningsoversættelse til neurale maskinoversættelsessystemer, vi støder på det problem, at MT-systemet kun er blevet trænet på hele sætninger, og dermed er dekoderen forspændt til at generere komplette målsætninger, " skrev forskerne i deres papir. "Når de modtager input, som er delsætninger, det er ikke garanteret, at oversættelsesoutputten stemmer nøjagtigt overens med inputindholdet. Vi bemærker, at oversættelsen ofte er 'fantasiseret' af modellen til at være en hel sætning, som ville være opstået i træningsdataene."

I andre tilfælde, dekoderen kan falde i en overgenerationstilstand, gentage det sidste ord, der blev tilført den flere gange i dens oversættelse. For at løse disse problemer, KIT-forskerne fokuserede på taleoversættelse i tilfælde, hvor en NMT skal levere en indledende oversættelse i realtid, før en taler er færdig med sin sætning.

"I dette arbejde, vi sigter mod at afhjælpe problemet med delvis sætningsoversættelse i NMT, " skrev forskerne. "Ideelt set, vi ønsker en model, der er i stand til at generere passende oversættelser til ufuldstændige sætninger, uden at gå på kompromis under andre oversættelsessager."

Da datasæt med delsætninger ikke er let tilgængelige, forskerne skabte kunstige data, som kunne bruges i træningsprocessen. De trænede netværket ved hjælp af multi-task learning, en dyb læringsstrategi, der ofte er blevet brugt i naturlig sprogbehandling (NLP) til at træne en enkelt model til forskellige opgaver, reducere omkostninger og forbedre dens ydeevne.

Deres undersøgelse opnåede lovende resultater, foreslår, at NMT-systemer kan tilpasses til at fungere godt selv i tilfælde, hvor opgavespecifikke data ikke er tilgængelige, uden at miste ydeevnen på den oprindelige opgave, de var uddannet til. "Vi viste først, at enkle teknikker til at generere kunstige data er effektive til at få mere flydende output med mindre korrektion, " konkluderede forskerne i deres papir. "Vi illustrerede også, at multi-task læring kan hjælpe med at tilpasse modellen til den nye inferenstilstand, uden at miste den originale evne til at oversætte hele sætninger."

Deres tilpasning af NMT opnåede oversættelser af høj kvalitet med lav latenstid, minimere antallet af rettede ord med 45 procent. I fremtiden, deres undersøgelse kunne have meningsfulde praktiske implikationer, hjælpe med at udvikle bedre værktøjer til taleoversættelse i realtid.

© 2018 Tech Xplore