Kas viipekeele tõlkerakendus saab kunagi reaalsuseks?

Reklaam

Kujutage ette maailma, kus kurtide ja kuulmise vahelised tõkked on kadunud. Maailm, kus vestlused voolavad sujuvalt nende vahel, kes kuulevad heli, ja nende, kes seda ei tee. Kas see maailm saaks lähitulevikus reaalseks?

Juunis töötas Berghsi kommunikatsioonikooli turundusüliõpilaste rühm välja kontseptsioonivideo väljamõeldud tootele nimega Google Gesture. Toode sisaldas kantavat randmerihma ja mobiilirakendust, mis kasutas viipekeelt tegeva kurtide lihaste liigutuste lugemiseks elektromüograafiat. Seejärel edastas süsteem need signaalid rakendusele, mis tõlkis need signaalid digiteeritud hääleks ja kõneles inimese eest.

Võltsturundusvideo vaatamine oli päris põnev. Tegelikult nii põnev, et suuremad tehnosaidid nagu Mashable, Slashgear ja teised kuulutasid toote algselt reaalseks ning pidid hiljem nõude ümber jutustama ning oma eksimuse pärast vabandust paluma. See oli veider viga, kui arvestada, et seal tõesti on on Google'i toode nimega Google Gesture Search [pole enam saadaval], mis võimaldab teil oma mobiiliekraanile joonistada žeste kontaktide, järjehoidjate ja muu otsimiseks.

Olenemata sellest esitas Berghsi õpilaste kontseptsioon tähelepanuväärse idee, mis viis küsimusele - kas oleks võimalik luua selline rakendus päris?

Kas viipekeele tõlkimine on võimalik?

Turunduskontseptsiooni lahkamine tehnilisel tasandil näitab, et viipekeele mõistmiseks elektromüograafiat (EMG) kasutav tehnoloogia pole tegelikult üldse nii kaugele jõutud. Juba 2009. aastal teadlased Washingtoni ülikoolist suutsid kasutada mitut EMG-andurit lihaste liigutuste dekodeerimiseks ja nende tegelikeks käe- ja käeliigutusteks muundamiseks.

Teadlased ehitasid tegelikult välja täieliku “žeste äratundmise raamatukogu”, tuvastades, millised lihasignaalid tähistasid seda žesti. Uuringud tõestavad, et selline tehnoloogia on olemas ja valmis rakendama Berghsi õpilaste kavandatud rakendusi.

Kas keegi on selle veel tegelikult saavutanud? Kui ei, siis miks keegi seda ei tee ja annab kurtidele ja vaegkuuljatele võimaluse suhelda viipekeele kaudu kellegagi maailmas?

Reaalajas tõlketehnoloogia tulevik

Tõsi on see, et keegi töötab tegelikult sellise reaalajas viipekeele tõlke tehnoloogiaga.

On ettevõte nimega SpeechTrans [Broken URL Removed], mis on ületanud tõlketehnoloogiad Unustage Google'i tõlge: 3 viisi täpse ja kiire tõlke saamiseksÜkskõik, kas plaanite tööle kandideerida välismaale tööle või korterisse või soovite tõlkida oma veebilehte, peate asjad korda saama isegi võõrkeele abil. Loe rohkem viimastel aastatel. SpeechTrans teeb koostööd tehnoloogiapartneritega, et toota tänapäeval kõige tähelepanuväärsemaid reaalajas keele tõlketeenuseid. Need on teenused, mis tõlgivad tekstivestluse tekstvestluseks, häältekstiks ja isegi reaalajas tõlke häält-häälteksti mobiiltelefoni ja töölauarakenduste kaudu.

Uurimaks, kas viipekeelne tehnoloogia võiks lähitulevikus reaalsuseks saada, istus MakeUseOf SpeechTrans tegevjuhi John Frei ja COO Yan Auerbachiga, et arutada seda murrangulist uut tõlketehnoloogia Mõistage mis tahes keelt nende 5 keele tõlke veebisaidi abilTehnoloogia on muutnud maailma väiksemaks. Inimesed selle planeedi igast osast kasutavad paljusid samu tööriistu, külastavad samu veebisaite ja segavad veebis erinevaid vestlusruume. ... Loe rohkem ja kui kaugele tulevik see võib olla.

Viipekeele tõlkerakenduse arendamine

MUO: Kas on võimalik teha sellist viipekeelt kõne tõlkimiseks, mida Berghsi õpilased selles Google Gesture'i kontseptsioonivideos kujutasid?

John: Ma ütleksin, et tehnoloogia on selle arendamiseks olemas. Praegu teeme koostööd Microsofti ja Inteliga, et uurida mõnda tehnoloogiat, millega nad välja tulevad, riist- ja tarkvara osas. Me näeme võimalust kasutada seda tehnoloogiat viipekeele äratundmiseks ja selle muundamiseks kõne- ja heliväljundiks.

MUO: Kas tegelete praegu selle tehnoloogia arendamisega aktiivselt?

Yan: Niisiis, üks klient, kes kasutas meie tarkvara, arvas, et oleks imeline, kui me saaksime seda muuta nii, et kuulmispuudega inimesed saaksid seda kasutada telefonikõnesid teha meie rakendusest, suhelda ilma viipekeelt vajamata, kui nad on isiklikult, või TTY-tüüpi telefoniteenust pole vaja kutsub. Arendasime selle toote välja ning Microsofti ja Inteli rahastusel käivitasime Windows 8.1 vaegkuuljate SpeechTrans, mis eemaldab vajaduse viipekeele järele.

MUO: Kuidas töötab rakendus isiklikult?

Yan: Seal on kuulamisrežiim ja sisestusrežiim. Niisiis, kui keegi sinuga räägib, lülitad kuulamisrežiimi ja see tipib ekraanile kõik teksti, mida nad räägivad. Siis, kui vastate tagasi, tippite selle välja ja siis räägib see valjult, mida kirjutate. Telefoni abil valite lihtsalt inimese telefoninumbri ja kui ta telefonile vastab, muutub see kiirsõnumiks. Ükskõik, mida nad räägivad, saate IM-na. Seejärel räägitakse kõik, mida kirjutate, telefoni kaudu valjusti. See on esimene etapp.

Tuleviku viipekeele tõlke lähedal

MUO: Milliseid tehnoloogiaid võivad inimesed oodata lähitulevikus? Mis on järgmine etapp?

John: Me näeme ette, et keegi, kellel on ainult oskus kasutada viipekeelt, suudab seda teha näiteks seadme, näiteks telefoni, arvuti või sülearvuti ees. Intelil on uus kaamerasüsteem ja Microsoft teeb sama hästi Kinectiga, mis tunnistab žeste.

MUO: Kuidas on see parem kui Berghsi õpilaste välja pakutud käepaela kontseptsioon?

Yan: Põhimõtteliselt töötab meie oma viisil, kus ei ole vaja, et te midagi käe külge paneksite. See tuvastab teie käest 64 punkti. Kasutame Inteli RealSense'i kaamera beetaversiooni. Nii et mitte ainult ei suuda me ära tunda viipekeelt ja viipekeele mitut erinevat murret, vaid oskab ära tunda ka emotsioone, näoilmeid ja muid väikeseid nüansse ning teisendada need siis öeldud sõnadeks noh.

Selleks ei pea te kindaid ega midagi kandma. Keskendume sellele turule just seetõttu, et meile lihtsalt meeldib inimesi üldiselt aidata. Me ei taha aidata ainult inimesi, kes tahavad rääkida paljudes erinevates keeltes, vaid tahame aidata ka inimesi, kes ei oska üheski keeles. See tehnoloogia on olemas ja pole põhjust, et nende elukvaliteet peaks erinema meie omast.

John: See on teostatav kontseptsioon. See on lihtsalt erinev sisend ja väljund. Siin on mõned vestlused, mis meil on Microsoftiga arutanud mõne tuleviku tehnoloogia üle keegi võiks implanteerida mikrokiibi kaela ja see loeb otseselt nende ajulainet mustrid. Nii et kui aitate inimesi, kes ei suuda suhelda, näeksime tegelikult midagi sellist kolmanda etapi juurutamisena.

Eelmisel aastal oli üks grupp õpilasi, kes tulid välja arvutiga ühendatud kinnaste töötava prototüübiga. Kindaga tehtud žestid tunnistatakse siis ja muudetakse viipekeeleks. Seega on neil juba olemas võime praeguse tehnoloogiaga.

Meie visioon on, et me ei taha tegelikult luua selliseid tarvikuid nagu käepaelad, mille peate selga panema. See, et nad [viipekeelt oskavad inimesed] seda videokaamera ees teeks, peaks olema lihtsalt loomulik ja voolav. 90% sellest, mida inimesed suhtlemisel ütlevad, on tegelikult nende kehakeeles. Juurdepääsuna näotuvastusele, žestidele ja emotsioonidele saame neid andmeid kasutada järgmistena ja veenduge, et tõlge ja see, mida nad proovivad edastada, on väljendatud paremal vorm.

MUO: Kas Intel on selle viipekeele äratundmistehnoloogia olemasolul viie aasta jooksul?

John: Intelil on kindlasti palju ressursse saadaval. Nende tehnoloogia ja tarkvara on jõudmas tempos, kus saame selle üsna kiiresti toimima panna.

MUO: Kas teil on ajakava, millal te loodate selle tehnoloogia turule jõuda?

John: Viipekeele puhul on see umbes 12–18 kuud.

MUO: Kas kellelgi teisel seal viipekeele tõlkimiseks on midagi muud?

John: Ma nägin YouTube'i videot, kus IBM tegi prototüüpi, kus keegi tegi viipekeelt, kuid see oli kontseptsiooni tõestus ja sellel oli ainult kolm või neli sõna, mida see ära tundis. Meil on üle viiesaja tuhande sõna, mida kavatseme selle kasutusele võtta, nii et ta kavatseb selle viia hoopis teisele tasemele.

Järeldus

Kuigi visioon, millest Berghsi õpilased unistasid, ei pruugi tulevikus saada viipekeele tõlkerakenduseks, ei tähenda see, et sellist kontseptsiooni ei juhtuks. SpeechTranis, Intelis ja Microsoftis tehtud töö tõestab, et viipekeele tõlkimine on peaaegu kindel, et sellest saab mõne aasta jooksul tõeline tehnoloogia. Tõenäoliselt ei hõlma see tülikaid käeribasid, vaid selle asemel polegi muud kui spetsiaalne videokaamera ja mobiilirakendus.

Žesti ja näotuvastuse võlu kaudu tõotab see tuleviku viipekeele tõlkerakendus inimestevahelise suhtluse täielikult revolutsiooniks sadade tuhandete inimeste jaoks kuulmispuudega 5 parimat ressurssi puudega Mac'i ja Apple'i seadme kasutajatele Loe rohkem või vaegkuuljad inimesed kogu maailmas.