Viis küsimust Microsofti projekti HoloLens kohta

Reklaam

Kolmapäeva hommikul tutvustas Microsoft projekti, mille kallal nad seitse aastat on töötanud - liitreaalsuse peakomplekt Projekt HoloLens.

Visioon on ambitsioonikas: nad tahavad põhimõtteliselt muuta inimeste arvutitega suhtlemise viisi prillipaari ehitamine, mis suudab virtuaalset ja reaalset sisu sujuvalt segada kasutaja. See on nagu virtuaalreaalsuse tehnoloogia Miks virgutab virtuaalse reaalsuse tehnoloogia teie meelt 5 aasta pärastVirtuaalse reaalsuse tulevik hõlmab pea, silma ja väljenduse jälgimist, simuleeritud puudutust ja palju muud. Need hämmastavad tehnoloogiad on teile saadaval vähemalt viie aasta pärast. Loe rohkem , kuid põhimõtteliselt võimsam. Lisaks soovivad nad kogu prillide töötlemise kohapeal - pole arvutit, telefoni ega kaableid. Nad käivitavad uue riistvara jaoks isegi Windowsi spetsiaalse versiooni. See on kõigi nende jaoks tehnoloogia arengu järgmine etapp AR mängud Liitreaalsuse rakendused: kas kasulik või lihtsalt hüpe? Testide makeUseOf2011. aastal ennustasid analüütikud liitreaalsuse mobiilirakenduste kasvu. Algav tehnoloogia muudaks revolutsiooni meie mobiilseadmetega suhtlemise viisis. Kaks aastat edasi liikuge ja kümneid AR-rakendusi asustavad kõik ...

Loe rohkem olete installinud oma telefoni ühe korra ja pole seda seni puudutanud.

Nende ajaraamistik on veelgi ambitsioonikam kui nende eesmärgid: nad tahavad arenduskomplekte saata sel kevadel ja tarbekaupu “Windows 10 aja jooksul”. Siin on pigi.

Kõik see kõlab suurepäraselt, kuid tunnistan üsna kõrget skepsist.

Microsofti kasutatavatel tehnoloogiatel on tõsiseid ja põhimõttelisi väljakutseid ning Microsoft on seni olnud väga kursis sellega, kuidas (või kas) nad neid lahendasid. Kui nad pole neid lahendanud, on nende eesmärk aasta jooksul kohale toimetada väga murettekitav. Viimane asi, mida VR ja AR vajavad, on suur ettevõte, kes tarnib veel ühte poolküpsetatud toodet nagu Kinect. Pidage meeles Projekti Natali demo aastast 2009?

Ilma täiendava vaevata on siin viis kõige tähtsamat asja, mida tahaksin HoloLens kohta teada.

Kas see on vaateväli?

Selle mõistmiseks peame pisut sügavamalt 3D-d ja selle toimimist uurima. Päris käegakatsutavast 3D-maailmast sensatsiooni saamiseks integreerivad meie ajud palju erinevat tüüpi teavet. Saame põhjalikke näpunäiteid maailma kohta kolmel peamisel viisil:

• Stereosügavus - erinevus, mida meie mõlemad silmad näevad. 3D-filmide toimimine aitab sellest välja
• Liikumisparallaks - meie pea ja kere peened liigutused annavad meile kaugemal asuvate objektide jaoks täiendavad sügavusnäpunäited
• Optiline fookus - kui keskendume millelegi, deformeeruvad meie silmaläätsed füüsiliselt, kuni see fookusesse jõuab; lähiväljas olevad objektid vajavad rohkem objektiivi moonutusi, mis annab põhjalikku teavet selle kohta, mida me vaatame

Optilist fookust on lihtne enda jaoks kontrollida: sulgege üks silm ja hoidke pöialt üle seina seina ees. Seejärel nihutage oma fookus pisipildilt selle taga olevale pinnale. Kui pöidlast mööda vaatate, nihkub pöidla fookusest välja, kuna teie silmalääts on nüüd vähem deformeerunud ega suuda sellest tulevat valgust õigesti koguda.

VR-peakomplektid nagu Oculus Rift pakuvad kahte esimest näpunäidet eriti täpselt, kuid mitte viimast, mis töötab üllatavalt hästi hästi: meie silmad vaikivad täielikult lõõgastuda, kuna optika fokuseerib pildid valguse kaudu kaugelt ära. Optilise fookuse näpunäidete puudumine on ebareaalne, kuid tavaliselt ei sega see tähelepanu. Teil võib ikkagi olla väga lahedad mängukogemused 5 Oculus Rifti mängukogemust, mis teid veelgi rohkem õhutabNüüd, kui Oculus Rifti arenduskomplekti teine ​​põlvkond on väljas ja kogu maailmas arendajate käes, vaatame mõnda parimat kraami, mis on Rifti seni tabanud. Loe rohkem ilma selleta.

Liitreaalsuses on probleem erinev, kuna peate segama valgust reaalsetest ja virtuaalsetest objektidest. Reaalsest maailmast tulev valgus koondub loomulikult mitmesse sügavusse. Virtuaalne sisu keskendub siiski kõik optika dikteeritud fikseeritud kunstlikule kaugusele - tõenäoliselt lõpmatuseni. Virtuaalsed objektid ei näe välja sellised, nagu nad oleksid tegelikult osa stseenist. Nad on fookusest väljas, kui vaatate reaalseid asju samal sügavusel ja vastupidi. Nagu tavaliselt, ei ole võimalik oma silma fookuses hoides liikuda stseeni ladusalt. Vastuolulised sügavusnäpunäited on parimal juhul segased ja halvimal juhul haiged.

Selle parandamiseks vajate midagi, mida nimetatakse valgusvälja kuvaks. Valgusvälja kuvarid on kuvarid, mis kasutavad hulgaliselt pisikesi läätsi, et kuvada fookuses olevat valgust korraga mitmel sügavusel. See võimaldab kasutajal loomulikult ekraanile keskenduda ja (liitreaalsuse jaoks) lahendada ülalkirjeldatud probleem.

Siiski on probleem: valguseväljad kuvavad sisuliselt ühe kahemõõtmelise ekraani kolmemõõtmelisele valgusväljale, mis tähendab, et iga sügavus piksel ”, mida kasutaja tajub (ja see eksisteerib stseeni teatud fookuskaugusel), koosneb tegelikult paljude originaalsuunaliste pikslite valgusest väljapanek. Mida peenem on sügavus, mida soovite kujutada, seda suurema eraldusvõimega peate loobuma.

Üldiselt on valgusväljadel umbes kaheksakordne eraldusvõime väheneb, et saada piisav sügavustäpsus. Parimate saadaolevate mikroekraanide eraldusvõime on umbes 1080p. Kui eeldada, et mõlemat silma ajendab üks tippklassi mikroekraan, muudaks Microsofti peakomplekti tegelik eraldusvõime silma jaoks umbes 500 x 500 pikslit, vähem kui Oculus Rift DK1. Kui ekraanil on kõrge vaateväli, on virtuaalsed objektid arusaamatud pikslite plekid. Kui seda ei juhtu, kannatab keelekümblus proportsionaalselt. Kunagi ei jõua me kunagi läbi objektiivi (lihtsalt arvuti uuesti loomine selle põhjal, mida kasutaja näeb), seega pole meil aimugi, milline on kasutajakogemus.

Võimalik, et Microsoft on sellele probleemile lahenduse leidnud mõne uudse lahenduse, mis võimaldab kasutada heleda välja kuva ilma eraldusvõime vahetamiseta. Kuid Microsofti suhtumine nende kuvamistehnoloogiasse on olnud äärmiselt armukade, mis paneb mind kahtlustama, et neil seda pole. Siin on parim seletus, mis meil seni on (teemast ÜHENDATUD demo).

Projekti HoloLens piltide loomiseks põrkavad valguseosakesed seadme niinimetatud kergmootoris miljonid korrad ümber. Seejärel sisenevad footonid kaitseprillide kahesse läätsesse, kus nad rikošeeerivad sinise, rohelise ja punase klaasi kihtide vahel enne, kui nad teie silma taha jõuavad.

Niisugune tehnoloogia kirjeldus võib tähendada praktiliselt kõike (kuigi õiglaselt Microsofti suhtes avaldas riistvara WIRED muljet, kuigi artikkel oli üksikasjades kerge).

Me ei tea kindlalt rohkem, kuni Microsoft hakkab tehnilisi andmeid välja andma, tõenäoliselt kuude pärast. Veel ühe nitraatide kogumise märkme peale, kas on tõesti vaja projekti uputada nii palju turundustegevust rääkima? Spetsiaalset protsessorit, mida nad pea jälgimiseks kasutavad, nimetatakse ilma hilisema põhjuseta holograafiliseks protsessoriks ja pilte nimetatakse hologrammideks. Toode on põhimõtteliselt piisavalt lahe, et seda pole vaja niivõrd kullata.

Kas jälgimine on piisavalt hea?

Projekti HoloLens peakomplektile on paigaldatud kõrge FOV sügavusega kaamera (nagu Kinect), mida ta kasutab, et välja selgitada, kus peakomplekt on kosmoses (proovides joondada nähtava sügavuspildi oma maailmamudeliga, mis on ühendatud varasema sügavusega pildid). Siin on nende peakomplekti reaalajas tutvustus.

Jälgimine on muljetavaldav, arvestades, et see ei kasuta markereid ega muid petuid, vaid isegi selles videos (all tugevalt kontrollitud tingimused), näete teatud võnget: jälgimine pole täiesti stabiilne. Seda võib oodata: selline seestpoolt väljapoole jälgimine on äärmiselt raske.

Suur õppetund siiski erinevad Oculus Rifti prototüübid Vaadake meid proovida Oculus Rifti poolkuu laht CES 2015Oculus Rift Crescent Bay on uhiuus prototüüp, mis näitab virtuaalse reaalsuse tehnoloogia põnevaid täiendusi. Proovime seda CES 2015-l. Loe rohkem kas jälgimise täpsus on väga oluline. Jittery jälgimine on lihtsalt tüütu, kui tegemist on mõne objektiga üldiselt stabiilses reaalses maailmas, kuid stseenides nagu Marsi demo, mida nad oma kontseptsioonis näitasid video, kus peaaegu kõik, mida näete, on virtuaalne, võib ebatäpne jälgimine põhjustada „kohaloleku” puudumist virtuaalses stseenis või isegi simulaatorit haigus. Kas Microsoft saab jälgimise Oculuse seatud standardini (alammillimeetrine jälgimise täpsus ja kogu latentsusaeg vähem kui 20 ms) nende saatmiskuupäevaks selle aasta lõpus?

Siin on Michael Abrash, VR-i teadlane, kes on töötanud nii Valve kui ka Oculuse heaks, probleemist rääkimine

[Kuna virtuaalsete piltide genereerimine viibib alati viivitusega, […] on väga raske saada virtuaalseid ja reaalseid pilte piisavalt tihedalt registreerima, nii et silm ei märka. Oletagem näiteks, et teil on tõeline koksipurk, mille soovite muuta AR Pepsi purgiks, joonistades Pepsi logo üle koksi logo. Kui Pepsi logo uuesti joonistamiseks kulub kümneid millisekundit, on iga kord, kui pead pöörate, efekt järgmine Pepsi logo nihkub purgi suhtes paar kraadi ja osa Koksi logost saab nähtavaks; siis klõpsa Pepsi logo tagasi, kui liikumise lõpetate. See pole ilmselgelt piisavalt raske AR jaoks

Kas kuvar saab musta värvi tõmmata?

Teine teema fookuse sügavuse ja jälgimise kõrval on seotud tumedate värvide joonistamisega. Stseenile rohkema valguse lisamine on suhteliselt lihtne, kasutades kiirejaotureid. Valguse väljavõtmine on palju raskem. Kuidas tumendada valikuliselt reaalse maailma osi? Valikuliselt läbipaistva vedelkristallekraani ülespanek ei lõika seda, kuna vaadatava blokeerimiseks ei saa see alati olla õiges fookuses. Optilisi tööriistu selle probleemi lahendamiseks, kui Microsoft pole neid salaja leiutanud, lihtsalt pole.

See on oluline, kuna paljude rakenduste jaoks, mida Microsoft näitab (nt Netflixi vaatamine teie seinal), on peakomplekti tõesti vaja võimalus seinalt tuleva valguse eemaldada, vastasel juhul on teie filmil alati nähtav krohvimuster, mis on sellega kaetud: see saab olema võimatu, et kujutised blokeeriksid stseenis olevaid tegelikke objekte, muutes peakomplekti kasutamise suuresti ümbritsevast valgustust sõltuvaks tingimusi. Tagasi Michael Abrashi juurde:

[S] Siiani pole AR-i tööstuses ega kirjanduses midagi sellist üles kerkinud ja kui ja kuni selleni ei jõua, ei saa kõva AR, SF-i mõttes, mida me kõik teame ja armastame, juhtuda, välja arvatud pimeduses.

See ei tähenda, et AR oleks laua taga, vaid selleks ajaks on see siiski pehme AR, mis põhineb lisandite segunemisel […] Mõelge jällegi poolläbipaistvatele nagu “Ghostbusters”. Samuti töötavad suure intensiivsusega virtuaalsed pildid, millel pole tumedaid alasid, eriti piirkondliku või globaalse tumenemise abil - need ei näe lihtsalt reaalse reaaladena välja maailm.

Aga okupatsioon?

„Oklusioon” on mõiste selle kohta, mis juhtub, kui üks objekt möödub teise ees ja takistab teil näha, mis selle taga on. Selleks, et virtuaalsed maastikud tunneksid end maailma käegakatsutavana, on oluline, et reaalsed objektid varjaksid virtuaalse pildi objektid: kui hoiate kätt virtuaalse kujutise ees, ei peaks te seda nägema oma käsi. Kuna peakomplektis kasutatakse sügavuskaamerat, on see tegelikult võimalik. Kuid vaadake veelkord reaalajas demo:

Üldiselt kontrollivad nad hoolikalt kaameranurki, et vältida reaalsete objektide liikumist virtuaalsete ees. Kui meeleavaldaja suhtleb Windowsi menüüga, näete, et tema käsi ei sulge seda üldse. Kui see on nende tehnoloogia käeulatusest väljas, on see väga halb märk nende tarbekaupade elujõulisuse kohta.

Ja sellest UI-st rääkides ...

Kas see on tõesti lõplik kasutajaliides?

Tundub, et Microsofti demonstreeritavates videotes näidatud kasutajaliides töötab mõne pilgu ja käe kombinatsiooni kasutades jälgimine kursori juhtimiseks virtuaalses stseenis, kasutades eri hääljuhtimisvõimalusi võimalusi. Sellel on kaks peamist puudust: see paneb sind välja nägema kui Shiningi väike laps, kes räägib sõrmega, kuid mis veelgi olulisem - see esindab ka põhimõtteliselt puudulikku disaini paradigmat.

Ajalooliselt on parimateks kasutajaliidesteks olnud need, mis viivad virtuaalsesse maailma füüsilisi intuitsioone. Hiir tõi klõpsamise, lohistamise ja aknad. Puutetundlik liides tõi kerimiseks libisemiseks ja suumimiseks näppu. Mõlemad neist olid kriitilise tähtsusega, et muuta arvutid elanikkonnale kättesaadavamaks ja kasulikumaks - kuna need olid põhimõtteliselt intuitiivsemad kui see, mis varem oli.

VR ja AR annavad teile disainerina palju suurema vabaduse: saate kasutajaliidese elemente paigutada ükskõik kuhu 3D-ruumi ja lasta kasutajatel suhelda nendega loomulikult, justkui need oleksid füüsilised objektid. Endale viitab tohutu hulk ilmseid metafoore. Selle valimiseks puudutage virtuaalset kasutajaliidese elementi. Näppige seda üles ja liigutage. Ajutiseks säilitamiseks libistage see välja. Selle kustutamiseks purustage. Võite ette kujutada kasutajaliidese loomist, mis on nii intuitiivne, et see ei vaja selgitust. Midagi, mida teie vanaema saab kohe kätte, sest see on üles ehitatud põhiliste füüsiliste intuitsioonide alusele, mille kõik loovad kogu elu jooksul maailmaga suheldes. Võtke minut ja kuulake, kuidas see nutikas inimene kirjeldab, millised võiksid olla ümbritsevad liidesed.

Teisisõnu, minu jaoks on ilmne, et kõikehõlmav kasutajaliides peaks olema vähemalt sama intuitiivne kui puutetundlikud liidesed, mida iPhone on juhtinud 2D multitouch ekraanide jaoks. Liidese loomine VR-hiire manipuleerimise ümber on samm tagasi ja paljastab kummagi sügava tehnoloogilise puudused nende käejälgimise tehnoloogias või põhimõtteline arusaamatus selle osas, mis selles uues huvitav on keskmise. Mõlemal juhul on see väga halb märk selle toote jaoks, mis on midagi enamat kui kolossaalne Kinecti skaala flopp.

Loodetavasti on Microsoftil aega selle kohta tagasisidet saada ja paremat tööd teha. Näitena võib siin tuua ühe harrastaja poolt Oculus Rift DK2 ja Leap Motioni jaoks loodud liidese. Vähemalt nii hea peaks olema suurettevõtte kujundatud ümbritsev kasutajaliides.

Tulevaste asjade märk

Üldiselt olen HoloLensi projekti kui terviku suhtes äärmiselt skeptiline. Mul on väga hea meel, et Microsofti ressurssidega ettevõte uurib seda probleemi, kuid olen mures, et nad seda teevad proovida toodet välja tormata, lahendamata mõningaid olulisi tehnilisi probleeme või korraldamata kasutajaliides paradigma. HoloLens on märk tulevastest asjadest, kuid see ei tähenda, et toode ise pakuks tarbijatele head kogemust.

Pildikrediit: Microsofti viisakalt