OmniTouch

Ena od velikih revolucij v računalništvu so bili zasloni na dotik. Prinesli so nov način interakcije z računalnikom, bodisi s posebnim kazalcem bodisi s prstom. Leta 2011 je Microsoft šel še dlje z uvedbo OmniTouch, projekta, ki je omogočil dotik vsake površine. Osnovna ideja je namestitev kamere in projektorja na ramo, ki projicira zaslon in bere uporabnikove pritiske na tipke. Možnosti so neskončne, kar nam omogoča, da svojo roko, steno, rjuho ali katero koli drugo površino spremenimo v zaslon na dotik.

Kako deluje OmniTouch: prepoznavanje pritiskov tipk

Najpomembnejši del projekta OmniTouch je sledenje položaju in globini prstov, da vemo, kje se uporabnik dotika. Za to je bila v prototipu uporabljena globinsko občutljiva kamera PrimeSense. Za razliko od običajne kamere, ki meri barve, PrimeSense meri oddaljenost vsake točke na sliki od objektiva kamere. Natančnost 1 mm in najmanjši doseg 20 cm sta glavni prednosti pred kamero Kinect, ki je bila prvotno uporabljena v projektu.

"

Za lociranje prstov OmniTouch najprej zajame zemljevid globine (A). Nato se izračuna zemljevid naklona>"

V (B) lahko vidite ta zemljevid preveden v barve: rdeča pomeni, da je manjša globina v pozitivni smeri osi X ali Y (navzgor ali v desno), modra pa pomeni, da obstaja je manjša globina v negativni smeri osi X ali Y (navzdol ali v levo).Vijolična pomeni, da ni skoraj nobene spremembe v globini.

S tem zemljevidom programska oprema išče navpične cilindrične odseke, površino, ki se približa kameri, nato ostane in se nazadnje odmakne. Kaj je bil prst, če z njim pelješ z ene strani na drugo, vau. Na barvnem zemljevidu poiščite rdeč del, nato vijoličen del, nato moder del, vse na isti navpični osi.

Možni kandidati so filtrirani glede na višino, da se izloči vse, kar ne more biti prst (na primer, 2 milimetra visokega valja ni mogoče prepoznati kot prst, zato se zavrže). Na sliki (C) lahko vidite vse identificirane dele prstov.

Ko je to storjeno, se vsi navpični deli združijo v prst (slika D). Prsti, ki so morda prekratki, se zavržejo in predpostavlja se, da je, ker je uporabnik desničar, skrajni levi del prsta konica.In voila, zdaj vemo, kam uporabnik kaže.

Kako vemo, ali se prst dotika površine? Temu pravijo poplavno polnjenje, vendar bo bolj znano, če vam povem, da je kot polnjenje z vedrom barve Paint.

Tehnika je preprosta: poiščite sredino prsta in začnite polniti slikovne pike navzgor, levo in desno, s toleranco 13 milimetrov. To pomeni, da zapolnijo slikovno piko le, če je razlika med njeno globino in sredino prsta manjša od 13 milimetrov.

Na ta način, če se vaš prst ne dotika ničesar, bodo zapolnjene samo slikovne pike, ki ustrezajo vašemu prstu. Če se dotaknete roke, jih bo veliko več napolnjenih. Na sliki lahko vidite, kaj se zgodi, če je prst v zraku (levo) ali se dotakne roke (desno). Ko je presežena določena meja zapolnjenih slikovnih pik, bo programska oprema poslala tap ali klik na ustrezno mesto.

Kako deluje OmniTouch: projiciranje slike

Čeprav je prepoznavanje prstov osrednji del, ne smemo pozabiti, da mora OmniTouch tudi projicirati sliko na katero koli površino. Za to se uporablja tudi globinska komora. Vse površine na sliki so zaznane z algoritmom povezanih komponent, ki zelo učinkovito zazna med seboj povezane točke na sliki.

Ko so površine, manjše od roke, zavržene, nadaljujemo s fiksiranjem središča ali referenčne točke za projiciranje slike. Ta točka pomaga zaznati orientacijo površine in tako omogoča ustvarjanje slike, ki ni videti popačena.

Naslednja težavna točka je, ko gre za zaznavanje velikosti površine.Ker robov površin ni dovolj dobro prepoznati, OmniTouch uporablja srednjo in standardno deviacijo sestavnih točk, da jih razvrsti v pet točk: roka, roka, prenosni računalnik, stena in miza. Vsak od njih ima določeno velikost in središče za sliko.

Programska oprema ustvari sliko za projiciranje z vsemi podatki in jo popači, tako da je na površini prikazana pravilno. Nato posreduje sliko projektorju, ki jo prikaže na kateri koli površini.

Natančna tehnologija s številnimi možnostmi

Testi, ki se uporabljajo za merjenje natančnosti OmniToucha.

Pri testiranju se je OmniTouch izkazal za zelo natančno tehnologijo. 96,5% natančnost pri prepoznavanju klika, zelo dobra številka, še toliko bolj glede na to, da gre za prototip.Glede na velikost vmesnika bi z gumbi s premerom 2 centimetra prepoznali 95 % pritiskov tipk.

Ta največja velikost je potrebna za vmesnik, projiciran v roko. Na drugih bolj oddaljenih površinah, na primer na mizi ali steni, bi jo lahko zmanjšali na 15 milimetrov, kar je bolj ali manj enaka velikosti, kot je priporočena za gumb na običajnem zaslonu na dotik.

"

Kar se tiče možnosti, so neskončne. S prototipom je nastal govorni stol za slikanje: na steno si risal in v levi roki izbiral barve. Uporablja se tudi kot osvetljevalec>"

Najbolj zanimivo pa je, kar omenjajo na koncu dokumenta: možnosti, ki jih OmniTouch odpre, ko nehamo upoštevati dvodimenzionalne površine in izkoriščamo oblike telesa, da spremenimo, kako komuniciramo z računalnikom.

"

OmniTouch je resnično razburljiv projekt, tako po svoji tehniki kot po svojih možnostih. O njem bomo kmalu spet govorili v posebni oddaji Prihodnost po Microsoft>"

V Xataka Windows | Prihodnost po mnenju Microsofta Več informacij | OmniTouch