Miten tietokone tietää, mistä etsit?

Kuvittele autolla ajamista, kun käytät tuulilasissa olevaa heads-up-projisointia, joka kulkee tuntemattoman kaupungin läpi. Tämä on lisätty todellisuus (AR); tietoja käytetään vain opastamaan sinua reitin varrella, mutta myös hälyttämään tärkeistä tiedoista ympäristössäsi, kuten pyöräilijöissä tai jalankulkijoissa. Virtuaalisen sisällön oikea sijoittaminen ei ole vain ratkaisevan tärkeää, vaan ehkä elämän ja kuoleman asia.

Tieto ei voi hämärtää muuta materiaalia, ja se pitäisi näyttää tarpeeksi kauan, jotta voit ymmärtää sen, mutta ei liian paljon pidempään. Tietokonejärjestelmien on tehtävä nämä määritykset reaaliaikaisesti aiheuttamatta mitään häiriötä tai häiritsevää tietoa. Emme todellakaan halua varoitusta pyöräilijästä, joka aikoo ylittää auton edessä, jotta pyöräilijä itsensä peittää!

Tutkijana AR: ssa vietän paljon aikaa yrittäessäkseni selvittää, miten saada oikeat tiedot käyttäjän näytölle, juuri oikeaan paikkaan, juuri oikeaan aikaan. Olen oppinut, että liikaa informaation näyttäminen voi sekoittaa käyttäjän, mutta ei näytä tarpeeksi voi tehdä sovelluksen hyödyttömäksi. Meidän on löydettävä makea paikka välissä.

Tärkeä osa tätä, mikä osoittautuu, on tietäen, missä käyttäjät etsivät. Vasta sitten voimme toimittaa haluamansa tiedot paikkaan, jossa he voivat käsitellä sitä. Tutkimuksessamme mitataan, missä käyttäjä etsii todellista kohtausta, tapa auttaa päättämään, mihin virtuaalinen sisältö sijoitetaan. Kun AR oli valmis imemään monia elämämme alueita - ajo että työ että virkistys - Meidän on ratkaistava tämä ongelma ennen kuin voimme luottaa AR: hen tukemaan vakavia tai kriittisiä toimia.

Määrittäminen, mihin tiedot asetetaan

On järkevää saada tietoja, jos käyttäjä etsii. Navigoidessaan käyttäjä voisi tarkastella rakennusta, katua tai muuta todellista kohdetta paljastamaan siihen liittyvät virtuaalitiedot; järjestelmä tietäisi piilottamaan kaikki muut näytöt, jotta vältetään näkyvä kohtaus.


sisäinen tilausgrafiikka


Mutta miten tiedämme, mitä joku katselee? On käynyt ilmi, että inhimillisen näkemyksen vivahteiden avulla voimme tutkia henkilön silmissä ja laskea missä he etsivät. Yhdistämällä nämä tiedot kameroihin, joissa näkyy henkilön näkökenttä, voimme määrittää, mitä henkilö näkee ja mitä hän tarkastelee.

Silmien seurantajärjestelmät tulivat ensimmäisen kerran esiin 1900-järjestelmissä. Alun perin niitä käytettiin useimmiten lukutottumusten tutkimiseen; jotkut saattavat olla hyvin häiritseviä lukijalle. Viime aikoina on tullut reaaliaikainen silmäseuranta ja siitä on tullut edullisempi, helpompi käyttää ja pienempi.

Silmien seuranta voidaan liittää näytön tai integroitu kuluviin lasiin tai päähän asennettuihin näyttöihin. Silmät seurataan käyttämällä yhdistelmää kamerat, ennusteet ja tietokonenäköalgoritmit laskea silmän sijainti ja katselupiste monitorissa.

Tarkastelemme yleensä kahta toimenpidettä, kun tarkastelemme silmäseurantatietoja. Ensimmäinen on nimeltään a vahvistamisesta, ja sitä käytetään kuvaamaan, kun keskeytämme katseemme, usein mielenkiintoisessa paikassa näyttämöllä, koska se on kiinnittänyt huomiomme. Toinen on a saccade, yksi nopeista silmäliikkeistä käytetään katseen asettamiseen. Lyhyitä kiinnitysaikoja seuraa nopeat liikkeet, nimeltään saccades. Pohjimmiltaan silmämme nopeasti nousee paikasta toiseen ottamalla tietoa osista kohtausta. Aivomme sitten sijoittavat tiedot näistä tallenteista yhteen muodostaaksemme visuaalisen kuvan mielissämme.

{youtube}tdFIvRMvFQI{/youtube}

Silmien seurannan yhdistäminen AR: n kanssa

Usein AR-sisältö on ankkuroitu reaalimaailman kohteeseen tai sijaintiin. Esimerkiksi kadun nimeä sisältävä virtuaalinen etiketti olisi näytettävä kyseisellä kadulla. Ihannetapauksessa haluaisimme, että AR-tarrat näkyvät lähellä todellista kohdetta, johon se liittyy. Mutta meidän on myös oltava varovaisia, ettemme anna useiden AR-etikettien päällekkäisyyttä ja tulla luettaviksi. Tarrojen sijoittelun hallintaan on monia lähestymistapoja. Tutkimme yhtä vaihtoehtoa: lasketaan, missä henkilö etsii todellista kohtausta ja näyttää AR-etiketit vain siinä paikassa.

Sano esimerkiksi, että käyttäjä on vuorovaikutuksessa mobiilisovelluksen kanssa, joka auttaa häntä ostamaan vähäkalorista viljaa ruokakaupassa. AR-sovelluksessa jokaisella viljanviljelyllä on siihen liittyvä kalori-informaatio. Sen sijaan, että jokainen viljalaatikko otettaisiin fyysisesti vastaan ​​ja lukisi ravitsemuksellista sisältöä, käyttäjä voi pitää kiinni mobiililaitteestaan ​​ja osoittaa sen tiettyyn viljalaatikkoon paljastamaan asiaankuuluvat tiedot.

Ajattele kuitenkin, kuinka monipuolinen myymälän viljakäytävä on eri paketeilla. Ilman jonkinlaista tapaa hallita AR-etikettien näyttöä näytettäisiin kaikkien viljalaatikkojen kaloritietolomakkeet. Olisi mahdotonta tunnistaa kaloripitoisuutta sen viljan osalta, josta hän on kiinnostunut.

Seuraten hänen silmänsä, voimme selvittää, mikä yksittäinen viljalaatikko käyttäjä tarkastelee. Sitten näytämme kaloreita koskevat tiedot kyseiselle viljalle. Kun hän siirtää katseensa toiseen laatikkoon, näytämme luvut seuraavasta, mitä hän pitää. Hänen näytönsä on selkeä, haluamansa tiedot ovat helposti saatavilla ja kun hän tarvitsee lisätietoja, voimme näyttää sen.

Tämäntyyppinen kehitys tekee siitä jännittävän aikaa AR-tutkimukseen. Kykymme integroida reaalimaailman kohtauksia tietokoneiden grafiikkaan mobiilinäytöissä paranee. Tämä lisää mahdollisuuksia luoda upeita uusia sovelluksia, jotka laajentavat kykymme olla vuorovaikutuksessa ympäröivän maailman kanssa, oppia niistä ja viihdyttää niitä.

Author

Ann McNamara, visualisoinnin dosentti, Texas A&M -yliopisto

Tämä artikkeli julkaistiin alunperin Conversation. Lue alkuperäinen artikkeli.

Liittyvät kirjat

at