Windows leert gebaren te herkennen

De Digitale Telegraaf schrijft dat Microsoft bezig is met een nieuwe variant op Windows: GWindows. Naast de bekende bediening met muis en toetsenbord is het in deze versie, die staat voor "Gesture Windows", ook mogelijk om gebarentaal te gebruiken. Via een tweetal camera's is het voor het systeem mogelijk om diepte te zien. Hierdoor wordt de detectie van objecten verbeterd en kan er preciezer gezien worden wat voor bewegingen gemaakt worden. Op die manier kan dan bijvoorbeeld een venster verplaatst worden door je hand te bewegen. Op de afbeelding zie je linksboven de interface van het systeem, daarnaast een toepassing met drie beeldschermen. Onderin is te zien hoe een venster verplaatst wordt via een handbeweging en hoe er getekend kan worden met de technologie:

We address these difficulties with a fast stereo vision algorithm for interacting with the computer at a distance. The system uses two inexpensive video cameras to extract depth information. This depth information enhances automatic object detection and tracking robustness, and may also be used in applications. We demonstrate the algorithm in combination with speech recognition to perform various window management tasks, show preliminary user study results in the use of the system, and discuss the implications of such a system on tomorrow's user interfaces.

Reacties (41)

[Dedovekwartel]

Prachtige ontwikkeling! Want dan kunnen de doven in hun eigen taal brieven schrijven zonder toetsenbord te gaan gebruiken als deze ontwikkeling zo door gaat. De doven hebben heel andere grammatica dan gesproken/geschreven taal, zo kunnen de doven in hun eigen woorden brieven schrijven aan andere doven. Filmpjes kunnen we ook versturen, maar ze zijn veel te groot om te versturen en meestal in slechtere kwaliteit zodat de andere doven niet goed kunnen zien wat de ander zegt (We zijn visueel ingesteld).

[Verwijderd]

Ik zie het nut er niet echt van in..
Een dove heeft toch gewoon vingers die die kan gebruiken.., en ogen om te lezen als ie wat binnen zou krijgen.. qua email
Druk bezig om een dove te vinden die mij hier het nut van kan doen inzien

Edit:
Als een dove een brief wil schrijven aan een blinde..
dan kan het nog wel eens leuk worden..
dan kunnen de handbewegeningen vertaald worden naar tekst, en een proggie die het dan weer voorleest aan de blinde, 'vertaald' het dan weer.
hmm.. nee .. weer niet nuttig... een dove zou het dan nogsteeds kunnen tikken, en laten vertalen..

Edit 2:
MIsschien als een blinde gebarentaal kent.... dan zou het handig zijn... ja!

[burne]

Druk bezig om een dove te vinden die mij hier het nut van kan doen inzien

Sorry, maar geen dove kan tegen jouw blindheid op. Om te beginnen is gebarentaal al een zelfstandige taal. Doven denken in gebaren zoals jij een stemmetje in je hoofd 'hoort' als je denkt over wat je gaat zeggen. Als een dove gebarentaal ziet worden z'n spraakcentra actief. Iets wat bij jou gebeurt als je een taal hoort.

Voor doof/blinden is gebarentaal de enige vorm van communicatie. Ze hebben daarvoor een gebarentaal die bedoeld is om te voelen, en niet om te zien.

Doe je oogdopjes eens af en verdiep je in hoe anderen communiceren. Je kunt er hooguit slimmer van worden.

[jeroen_t]

Niet alleen doven natuurlijk.
Ook motorisch gehandicapten die nu bijv met een voet-muis en/of een lucy-keyboard werken (aanwijzen middels een IR-lampje zie http://www.headlight.nl/web/nl/lucynl.htm )

maar het ziet er (nog!) niet erg geperfectioneerd uit toch denk ik dat er wel degelijk een toekomst in zit.

[Verwijderd]

Wow - Dan krijgen we over een tijdje echt van die Minority Report praktijken. Drag 'n' drop met je handen..
Is ook wel iets beter tegen RSI denk ik

[Verwijderd]

Ik denk dat het juist slechter is tegen RSI. Je armen in de lucht houden kost *veel* meer spierinspanning dan ze op het bureau houden. Als je een draadloze/optical muis hebt, moet je maar eens proberen je mousepad tegen een oppervlak boven de grond te houden en dan een half uurtje te muizen...

[Verwijderd]

rsi krijg je niet van spierinspanning maar van constant (herhaaldelijk) hetzelfde kleine rotbeweginkje maken.
klikken dus vooral.

repetative strain injury

[zoepercavia]

Jullie hebben allebei een beetje gelijk. RSI is inderdaad een overbelastingssyndroom door langdurige, statische kort-cyclisch repeterende arbeid. Echter speelt spierinspanning wel degelijk een rol. Mensen die een verkeerde houding hebben en daardoor hun spieren aanspannen terwijl het niet nodig is (bv. niet ergonomische stand waarbij de polsen niet rusten en de nek- en armspieren aangespannen worden krijgen sneller RSI. RSI komt niet alleen voor in handen en polsen, maar ook in arm en nek.

[MacD]

Lol! Sorry, maar het is juist van belang dat je je polsen NIET ergens op rust. Als je je polsen ergens op rust, dat is pas hetgene dat je pezen en zenuwen beknelt.
Om RSI te voorkomen moet je je armen in een soort pianohouding houden; je polsen iets hoog en dan laat je handen hangen. Dan de bovenkant van je hand iets spannen en je zit in de juiste positie om te typen/muizen.

[SirBlade]

Om RSI te vermijden kunnen we mischien beter aan een mens-pc interface denken zoals in de matrix, Je plugt gewoon een kabel in je lichaam. Al lijkt me wireless wat praktischer (maar een geinplanteerde bluetooth is natuurlijk niet zo spectaculair als een 10 cm lange pen die in een groot gat aan de achterkant van je schedel word geduwd )

Maar ff serieus, ik denk dat dit soort onderzoeken minder makkelijk te doen zijn door de open-source gemeenschap dan door grote bedrijven. Als je dit soort dingen echt wil gaan testen heb je geld voor apparatuur en veel verschillende "proefkonijnen" nodig. Het ontwikkelen van gebruiksvriendelijke besturingen is nooit een punt geweest waar tweakers e.d. echt goed in zijn geweest, krachtig en flexible, maar niet makkelijk. En mischien dat dit niets word, maar 1 van die vele andere projectjes die MS doet met het geld wat ze verdienen met windows en office zal misschien ooit iets revolutinairs brengen, al is het alleen maar door de praktische toepassing van de miljon-monkeys-theory

[Verwijderd]

Hier is een video van hoe e.e.a. werkt:

Hi-res:
http://research.microsoft.com/~nuria/GWindows/GWindows%20video%201500k .WMV

Low-res:
http://research.microsoft.com/~nuria/GWindows/GWindows%20video%20384k. WMV

Meer info:
http://research.microsoft.com/~nuria/GWindows/GWindows.htm

[Cuball]

in vind wat ze tonen op het filpje nogal nutteloos gewoon wat heen en weer schuiven van een kader, zo veel handiger is dat toch niet hoor, lijkt me eerder totaal onpraktisch

[tweakerbee]

Dat soort dingen horen geautomatiseerd te gaan, bij voorkeur op een groot scherm (ala Minority Report). Als je dan wat anders wilt zit er een dodo achter een keyboard die dat (op commando) voor je regelt.

Ach, Spielberg. Wie gelooft er nou in die "transportbanen"? Hij verzint wel meer onzin...

[PipoDeClown]

8 jaar geleden was ibm hier al mee bezig en 5 jaar geleden was het ook al op discovery.
niks innovatiefs dus, maar weer ideeen gejat.

[Mayco]

het lijk precies alsof die persoon op het eerste fototje roze handschoenen aanheeft. Ik hoop dat het gewoon een verkeerde kleurinterpretatie van de cams zijn, want ik heb geen zin om met roze handschoentjes achter mijn pc te gaan zitten

[CumpsD]

Op de andere fotos staan zn handen zonder handschoentjes

maybe is het zoiets dat je zelf instelt van "dit zijn mijn handen" en dat die dan op de pc beetje highlighted worden, van "dit volg ik"

en dat je andere lichaamsdelen kan instellen als "handen"

[Verwijderd]

Het lijkt me dus niks he, de hele tijd zo met je handen langs je scherm.
misschien met photoshop. maar daar houd het voor mij wel op.
Mijn ergonomische toetsenbord, heeft me de laaste 3 jaar nog nooit pijn, of kramp in mijn arm bezorgt.
wat wel zo was bij een standaard toetsenbord.

[Standeman]

Ik denk ook niet dat je standaard windows-applicaties als uiteindelijk doel voor deze technieken moet zien. Een compleet andere vorm van besturing vraagt direct ook om een compleet andere vorm van interface.

Flightsims zijn nu ook eenmaal lastig om te spelen als je geen joysticks hebt (niet onmogelijk, maar wel lastig). Indien je echt gestures wil gaan gebruiken als besturing zal je toch echt de standaard interface van windows enorm moeten gaan aanpassen wil het een beetje werkbaar worden. Overigens zal het toetsenboord nooit helemaal verdwijnen. Indien je grote hoeveelheden tekst wilt invoeren, blijft het toch enorm handig. (Ik zie overigens hier op kantoor niet iedereen druk met hun armen zwaaien )

[Nibble]

Geweldig ! VINGERVERVEN!!

[Verwijderd]

met MS Paint ?

[Tobiaz]

Hobbit_be is een beetje pessimistisch

Ik denk dat over 20 jaar of zelfs 10 ofzo we echt niet meer met keyboards werken zoals we dat nu doen

Het wordt allemaal VR en ik denk dat startrek en minority report met die idee-en van computers een heel eind gaan komen

[Aham brahmasmi]

Doven denken in gebaren zoals jij een stemmetje in je hoofd 'hoort' als je denkt over wat je gaat zeggen. Als een dove gebarentaal ziet worden z'n spraakcentra actief. Iets wat bij jou gebeurt als je een taal hoort.

Ik denk dat dat alleen geldt voor mensen die bij hun geboorte al doof waren. Mensen die op latere leeftijd doof zijn geworden weten al wat geluid is, maar ik heb het idee dat zelfs mensen die al bij hun geboorte al doof waren net zo goed een stemmetje in hun hoofd zouden moeten horen... Om je innerlijke stem te kunnen horen hoef je volgens mij de oppervlakkige waarde van geluid niet waar te nemen via het gehoororgaan, maar heb je alleen je (onbeschadigde) hersenen nodig.
Wat zeker is (volgens mij), is dat een gedachte bij een gezond mens altijd een klank is; een subtiele vorm van geluid. Ik denk dat beelden en geuren/smaken andere gewaarwordingen (tast) minder verfijnd zijn. Ik kan mij iig moeilijk voorstellen dat doven alleen denken in de beelden van gebaren... ik denk ook dat aan zo'n beeld van een gebaar toch een gedachte ten grondslag moet liggen die dus een in feite een geluid/klank is. Denk er maar eens over na: als je een woord leest, dan zie je het eerst, maar wat je ervaart is een klank. Dat is dus het omgekeerde proces van wat ik hiervoor beschrijf. Als een dove een woord leest, móet hij volgens mij wel een klank horen, maar wat bij een dove meestal ontbreekt is om die klank om te zetten naar een grovere vorm van die klank (trilling in de lucht voortgebracht door de stembanden). Het lastige is wel, dat de klank die een dove ervaart veel te subtiel is om te vergelijken met wat een goed-horend iemand ervaart. Niettemin ervaart een dove toch de essentie van geluid, volgens mij.

Het feit dat bij een dove de spraakcentra van de hersenen actief worden bij het zien van gebaren zou dit moeten bevestigen. Misschien dat de gehoorcentra ook wel actief worden bij doven, als ze visuele input krijgen... misschien is het onmeetbare kleine activiteit... ik weet 't niet.

Dit is hoe ik er tegenaan kijk.

[-FoX-]

Ochja... wéér een van de dingen die zo fantastisch en revolutionair lijken..

En uiteindelijk zal ook dit weer langzaam wegebben..
Net zoals de revolutionare spraakherkenning.

Denk niet dat dit echt ooit zal doorbreken