神奇的手勢識別，探索虛擬和現(xiàn)實如何交互！

        最近，美國專利商標(biāo)局的一份文件被泄露，其中包含了索尼的一項手套式控制器專利，也就是說，索尼PS VR推出的VR智能眼鏡將采用手套控制技術(shù)，不再是通過遙控器操作，而是通過手上的手勢操作識別，實現(xiàn)虛擬和現(xiàn)實的交互功能。

1.png (188.76 KB, 下載次數(shù): 5)

下載附件  保存到相冊

2016-3-21 12:43 上傳

而這三項專利分別是

1）手指彎曲傳感器，用以識別手指的彎曲部分，并生成彎曲傳感數(shù)據(jù)；

2）獨立的接觸傳感器，在使用者接觸物件時生成數(shù)據(jù)；

3）通訊模塊，用以傳輸手指彎曲傳感器和接觸傳感器的數(shù)據(jù)，經(jīng)算法計算出手勢，同步呈現(xiàn)在頭顯設(shè)備的虛擬環(huán)境中。

       據(jù)文件，目前在這個系統(tǒng)中能夠識別的手勢暫時有槍、花、劍；

2.png (130.75 KB, 下載次數(shù): 6)

下載附件  保存到相冊

2016-3-21 12:43 上傳

     以及打電話、拍照和暫停。

3.png (108.94 KB, 下載次數(shù): 6)

下載附件  保存到相冊

2016-3-21 12:44 上傳

       事實上，這項專利早在 2014年10月17日 就被 Sony 提交申請了，這個時間也是在發(fā)布 Project Morpheus 項目之后的幾個月。很明顯，Sony 在 PSVR 的發(fā)展上早有謀劃，而這套系統(tǒng)或?qū)⒊蔀槠湓?VR 輸入設(shè)備上的潛在方案。

不過目前，PSVR 的輸入設(shè)備仍是 PS Move，這款手柄內(nèi)置慣性傳感器，不僅會辨識的動作，還會感應(yīng)手腕的角度變化，其使用 RGB LED 發(fā)光源的燈泡作為主動馬克點，通過與頭顯的 PS Eye（攝像頭）進(jìn)行信息收發(fā)，從而確定其在三維空間中的位置。

4.png (189.64 KB, 下載次數(shù): 8)

下載附件  保存到相冊

2016-3-21 12:44 上傳

Oculus Touch、HTC Vive (Controller)、Gear VR Rink

        在此也比較一下 Oculus、HTC Vive 和 Gear VR 的手柄設(shè)備，它們的技術(shù)框架也與 VR 設(shè)備的技術(shù)原理相匹配。

Oculus Touch

      Oculus Touch 采用了類似手環(huán)的設(shè)計，允許攝像機(jī)對用戶的手部進(jìn)行追蹤，傳感器也可以追蹤手指運動，同時還為用戶帶來便利的抓握方式，用戶展開手掌時，借助手環(huán)的支撐，手柄仍然可以保持原位。

      關(guān)于Touch 的技術(shù)，自 Christoph Bregler 離開 Oculus 后，意味著 Oculus 對姿態(tài)跟蹤的技術(shù)思路可能是 Marker-based Mocap，并可能大量用 “不依賴光學(xué)傳感” 傳感器及信息融合。而在擅長 Sensor fusion、magnetic drift correction 和 kinematic modeling 的 Steve laValle 主導(dǎo)下，Touch 的基本技術(shù)框架是 “多模式傳感融合 + 手勢識別”。

       經(jīng)算法優(yōu)化，Touch 也主要應(yīng)用了 “星座” 位置追蹤系統(tǒng)，同樣是用于 Oculus 頭顯設(shè)備的技術(shù)，其機(jī)制是 LED 間歇地發(fā)射紅外線，而安置在房間角落的相機(jī)站可以感覺到頭顯 IR 燈光細(xì)節(jié)的改變，通過紅外定位來計算位置和轉(zhuǎn)動，另外，Touch 還應(yīng)用有 EKF 多傳感器融合、 IMU 解算。