近日，USPTO（美國專利商標局）的文件洩露了 Sony 的一項手套式控制器專利，根據該項專利，使用 PS VR 的使用者可以不用手握一對控制器，而是帶上手套，透過自然的手勢操作，就能完成虛擬實境（VR）的互動。
Sony 這三項 PS VR 專利分別是（1）手指彎曲感測器，用以辨識手指的彎曲部分，並生成彎曲感測資料；（2）獨立的接觸感測器，在使用者接觸物件時生成資料；（3）通訊模組，用以傳輸手指彎曲感測器和接觸感測器的資料，經演算法計算出手勢，同步呈現在頭戴式顯示裝置的虛擬環境中。
Appl. No. / Title
- 14/517733 | Thumb Controller
- 14/517741 | Glove Interface Object
- 14/503275 | SYSTEMS AND METHODS FOR PROVIDING FEEDBACK TO A USER WHILE INTERACTING WITH CONTENT
（Source：Rösti on NeoGAF）
（Source：USPTO）
據文件，目前在這個系統中能夠辨識的手勢暫時有槍、花、劍。
（Source：USPTO）
以及打電話、拍照和暫停。
（Source：USPTO）
事實上，這項專利早在 2014 年 10 月 17 日 就被 Sony 提交申請了，這個時間也是在發表 Project Morpheus 專案之後的幾個月。很明顯，Sony 在 PS VR 的發展上早有謀劃，而這套系統或將成為其在 VR 輸入裝置上的潛在方案。
不過目前，PS VR 的輸入裝置仍是 PS Move，這款手把內建慣性感測器，不僅會辨識的動作，還會感應手腕的角度變化，其使用 RGB LED 發光源的燈泡作為主動標記點，透過與頭顯的 PS Eye（鏡頭）進行資訊收發，從而確定其在 3D 空間中的位置。
▲ PS VR & PS Move（Source：SonyPlayStation on YouTube）
Oculus Touch、HTC Vive (Controller)、Gear VR Rink
在此也比較一下 Oculus、HTC Vive 和 Gear VR 的手把裝置，它們的技術框架也與 VR 裝置的技術原理相配合。
Oculus Touch
Oculus Touch 採用了類似手環的設計，允許攝錄影機對使用者的手部進行追蹤，感測器也可以追蹤手指運動，同時還為使用者帶來便利的抓握方式，使用者展開手掌時，借助手環的支撐，手把仍然可以保持原位。
▲ Oculus Touch（Source：Oculus）
關於 Touch 的技術，據《雷鋒網》，自 Christoph Bregler 離開 Oculus 後，意味著 Oculus 對姿態追蹤的技術思路可能是 Marker-based Mocap，並可能大量用「不依賴光學感測」感測器及資訊融合。而在擅長 Sensor fusion、magnetic drift correction 和 kinematic modeling 的 Steve laValle 主導下，Touch 的基本技術框架是「多模式感測融合 + 手勢辨識」。
經演算法最佳化，Touch 也主要應用了「星座」位置追蹤系統，同樣是用於 Oculus 頭顯裝置的技術，其機制是 LED 間歇地發射紅外線，而安置在房間角落的相機站可以感覺到頭顯 IR 燈光細節的改變，透過紅外定位來計算位置和轉動，另外，Touch 還應用有 EKF 多感測器融合、 IMU 解算。
HTC Vive 的手把
看起來 HTC Vive 的手把外觀還是最常見的樣式。
▲ HTC Vive（Source：HTC on YouTube）
▲ HTC Vive Pre（Source：HTC Vive on YouTube）
HTC Vive 的手把佈滿了感測器，基於自身的追蹤系統 Lighthouse 實現動作捕捉，其原理是利用雷射在固定空間進行高頻掃瞄，然後透過頭盔及雙手把上的感測器進行多點定位，來探測室內佩戴 VR 裝置的玩家的位置和動作變化，並將其模擬在 3D 空間中。
據悉，Lighthouse 是一個基於 15 × 15 呎的空間追蹤系統，空間的對角會安置兩個雷射發射器（基地台），並不斷發射光線掃瞄整個空間，Vive 頭盔和手把上有超過 70 個光敏感測器，雷射掃過的同時，頭盔和手把開始像碼錶一樣計數，看哪一個感測器先接收到雷射，然後利用感測器位置和接收雷射時間的關係，計算相對於雷射發射器的準確位置。
這種方式相對其他 VR 裝置來說技術原理更簡單，運算效率高，延遲低，而 HTC Vive 體驗效果也相對更好。不過，使用者的手指運動不能透過 Lighthouse 來捕捉，因此 HTC Vive 還是要透過手把按鍵等來實現手指操作。
Gear VR Rink
三星（Samsung）為 Gear VR 也研發過一款無線手把控制器 Rink，出自三星創意實驗室 C-Lab R&D。
▲ Gear VR Rink（Source：Samsung）
至於 Rink 的技術原理，其裝置上整合了各種感測器，透過使用資料編碼磁場來追蹤控制器的移動，經藍牙連結後，位於頭戴式裝置上方的 Rink 發射器發送磁訊號到手機接收器，Rink 的位置資訊也由此發送出，能否接收到資訊取決於物體距離控制器多遠，控制器的感應範圍大約 1 m 約合伸展雙臂的長度。
同時，Rink 不僅可以檢測出手（整體）的運動，還能透過嵌入到裝置側面的紅外感測器，具體辨識出手指的位置，紅外燈發出光波並被彈回，由此控制器讓應用程式知道有手指的動作。
手把之外，其它的 VR 輸入裝置
目前 VR 的輸入裝置尚沒有同一標準，除了三大廠商以外，還有不同的公司在嘗試創造新的方案，不過可知的是，未來的輸入裝置必然會朝著最自然的方式演化，比如手勢輸入（「裸手輸入」）。
手套式（穿戴型）VR 輸入裝置
比較知名的是 Manus 這款無線 VR 手套，源於荷蘭新創公司 Manus Machina，它透過感測器把手套的動作映射到 VR 中。不過，Manus 能夠做到的是追蹤手部的動作，而關於整隻手臂、整個人在空間中的移動和方向變化，還是要和現有的 VR 裝置及控制器配套使用，在早期，Manus 的無線藍牙傳輸功能對應的是三星 Gear VR，也曾被改造運用到 HTC Vive。
▲ Manus VR & HTC Vive（Source：Manus VR on YouTube）
再來還有 Power Claw，相較於 Manus，Power Claw 是有線傳輸，並能給使用者帶來冷熱、震動和粗糙感等皮膚觸覺。據悉，在該手套的拇指、食指及中指有三個傳動器,可以透過電子電路將不同感覺的信號傳回電腦，除了應用於 VR，Power Claw 也希望被用於有關教育、醫學等更具意義的場景中。
▲ Power Claw（Source：Phys.org）
Gest 還算不上 VR 輸入裝置，它是一款動作追蹤手套，由戴在手掌上的主體和四指上的手環組成，Gest 的執行長兼聯合創辦人 Mike Pfister 將其描述為游標和鍵盤的替代品，目前主要用於 PS 的各種操作，不過，這家名為 Apotact 的實驗室也表示，Gest 未來將加入虛擬實境功能，也許凌空動動手指就能開啟一扇密碼門鎖。
▲ Gest（Source：Gest）
基於動作感測 VR 輸入裝置
最典型便是 Kinect，現採用 TOF（光線飛行時間法）技術，透過深度攝錄鏡頭對使用者進行即時動態捕捉，即感測器發出的近紅外光反射時間來計算被拍攝景物的距離，繪製出物體的 3D 輪廓。而憑藉 Kinect 奠定運動感知系統專家的地位，微軟（Microsoft）在去年還展示展示出了即時手勢追蹤系統 Handpose ，該系統可在僅利用一個深度攝錄鏡頭的情況下對複雜手勢進行精確重構。
由此也得提到 Leap Motion，這款達到次毫米（SubMillimeter）精度的手勢動作捕捉裝置，透過紅外 LED+ 灰階鏡頭採集資料，其利用雙目 IR 攝錄鏡頭形成深度視野，然後透過演算法捕捉手勢。Leap Motion 還曾推出一款基座，能夠與 Oculus Rift 等 VR 裝置連接，引入手勢操作實現虛擬和現實互動。
另外還有 Intel 的 RealSense，其攝影技術是整合了 3D 深度和 2D 鏡頭模組的 RealSense 3D 攝錄鏡頭，採用「主動立體成像原理」，模仿人眼「視差原理」，透過打出一束紅外光，以左紅外感測器和右紅外感測器追蹤這束光的位置，然後用三角定位原理來計算出 3D 影像中的「深度」資訊。它能實現高度精確的手勢辨識、臉部特徵辨識，將幫助機器理解人的動作和情感。
基於動作捕捉 VR 輸入裝置
基於動作捕捉的系統，需要在運動物體的關鍵部位佩戴追蹤器，由 Motion capture 系統捕捉追蹤器位置，再經過電腦處理後得到 3D 空間坐標的資料。而動作捕捉包括很多種類，比如機械式、光學式、聲學式、電磁式和慣性導航式。
比較常見的慣性導航式和光學式動作捕捉，前者需要在運動物體的關鍵部位設定，如整合加速度計，陀螺儀和磁力計等慣性感測器裝置，而後者則需要在身體的關鍵部位貼上特殊標誌，比如發光點，透過對特定光點的監視和追蹤來完成運動捕捉的任務。
基於慣性動作捕捉的系統供應商，中國知名的如諾亦騰（Noitom），日前獲得奧飛動漫（Alpha Animation）等超過 2,000 萬美元 B 輪融資，其自主研發的動作捕捉系統 Perception Neuron 曾助《冰與火之歌：權力遊戲》斬獲最佳視覺效果的獎項，同時它也研發了全球首款全無線人體動作捕捉系統 Perception Legacy，用於影視、動畫和遊戲等。在 VR 輸入裝置尚不成熟之際，諾亦騰想以慣性動作捕捉技術，融合光學式動作捕捉方案，來打造符合人類直覺的自然互動方式。
（本文由 36Kr 授權轉載；首圖為 PS VR，來源：Sony）
延伸閱讀：
- HTC VIVE Pre 體驗心得：沉浸感十足，遊戲設計考驗空間感
- PlayStation VR 規格公布：1080p 解析度、120Hz 更新率
- 三星 Galaxy S7 發表會，手機可能並不是重點
36Kr
更多關於 36Kr 的文章 (所有文章)
- 不看臉只憑聲音？《Rolltape》App 主打社群語音通訊 - 2016-04-26
- 穿戴式硬體商 Zepp 發表足球感測器，搭配《北看台》錄製業餘比賽 - 2016-04-21
- YouTube 推全景直播服務，Coachella 音樂節上首次亮相 - 2016-04-21
