MindLeap：第一款靠意念控制的虛擬實境遊戲系統原型

近日在舊金山舉行的遊戲開發者大會（GDC）上，瑞士的神經技術新創企業 MindMaze 發表了全球第一款靠意念控制的虛擬實境遊戲系統原型 MindLeap，同時宣佈獲得了 850 萬美元的天使投資。

從醫療到遊戲

MindMaze 成立於 2012 年，總部位於瑞士洛桑、其研究領域主要是神經科學、虛擬實境和擴增實境，此前主要應用於醫療，用來幫助中風、截肢及脊髓損傷患者康復。創辦人兼 CEO 是 Tej Tadi 博士，創立公司前，他曾在瑞士聯邦理工學院從事過 10 年的虛擬實境研究。

我們知道，人的動作是由大腦控制的，比方說移動手臂這個動作的執行過程，首先是大腦想要手臂移動，這個決定由神經網絡經過數毫秒之後，傳遞給相關肌肉才執行動作。MindMaze 則是透過追蹤大腦和肌肉的活動，來偵聽相關的神經信號。

MindMaze 的應用一開始並不是遊戲，而是醫療。比方說，截肢病人有時候會出現幻覺痛，即感到被切斷的肢體仍在，且在該處發生疼痛。Tadi 介紹了一個例子，某位左臂被截肢的女患者就出現了幻肢痛。MindMaze 利用技術追蹤患者正常的右臂的活動和神經訊號，然後在螢幕上呈現出其左臂在作相應動作的圖像，如此來「欺騙」她的大腦認為自己左臂也能動，從而緩解幻肢痛。

這裡的關鍵是螢幕的動作展示，必須是即時的──時延不能超過 20 毫秒（觸覺傳遞到大腦需要 20 毫秒，視覺則需要 70 毫秒，這些似乎是能夠區分出相關訊號的關鍵）。正是無時延方面的努力讓 MindMaze 想到可以把它用在遊戲上，開發出了 MindLeap 這套遊戲裝置的原型。

這套裝置由動作捕捉系統、腦電波讀取系統以及集成平台組成。其 HMD（頭戴式顯示器）外觀上跟 Oculus Rift DK2、Razer OSVR 有些類似。比較奇特的是它的頭箍，像一張網，其實那是用來採集腦電波訊號的裝置，不過未來 MindMaze 計劃改進成跟目前的 HMD 的頭帶類似的東西。

無線 3D 攝錄鏡頭運動捕捉系統類似於 Kinect，可進行 3D 的全身運動追蹤，但是需要進行一些調整以適應醫療用途。目前這套原型可提供 720p 的顯示以及 60° 的視野範圍，未來計劃升級為 1080p 及 120° 的視角。

VR 與 AR 結合

HMD 和動作捕捉系統的結合，跟我們不久前介紹的伊利諾大學香檳分校團隊的工作類似，可以帶來虛擬實境（VR）與擴增實境（AR）的雙重體驗。但是 MindLeap 還融入了腦電波讀取的技術，Tadj 稱，這是全球首次將神經科學、虛擬實境、擴增實境及 3D 全身動作捕捉融於一體，將帶給玩家無時延的遊戲體驗。

（Source: MindMaze）

佩戴上 MindLeap 之後，頭向右轉即開始 AR 模式，此時頭部的攝錄鏡頭開始追蹤在面前晃動的手指動作。螢幕上則呈現出使用者手部的動作，以及周圍的環境，不僅如此還會在手指上渲染火焰（擴增實境）。而且頭箍會追蹤用使用者的精神狀態，如果是放鬆的，火焰是藍色的，而如果使用者緊張，火焰聚會變成紅色。

如果使用者將頭向左轉則啟動 VR 模式，此時使用者的手還在平面上實境，但是周圍的環境則變成了未來主義的空間。使用者可以在虛擬世界中觸摸、感知、表現、移動，彷彿置身於現實世界。

腦力競賽

不過最有趣的是 MindMaze 展示的僅靠意念控制的對抗遊戲。遊戲裡面螢幕兩頭各有一個會伸縮的魔法球，中間則是一個小球。魔法球靠對戰雙方的意念控制，雙方均佩戴植入前額感測器的頭帶，遊戲目標是利用能量爆發，將螢幕中央的球膨脹推開對方的球。球膨脹得越大代表腦力越強。不過，不習慣的玩家一開始必須靠緩慢的深呼吸來放鬆精神。原型演示中仍有一些時延，而且還需要校準。不過看起來整個遊戲呈現的效果的確不錯。

根據 MindMaze 科學顧問 Olaf Blanke 的說法，MindLeap 利用醫療級技術，建立了一個直觀的人機介面，透過識別關鍵的神經特徵，實現無與倫比的響應性，將會開啟一個神經康復與遊戲的全新時代。

在 VR 最近風生水起的大環境下，MindLeap 的未來看起來不錯。但是要想實現消費化還有大量的工作要做。僅靠精神的放鬆和緊張來控制遊戲檔案還是不夠，不過如果 MindMaze 掌握了精確的神經訊號識別技術，辨別面部表情、情感等高級用法也不是天方夜譚。公司的目標是實現技術的開源化、無線化以及跨平台。

系統將支援 Xbox、PlayStation、iOS 及 Android 等多個平台，在獲得 850 萬美元天使融資後，公司計劃將在未來數月開放 MindLeap 引擎 SDK 給遊戲開發者，MindLeap 裝置則會在今年晚些時候面世。到時候我們再來看看，他們又能取得哪些突破吧，不過下面 The Verge 的這段體驗影片我們可以先睹為快：