HoloLens 不是個「衛星」，那它到底是怎麼運作的？

build-2015-channel9-developing-for-holoLens-img-top

發表至今， HoloLens 雖然吸引了很大一部分人關注，但總給人一種 “Too good to be real" 的感覺。看過太多現場直播的科幻電影向演示，不如看看專案主管 Alex Kipman 是怎麼向開發者解釋 HoloLens 的。

HoloLens 和 Holographic 之間的關係

微軟在 Build 大會上帶去了 300 台 HoloLens 樣機，供現場演示和報名參加 Holographic Academy 的媒體及開發者體驗。之前， Alex Kipman 已經在 1 月的首次公開演示中提到 Windows 10 中會內建 Holographic API，歡迎 Oculus 等 AR / VR 裝置調用。而在 Build 的訪談上， Alex 進一步透露了 Hologram 生態的開放性。根據他的描述，HoloLens 執行的是一個名為 Windows Holographics 的 Windows 10 分支，這個分支可以執行 Windows Universal 通用 App，同時也開放給其它廠商的裝置搭載。只是現在執行這一系統的公開裝置只有 HoloLens，但 Windows Holographic 和 HoloLens 之間並不存在強制綁定關係。

現場的 HoloLens / Hologram 演示直播到底是怎麼實作的？

現場的演示直播並不是預先做好的錄影 mockup，而是微軟將一台拆解過的 HoloLens 和攝影機連接在一起。微軟在 Build 現場使用了一台 4K / 2K 攝錄影機，將 HoloLens 中用到的所有感測器放置在攝影機側面，另將感測器所連接的螢幕放在鏡頭前，最後用一條很粗重的纜線確保畫面傳輸效率。至於兩台 HoloLens 之間怎麼共享 Hologram，我們後面會說到。

HoloLens 是怎麼把虛擬的 Hologram 和實體的人、動作及現實物體聯繫到一起的？

HoloLens 內建的多組攝錄鏡頭會對環境進行即時建模，在所處空間中建立 X Y Z 立體坐標軸，此外，裝置內建的聲音和影像感測器或檢測使用者的語音指令、手勢指令和目光方向。 Alex Kipman 提到語音辨識使用和 Cortana 一樣的後端技術，可以過濾環境噪音，確認使用者的操作，然後將操作和實際物體及 Hologram 關聯起來做出響應。他還提到， HoloLens 會辨識環境中的平面，所以可以把 HoloLens 和桌面、地板和牆面等為止關聯在一起，實現 “pin" 或「跟隨」的效果。即時掃瞄和處理 Hologram 要求每秒處理 TB 級別的資料，這是現在的 SoC 沒辦法實現的，所以微軟在 HoloLens 中內建了兩片自己客製化的 HPU （Holographic Processing Unit）來實作這個量級的資料產出。

多台 HoloLens 之間到底是怎麼互動的？

同一個空間內，這個問題會稍微簡單一些。我們上面說到 HoloLens 會即時對空間進行建模並建立 X Y Z 坐標系，所以在場的多個使用者只要共享 Hologram 和其所在的坐標資訊，就可以同時從多個角度同時檢視一個或多個 Hologram。至於影片中演示的 Skype 和遠端指導修水管等， Alex Kipman 解釋稱：這個場景下，雙方會在自己的視線內各從一個 2D 的小窗中看到對方，然後透過鍵盤滑鼠或手勢對現實物體做出箭頭、註釋等標記。而類似 NASA 案例中的多人協作，每個參與者會以不同顏色的全像等高 Avatar 出現在 Hologram 中，以此實作貼近於現實的互動。

開發者怎麼為 Hologram 開發做準備？

目前為止，開發者只能透過未來會相容 Holographic 的 Universal App 通用平台進行 App 開發。不過，簡單的通用 App 在 Hologram 中會以平面方式呈現，這與 Holographic 應有的互動理念並不完全符合，所以開發者應該開始學習 3D 介面開發，專門針對 Hologram 場景最佳化，真正實作自然互動。這其中只涉及介面的不同，binary 完全共享。