在VR中模擬喝水甚至接吻，這套嘴部觸覺反饋系統有點“變態”

來源：VR陀螺

文：VR陀螺 萬里

VR設備的沉浸感，是依靠我們對於欺騙大腦場景的構建所營造出來的。當虛擬世界跟現實世界邏輯越相符，那麼它提供給我們的沉浸感就越強烈。

想象一下，如果我們能夠在虛擬博物館中，用手撫摸、感受珍貴的文物；在VR遊戲中，能真切感受到對方拋過來球的體積和重量；甚至是在社交軟件中與伴侶擁抱或者接吻，這會是多麼有意思的一件事。

隔空接吻，圖源《生活大爆炸》

想要實現上面這些功能，離不開VR的觸覺反饋技術。

今年5月，在人機界面（ACM CHI）會議上，卡內基梅隆大學人機交互研究所的研究人員展示了一個觸覺反饋系統。這套系統有意思的地方在於，能夠讓你用嘴感受虛擬世界。

虛擬接吻原來是這麼實現的：口腔觸控反饋系統解讀 

團隊人員在一個PCB中安置了64顆超聲波傳感器，這些傳感器統一傾斜45°朝向嘴部。PCB由帶狀電纜連接到後面的驅動板上，連接電腦進行驅動。

最後，團隊人員再把超聲波組件粘在Quest 2頭顯下方，整套系統便大功告成。

圖源：卡內基梅隆大學研究論文

之所以超聲波能模擬觸覺，是因為超聲波對外輻射能量，遇到手部等物體時會形成一個作用力，通過調整超聲波傳感器的工作方位以及強度，就能夠大致模擬出我們對於一個物品的觸覺感受。

圖源：網絡

研究人員為這套系統開發了六種觸覺體驗：聲學節點沿着嘴唇做X、Y軸運動，能夠模擬出物體經過嘴巴時上下左右的滑動效果；聲學節點做Z軸運動，模擬物體進出口腔的效果。

圖源：卡內基梅隆大學研究論文

另外通過瞬間脈衝，不規則脈衝以及持續撞擊這三種方式模擬出另外三種觸覺反饋。

圖源：卡內基梅隆大學研究論文

為了驗證該系統的可行性，研究人員開發了3個VR小遊戲：《鬧鬼森林》、《學校模擬器》和《賽車遊戲》。每個小遊戲中，又包含了4個觸發嘴部觸覺信號的場景。

比如在《鬧鬼森林》中，玩家前進時會被蜘蛛網黏住嘴巴，需要用手把蜘蛛網拉開（聲學節點做X軸滑動模擬滑動觸覺）；蜘蛛跳到臉上到處亂爬（超聲波發出不規則脈衝）；用槍射擊蜘蛛，蜘蛛爆炸產生的毒液噴到臉上（不規則脈衝）；頭上的蜘蛛滴落毒液，從嘴邊滑落（聲學節點做X軸滑動）。

蜘蛛跳到嘴邊，圖源：Youtube

從演示視頻中可以看到，伴隨着蜘蛛跳到嘴巴上，用戶的反饋非常強烈。如果這項技術能在一些恐怖遊戲中引入的話，可能恐怖指數會直接提升一檔。

另外在《學校模擬器》中，出現了喝水刷牙等場景：當嘴唇碰到噴泉水流時，系統會產生快速的脈衝模擬水流撞擊嘴巴的感覺、在喝咖啡時，超聲波信號通過Z軸運動模擬液體流入口腔的感覺。

超聲波模擬喝水場景，圖源：Youtube

在《賽車遊戲》中，玩家撞到箱子時，系統會釋放持續1000ms的脈衝信號模擬撞擊效果。

嘴巴撞到箱子，圖源：Youtube

當時研究人員邀請了11位志願者參與了這三款遊戲體驗，總體來看效果非常不錯，不少志願者反饋，觸覺有助於處理用戶視野之外的事件：“沒有觸覺，很難清楚什麼時候東西會接觸到臉部……我甚至不知道香煙什麼時候在我嘴裡。”

當然，由於系統的精度不夠（這也是目前超聲波觸覺方案的一大問題），有一些人對於觸覺的表現並不滿意：“感覺本身並不一定符合我的期望，例如，飛濺的濕氣不能僅通過振動觸覺驅動進行真實模擬。”

最後，研究人員基於志願者的反饋做了一份李克特七分量表，從表格中可以看到，相較於沒有反饋，加入超聲波模擬系統之後用戶體驗得到了極大的提高。

實驗數據，圖源：卡內基梅隆大學研究論文

體積小巧、功耗低 但成本是一大問題 

目前比較常見的觸覺反饋方案，比如觸覺手套、力反饋機械臂等，這些設備主要用於模擬手部的觸覺反饋，而這個設備的作用對象是我們的嘴巴。

研究人員表示，嘴部的觸覺模擬其實是一個被我們忽略的方向。一項數據指出，臉部附近的器官比如嘴唇，它的觸覺靈敏度排行第二，僅次於指尖。另外，由於嘴巴這個區域離我們佩戴的頭顯很近，未來把系統組件集成到VR頭顯當中相對來說也會比較容易。

圖源：卡內基梅隆大學研究論文

此外，市面上也存在部分針對面部或者嘴部的觸覺反饋研究，不過它們由於體積太大，對於使用者而言極為不友好。

從下面一張圖你們也能看到，這些林林總總的觸覺反饋設備，體積實在是太大了，並且各種奇怪的機械結構作用在臉上，使得它們看起來更像是一套高科技刑具。

圖源：網絡

相比之下，卡耐基梅隆大學這套方案則更勝一籌。該組件尺寸為17.9×10.6×1.5cm，加入這套系統后，Quest 2頭顯厚度增加了16.5%。在重量方面，該系統重107g（未包含驅動板質量），佔到Quest 2重量的15.8%。它的加入，不至於對頭顯造成太大的負擔。

研究團隊最新推出的原型中，超聲波傳感器更換為MA40H1S-R傳感器，它的體積能夠進一步被壓縮。可見它完全具有集成到VR頭顯內部的潛力。

圖源：網絡

對於視覺與觸覺同步問題，這套觸覺反饋系統也做了比較好的處理。研究人員發現，哪怕超聲相控陣的數據需要連接到電腦進行處理，但最後發現它的數據處理仍舊比視覺渲染時間快了2ms（基本上可以認為兩者是同步的）。

在功耗方面，論文中指出，使用時驅動板和超聲相控陣的功率為2.71W，待機時驅動板的功率低至0.3W。如果以每30秒輸出1秒的觸覺反饋來計算，它的功耗僅為0.38Wh，而Quest 2的電池為14Wh，也就是說工作一小時，該模組僅僅消耗設備電量2.71%。

目前想要把這套方案引入VR頭顯當中，可能最大的限制因素是價格。這套觸覺模擬系統中包含64個MA40S4S 40kHz 超聲波傳感器，我在某寶查了一下價格，發現該傳感器單顆價格在8元左右，綜合下來整套方案大約需要花費600塊（估算值）。

至於花費頭顯價格的四分之一體驗嘴部觸覺反饋是否值得，這點就見仁見智了。

觸覺反饋 科技巨頭的下一個必爭之地 

觸覺反饋技術，可劃分為觸感以及力反饋兩部分。所謂觸感，指的是與物體交互時的產生的震動、摩擦或微變形等感覺，而力反饋指的是觸摸過程中發生的力學相互作用。

目前的民用VR設備，所能提供的只有觸覺反饋只有手柄震動所產生的微薄的震動，對於物體重量、紋理、剛度等信息的還原，又或者是其他力學交互，還屬於一片空白階段。

在現實當中，我們的雙眼起到目標的追蹤跟定位作用，然後通過雙手等肢體確認並且實現與物體的交互。由於VR中觸覺反饋的缺失，使得我們在虛擬世界中需要時刻盯着物體反覆確認，工作效率很低。觸覺的加入，能大大減緩我們對於視覺的依賴。

此外，觸覺在VR培訓教育等領域中，能夠加深我們的學習記憶，提高知識的存留率。

圖源：Haptx

目前，市面上已經有一些全身觸覺設備出現，比如Teslasuit和bHaptics等，通過衣服內置震動觸覺電機，能夠在《VRCHAT》等遊戲中模擬別人觸摸你的感覺。觸覺的引入，給VR遊戲或者應用帶來了更多新的玩法和可能性。

模擬射擊場景，觸覺套裝會帶來相應反饋

圖源：網絡

雖說目前觸控反饋對於VR頭顯來說並不是剛需，但是它對於元宇宙的發展有着極其重要且不可替代的重要作用，很多科技巨頭都在這一領域進行着技術布局。

Meta的人機交互團隊劃分出了未來三個比較大的研究方向：AR眼鏡、肌電手環以及觸控手套。

Meta在去年11月展示了自家的觸覺原型手套。該手套採用了“氣體制動器”的解決方案：傳感器捕捉用戶的手部姿勢，然後通過微流體芯片控制手套裡面氣囊的充氣量，氣囊對於手指的壓力能夠模擬出物品的觸覺信息。

圖源：VR陀螺

當然，有業內人士指出，Meta這一副手套售價高達5000美元，距離大範圍民用還遙遙無期。

蘋果同樣是一家極為注重人機交互的公司，它在智能手機時代推出了很多優秀的人機交互解決方案，比如3D Touch、Taptic Engine等等。

目前蘋果的VR產品尚未發布，但是它的VR手套研究最早可以追溯到2016年。上個月，美國專利商標局公布了蘋果的一項專利申請，專利中展示了蘋果的一款集成SMI傳感器的手套，用戶在AR或者VR環境中使用該手套，可以感知物體的表面質量。

圖源：patentlyapple

上個月，微軟也公布了自家VR觸覺反饋手套專利，專利指出，該手套可以檢測機械刺激，並提供壓力、震動、皮膚拉伸等觸覺感受。未來，微軟VR手套將用於遊戲、工業、商業和醫療場景等多個領域。

觸覺反饋潛力並不小，Technavio 2021年分析報告指出，預計 2021 年至 2025 年間，觸覺市場將增長158.4億美元。隨着觸覺反饋系統的小型化、輕量化以及售價的降低，未來勢必會讓VR設備的體驗提升到一個新的層級。

引用：基於超聲相控陣的VR頭顯口腔觸覺研究

https://dl.acm.org/doi/pdf/10.1145/3491102.3501960