編輯：好困 小咸魚

當然想了，可是，哪里能買到呢？

想象一下，你正在和朋友的3D虛擬化身拼一個3D虛擬拼圖。

當你從桌子上拿起一塊虛擬拼圖時，能真切地感受到拼圖就在手中，就是手指會停住的那種，效果大概就像下面這樣。

拿起來觀察的時候，不僅能夠看到，也能摸到拼圖邊緣的鋒利和表面的光滑。然后，把拼圖放到正確的位置時，「咔噠」一下，嚴絲合縫。

再想象一下，你來到一家咖啡館「掏出」一個虛擬的屏幕和鍵盤。

這個鍵盤可大可小，而且還能在「紅軸」、「青軸」等各種不同手感之間來回切換，雖然看起來其實就是在敲空氣。

是不是看起來非常像「元宇宙」中的場景？

沒錯，這就是Meta的現(xiàn)實實驗室（Reality Labs, RL）在解決元宇宙中的一個核心挑戰(zhàn)——「如何觸摸虛擬世界」上做出的一點點努力。

無非就是研發(fā)了7年，整了點新的材料、新的傳感器、新的執(zhí)行器、新的集成和系統(tǒng)方法、新的渲染算法以及新的物理引擎。

畢竟都改名叫Meta了，不拿出一些Metaverse方面的研究成果怎么行。

用手套觸摸「元宇宙」

現(xiàn)在的VR技術，雖然能通過手持設備操作虛擬的物體，但是用戶卻完全無法感受到它們。

這個時候，如果有一個時尚、舒適、實惠、耐用、柔軟、輕便的觸覺手套，就能解決在使用VR和AR時面臨的交互問題了。

這個手套不僅可以準確地將佩戴者的手部動作反饋給計算機，而且還能重現(xiàn)一系列復雜、細微的感覺，如壓力、紋理和振動，創(chuàng)造出用手感受虛擬物體的效果。

如果想還原真實的觸感，手套就必須搭載數(shù)百個執(zhí)行器 （微小的馬達），并且能夠以一種協(xié)同運動的方式使佩戴者感覺他們正在觸摸一個虛擬物體。

然而，工作剛開始兩年，團隊就遇到了傳統(tǒng)電子和金屬器件的限制。

用現(xiàn)有的機械執(zhí)行器制作出的手套無法舒適地佩戴一整天。不僅僵硬、昂貴、耗電，而且無法呈現(xiàn)真實的觸覺感受。

Meta RL則希望可以通過全新的材料制作一種柔軟且有韌性的執(zhí)行器，而且還可以根據(jù)佩戴者的動作改變形狀。

「顯然，你不能在手上安放1000個電機和各種用來連通的電線，」Meta RL研究硬件工程總監(jiān)Tristan Trutna解釋道，「即便能實現(xiàn)，從物理層面上來說，也并不適合。手套的質(zhì)量和使用時產(chǎn)生的熱量都太大了?！?/p>

現(xiàn)實你也猜到了，這種執(zhí)行器并不存在。

于是，團隊決定轉(zhuǎn)向軟體機器人和微流體的新興領域，這其中的技術分別常用于假肢和PoC診斷設備。

經(jīng)過一番研究，近兩年Meta RL在氣動執(zhí)行器（使用氣壓來產(chǎn)生力）和電動執(zhí)行器（在有電場的情況下改變形狀或大?。┓矫娑既〉昧酥卮笸黄?。

為了控制這些新的軟執(zhí)行器，Meta RL制造了世界上第一個高速微流體執(zhí)行器。通過手套的一個微小的微流體芯片，告訴閥門應該在何時以多大程度打開和關閉，從而控制輸入執(zhí)行器的氣流。

Meta RL研究科學家Andrew Stanley指出，「對于VR或AR的觸覺互動來說，執(zhí)行器需要非常迅速地對指尖進行加壓，而利用空氣就可以做到?！?/p>

有了流體邏輯電路，Meta RL能夠通過減少控制大量執(zhí)行器所需的機電閥門的數(shù)量來消除系統(tǒng)中沉重的組件。

精確構建畫面的觸覺「渲染」

即使有了控制氣流的方法，手套也需要知道何時何地提供正確的感覺。

這就需要使計算機能夠準確地知道你的手在虛擬場景中的位置，你是否接觸到了虛擬物體，以及你的手是如何與物體互動的。

為此，Meta RL推出了一種新的渲染軟件，能夠根據(jù)手的位置和對虛擬環(huán)境的理解，包括其中虛擬物體的紋理、重量和硬度，在準確的時間向手上的執(zhí)行器發(fā)送正確的指令。

「通常認為『渲染』是指視覺效果」，Meta RL軟件工程師Forrest Smith說，「我們也用『渲染』這個詞來形容觸覺。我們在這里做的是把虛擬世界的狀態(tài)和你與它的互動，渲染到執(zhí)行器上，這樣你就能感受到相應的感覺。」

其中，物理引擎（用于模擬視頻游戲中物體互動的軟件）決定了你的手在與虛擬物體互動時應該接受的力的方向、大小和位置。

而觸覺渲染算法將這些信息與觸覺設備的特性（如各個執(zhí)行器的位置和屬性）相結合，從而能向設備發(fā)送正確的指令。

結合聽覺、視覺和觸覺的反饋

隨著團隊的工作進入第四年，第三個挑戰(zhàn)出現(xiàn)了。

為了使觸覺發(fā)揮作用，Meta RL必須模仿現(xiàn)實來建立物理模型，但又不能完全重現(xiàn)現(xiàn)實世界的物理學。

雖然觸覺手套可以提供有價值的反饋，但它們不能完美地阻止你的手指在試圖抓住一個虛擬物體時閉合，也不能阻止你的手在虛擬桌子上停留時穿過桌子。

這怎么解決呢？

于是，他們又轉(zhuǎn)向了感知科學和多感官整合，去研究人類的感官如何共同作用以建立我們對世界的理解。

佩戴者體驗研究科學經(jīng)理Sophie Kim解釋了該團隊是如何利用人類的感知能力來創(chuàng)造足以令人信服的感覺的。

她說：「我們的大腦非常善于利用一點點觸覺信號、一點點視覺信號、一點點聽覺信號，并將它們?nèi)诤显谝黄?，真正感受到這種感覺，并確信有一個物體存在于你的手中。」

Meta RL感知研究科學家Jess Hartcher-O'Brien描述了在VR和AR中的感官整合可能是怎樣一種感覺。

「例如，當我準備拿起一個立方體時，會對它的材料類型和它可能的重量有一個假設。」

「在觸碰到這個立方體的一瞬間，我就會把關于它的材料屬性的視覺線索和觸覺反饋結合在一起?！?/p>

「當我去操作這個物體時，我的大腦會識別摩擦力和慣性，并能計算出這個物體的密度或重量?！?/p>

「我的視覺系統(tǒng)正在根據(jù)我的手臂如何移動而更新。感覺告訴我，我的手臂在空間中的位置，它的移動速度，以及我的肌肉正在做什么?！?/p>

而這就是觸覺手套的神奇之處了，它甚至可以讓佩戴者的感知系統(tǒng)相信自己正在感受一個物體的重量。

佩戴者手指的皮膚會被執(zhí)行器輕輕地拉動，從而模仿重力對所持物體的拉扯，當然，這一切都必須在時間上完全同步。

在2017年底的一項實驗中，Meta RL使用指尖上的單一振動觸覺設備，在VR中的一系列不同材料制成的虛擬球體（木頭、大理石、泡沫）從空中落下時提供觸覺反饋。

當每個球體落到受試者的虛擬手指尖上時，都有獨特的視覺、聽覺和觸覺反饋提示。

Keller表示，「所有的時間和工程對這種音頻-視覺-觸覺體驗來說都是恰到好處的。你可以感覺到這是一塊泡沫、木材或大理石。你可以體驗到這些材料在落下時輕輕地打在你的手指上的感覺?！?/p>

發(fā)明未來：Meta RL剛剛開始

在VR和AR中提供可信的觸覺體驗所需的一些技術目前還不存在，但Meta RL仍在不斷推動技術水平的提高，創(chuàng)造新的突破，使觸覺手套成為現(xiàn)實。

「我相信，在即將到來的AR/VR和元宇宙的人機交互革命中，觸覺將是至關重要的」，Meta RL Research科學經(jīng)理Nicholas Colonnese說，「在未來，我們可能會呈現(xiàn)一個『觸覺點擊』，在你向元空間的朋友打招呼時分享定制的『觸覺握手』?！?/p>

Meta RL的觸覺手套項目開始時是一個「登月項目」，但隨著團隊成功創(chuàng)新并完成了幾十個學科的研究飛躍，它的可行性越來越高。

「當我們開始觸覺手套項目時，我們問自己，我們是否能建立一個可大規(guī)模生產(chǎn)的、消費者負擔得起的消費設備」，Keller說。

「當時，我們認為做不到，因為沒有新的材料、新的傳感器和執(zhí)行器、新的集成和系統(tǒng)方法、新的渲染算法、新的物理引擎，什么都沒有，這根本不可能，但時至今日，我們可以很驕傲地說，我們已經(jīng)開辟了一條可行的道路，可以讓我們達到目標。」

時間過去了七年，而對于他們來說，這才剛剛開始。

「Meta現(xiàn)實實驗室是一個創(chuàng)新的鍛造廠」，Keller補充說，「你可以看到你創(chuàng)造的這些東西是如何實際影響人們和人們的生活的，這是非常有意義的?！?/p>

參考資料：

https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/

https://www.youtube.com/watch?v=v9bbbYcgMqQ

-END-