智東西11月3日消息，昨天，扎克伯格在Facebook賬號中表示，Meta（Facebook公司新名稱）發布了一款觸摸感應“皮膚”ReSkin，由該公司的研究人員與美國卡內基梅隆大學共同研究。
編譯| 程茜
編輯 | 李水青
ReSkin利用機器學習和磁感應，採用無監督學習算法來幫助自動校準觸摸傳感器，提供了一種廉價、多功能、耐用且可替換的長期使用解決方案。
扎克伯格談道，ReSkin已經被放在多種應用場景中實驗，例如，研究人員將ReSkin和電路板放在狗鞋的鞋底，跟蹤狗在休息、行走和跑步過程中施加的力的大小和方向。“它還可以解鎖AR、VR的可能性，並引領工業、醫療和農業機器人技術的創新。”Meta研究科學家說。
▲佩戴在狗腳上的ReSkin（圖片來源為Meta）
除了ReSkin，Meta還概述了觸覺感知領域在開發硬件、模擬器、數據集和用於觸摸感應測試的基準方面已經取得進步。該公司表示，已經形成了AI系統通過觸摸進行理解和互動的基礎。
另外，Meta開源了ReSkin的設計、數據文檔、代碼和基礎模型，幫助其他研究人員更快使用該傳感器，進一步推動觸覺傳感器發展，並促進AI行業的應用落地。
一、從18mm到2mm，Meta數字皮膚大進化
“我們通常認為觸摸是一種傳達溫暖和關懷的方式，但它也是我們感知周圍世界的關鍵方式。”Calandra和Lambeta說，“觸覺為我們提供了無法通過任何其他感官辨別的信息，例如關於物質的溫度、質地和重量，有時甚至是它的狀態。”
“觸覺幫助我們在周圍的世界中‘導航’。有了它，我們可以收集關於物體的信息，例如它們是輕還是重、軟還是硬、穩定還是不穩定，我們還可以使用觸覺來完成從穿鞋到準備飯菜的日常任務。”Meta研究員經理Abhinav Gupta和博士后研究員Tess Hellebrekers表示。
觸覺傳感是機器人技術中的一個新興領域，旨在理解和複製物理世界中人類級別的觸摸，在家庭到工廠車間等環境中，能夠讓機器人學習和使用自己的“觸覺”，從而使機器人更高效、更安全、更溫和。
過去幾年，Meta一直在開發觸覺傳感器，主要專註於機器人抓取任務。2020年，Meta已經推出一種高分辨率、低成本的小型觸覺傳感器Digit，可以安裝在多指機器人手上。
▲Digit的分解圖（圖片來源為Meta）
Digit的塑料機身外殼可以通過3D打印和注塑成型來製作。同時，Digit還配備了三個RGB發光二極管，正如下圖所示，這可以為使用硅和丙烯酸製造工藝定製設計的彈性體凝膠表面提供照明，可以平衡堅固性和靈敏度。Digit製作過程中使用“壓配合”連接工藝將相機和凝膠安裝到機身上，以便可以更換組件，還可以更換外殼以適應不同的鏡頭焦距。
▲安裝在機械手上的Digit（圖片來源為Meta）
對Digit進行實驗時，將其配備到機械手上，研究團隊利用該機械手的拇指和中指去握住和操縱玻璃彈珠。在50次試驗過程中，大約25%的時間中機械手中的彈珠會掉落。研究人員將此歸因於數據不準確和多變性，而不是Digit設計中的缺陷。
Digit的塑料外殼、凝膠和電子產品的製造文件以及用於編程的固件二進制文件於去年6月在GitHub上開源。同時，近日Meta宣布將與麻省理工學院的衍生公司GelSight合作生產Digit。
相比於Digit，現在發布的ReSkin是一種嵌入了磁性顆粒的可變形彈性體。
▲可變形彈性體ReSkin的演示模型
其次，ReSkin相比於Digit可能更便宜，生產100張ReSkin時每件成本已經低於6美元，而生產1000張的Digit每件成本仍為15美元。Gupta和Hellebrekers介紹道，ReSkin的厚度為2毫米到3毫米，而Digit的厚度為18毫米，可進行超過50,000次交互，這使得ReSkin成為從機械手、觸覺手套到臂套甚至狗鞋等各種外形的理想選擇。
▲安裝在機械手上的ReSkin（圖片來源為Meta）
“ReSkin還可以提供高頻三軸觸覺信號，用於快速操作任務，如滑、扔、接和拍手等。當它磨損時，可以很容易地將其剝離並更換新的配件。”Gupta和Hellebrekers說。
根據Gupta和Hellebrekers的說法，ReSkin實際目標是建立一個聯繫人數據源，這可能有助於進行對象分類等一系列基於觸摸的任務時，整合數據資源，進一步推進人工智能。使用ReSkin開發的具有觸覺感知技能的AI模型，還可能被用於在醫療保健環境中工作或抓取柔軟的物體。
ReSkin可以與其他傳感器集成，收集視覺、聲音和觸摸數據以創建多模式數據集，因此有助於構建比以前更真實的世界模型。
▲ReSkin傳感器用於測量觸覺力（圖片來源為Meta）
“今天的人工智能有效地融合了視覺和聽覺等感官，但觸覺仍然是一個持續的挑戰，是由於人體以外獲取觸覺傳感數據有限。因此，AI研究人員希望利用人們觸覺感知的豐富性和冗餘性，更好地將觸覺融入到他們的模型中。”
二、ReSkin有望解決大規模生產難題
值得注意的是，Digit和ReSkin都不是該領域中的第一個觸覺傳感器，其他觸覺傳感器還包括加州大學伯克利分校研究小組開發的OmniTact和麻省理工學院計算機科學和人工智能實驗室的機器人抓手GelFlex，新加坡國立大學還使用英特爾的原型芯片開發了觸摸感應機器人“皮膚”。
▲機器人抓手GelFlex正在抓取物體（圖片來源為麻省理工學院 ）
但是，之前的這些實踐表明，“柔軟的皮膚”難以進行大規模製造，因為在製造過程中它們會發生變化，首先是該設備本身的材料的性質會隨着時間的推移而發生變化，其次對材料的使用方法不同也會使其產生改變，這都為“皮膚”的大規模製造增加了挑戰。同時，每個傳感器都必須通過校準程序來確定其各自的響應結果，這也意味着校準程序必須自行適應上述變化。
ReSkin利用機器學習和磁感應，並採用無監督學習模型，設備安裝、使用時減少觸碰，降低其損壞率，一定程度上能緩解難以大規模製造的困境。
ReSkin通過消除軟材料和測量電子設備之間的電氣連接，無需近距離接觸連接，確保其材料不受外界干擾，以此克服其在大規模製造時出現的困難。該觸覺傳感器的磁信號依賴於接近它的距離，因此電子設備只需在附近，無需連接就可以接收磁信號。
除此之外，ReSkin還開發了一個映射函數，該函數對來自多個數據源的數據進行訓練，使其比傳統映射函數更具通用性和穩健性。並且ReSkin的傳感器採用無監督模型，可以使用少量未標記數據自動且連續地進行微調。
▲ReSkin的無監督模型演示
在無監督學習中，算法會受到“未知”數據的影響，這些數據不存在先前定義的類別或標籤。這與“監督”學習相反，在“監督”學習中，算法是針對特定輸出註釋的輸入數據進行訓練的，直到它們可以檢測到其中潛在的關係。在ReSkin上運行的那些無監督機器學習系統，必須從固有數據中自學，能夠對未標記的數據進行分類、處理，而不是從註釋中學習。
“我們可以使用未標記數據的相對位置來幫助微調傳感器的校準程序，而不是提供先驗的強制標籤。例如，我們知道在三個接觸點中，物理上彼此更接近的兩個將具有更相似的觸覺信號。”Gupta和Hellebrekers解釋。
“總而言之，ReSkin開闢了現有系統無法實現的多功能、可擴展且價格低廉的觸感模塊。現有的基於攝像頭的觸覺傳感器要求設備表面和攝像頭之間的距離達到最小，從而導致設計更加笨重。相比之下，ReSkin可以作為一個表層覆蓋在人類和機器人的手和手臂上。”
“我們對通用觸覺傳感器的研究催生了今天的ReSkin，它具有低成本、便攜且續航時間久的優點，其次，它的皮膚就像剝皮和換上新繃帶一樣容易更換，並且可以立即使用。我們學習的模型在開箱即用的新設備上表現出色。這是一個強大的工具，將幫助研究人員構建AI模型，為廣泛應用的多樣性提供動力。”Gupta和Hellebrekers寫道。
三、開源模擬器、學習框架、基礎模型……
為了支持像Digit和ReSkin這樣的硬件，Meta今年夏天開源了Tacto和PyTouch，這是用於PyTorch機器學習框架的庫。Tacto是基於視覺的觸覺傳感器模擬器，而PyTouch是用於觸摸傳感的機器學習模型和功能的集合。
▲PyTouch的界面
Tacto模擬器能以每秒數百幀的速度呈現觸摸讀數，並且可以將其配置為不同的傳感器，包括Meta自己的Digit。正如Calandra和Lambeta指出的那樣，模擬器在原型設計、調試和機器人基準測試中發揮着重要作用，因為它們可以通過測試而避免進行昂貴的實驗。他們說：“模擬實驗能夠使得設備運行更快，除此之外，也可以通過模擬實驗獲得正確的硬件，並減少觸覺傳感中硬件表面的磨損和撕裂，這使得模擬對於觸摸傳感變得更加重要。”
至於PyTouch，它為傳感器提供了基本功能，例如檢測觸摸和滑動，以及估計物體姿態等。PyTouch可以將現實世界的傳感器和Tacto集成，以實現模型驗證和將模擬訓練的概念轉移到現實世界應用程序中的“Sim2Real”功能。Meta還設想PyTouch能夠讓機器人社區使用專用於“即服務（as a service）”觸覺傳感的模型，研究人員可以在其中連接傳感器，下載預先訓練的模型，並將其用作應用程序中的組成部分。
“我們目前正在研究Sim2Real轉移，用於在模擬中訓練PyTouch模型並將它們部署在真實傳感器上，並作為快速收集數據集和訓練模型的一種方式。”Calandra和Lambeta說，“在模擬中，收集包含大量數據的大規模數據集可以在幾分鐘內完成，而使用真實傳感器收集數據需要時間和人力來物理探測物體。因此我們計劃探索Real2Sim方法，以更好地從真實數據中調整模擬器。”
在觸覺感知方面有一大堆障礙需要克服，包括硬件限制、對哪些觸摸功能用於特定任務缺乏了解，以及缺乏廣泛應用的基準測試。
Meta為克服上述障礙，邁出了一小步，發布了ReSkin的設計、數據文檔、代碼和基礎模型，以幫助研究人員使用該傳感器，而無需收集或訓練他們自己的數據集。
結語：多個玩家共同努力，觸摸傳感器解鎖更多可能
Meta發布ReSkin，開源大量軟件、數據，利用機器學習和磁感應，採用無監督學習模型，在探索觸摸傳感器領域更進一步，有望在機器學習的領域取得重大進展。
一代代的通用觸摸傳感器催生了ReSkin，在大規模生產難題上更進一步，離不開眾多企業、研究人員等對卡脖子問題的努力。Meta表示，無論觸摸傳感器的發展增量如何，都可以幫助推進AI技術，並幫助研究人員構建具有增強功能的機器人。