上海微系統所科研人員與應急管理部上海消防研究所合作，通過到一線消防救援單位實地調研，真實還原構建了人體被瓦礫石堆覆蓋的掩埋場景，在此環境下對包括人體在內的11種典型物體進行識別，觸嗅聯覺識別準確率達96.9%，較單一感覺提升了15%。
由地震、滑坡、塌方等掩埋事故造成的視覺感知障礙對受困人員的搜索和定位造成阻礙。為了確保最佳救援時機，提升搜救成功率和生還率，依託國家科技創新2030“新一代人工智能”重大項目，針對極端環境無視覺輸入情況下對受困人員的識別與救援需求，中國科學院上海微系統與信息技術研究所研究員陶虎團隊受自然界星鼻鼴鼠“觸嗅融合”感知啟發，將MEMS嗅覺、觸覺柔性傳感器陣列與多模態機器學習算法融合，構建了仿星鼻鼴鼠觸嗅一體智能機械手（如圖）。
得益於硅基MEMS氣體傳感器（靈敏度超越人類1個數量級）、壓力傳感器（探測限超越人類1個數量級）的優異性能，該機械手手指觸摸物體后可準確獲取其局部微形貌、材質硬度和整體輪廓等關鍵特徵，掌心可同步嗅出物體“指紋”氣味，進一步通過仿生觸嗅聯覺 (BOT) 機器學習神經網絡實時處理，最終完成識別人體、確認部位、判斷掩埋狀態、移開障礙物、閉環救援。
相較麻省理工學院發表於Nature（DOI：10.1038/s41586-019-1234-z）的單一觸覺（548個傳感器）感知研究，該工作通過觸（70個）、嗅（6個）聯覺，僅使用1/7數量的傳感器，達到了更理想的識別目的，並且縮小后的傳感器規模和樣本量更適合複雜環境、資源有限條件下的快速反應和應用。此外，面對在實際救援中常見的存在干擾氣體或器件部分損壞等情況，通過多模態感知的互補和神經網絡的快速調節，該系統仍保持良好的準確率（>80%）。
相關研究成果以A star-nose-like tactile-olfactory bionic sensing array for robust object recognition in non-visual environments為題，於2022年1月10日發表在Nature Communications上。研究工作得到科技創新2030-重大項目、國家重點研發計劃、國家自然科學基金優秀青年基金、中科院基礎前沿科學研究計劃“從0到1”原始創新項目、上海市優秀學術帶頭人計劃等的支持。
論文鏈接
用於應急救援掩埋場景的觸嗅一體仿生智能機械手