Facebook 於今日宣布開源旗下 Droidlet 機器人開發平台，特點是能夠利用自然語言處理（NLP）和計算機視覺（CV）技術來感知周圍世界。其宣稱能夠簡化機器學習算法在機器人項目中的集成，並促進快速的軟件原型設計。儘管當前機器人已能夠通過編程來執行舞蹈等特定應用，但還是缺乏可在更深層次上處理信息的能力。
Droidlet 項目 – GitHub 傳送門
當然，Droidlet 並不是所有問題的萬能解決方案，而是一種測試不同 NLP 和 CV 處理模型的方法。
其允許開發者構建能夠在現實世界中、或《我的世界》和 Facebook 的 Habitat 等模擬環境里完成相關任務的系統。開發者可按需更換組件，來支持可在不同機器人上使用的相同系統。
此外 Droidlet 平台提供了一個儀錶板，方便開發者添加調試與可視化小部件和相關工具，以及一個用於糾錯和註釋的界面。
除了用於測試針對機器人設置進行微調的視覺模型的環境之外，Droidlet 還附帶了用於將機器學習模型連接到機器人的封包器。
Droidlet 有一系列組件構成，其中某些為啟髮式的、另一些則是學習向的，開發者可在方便時調用靜態數據、然後適當調用動態數據開展訓練。其設計由以下幾個模塊到模塊的接口組成：
● 一個存儲系統，用於跨各種模塊的信息存儲。
● 一組能夠處理來自外界信息、並將之存儲與內存中的感知模塊。
● 可讓機器人適應環境變化的一組較低級別的任務支持，比如‘向前移動三英尺’和‘將物品放在給定坐標處’。
● 一個控制器，可決定執行哪些基於存儲系統狀態的任務。
Facebook 指出，這些模塊中的每一個，都可進一步分解為可訓練或啟髮式的組件，且相關模塊與儀錶板支持在 Droidlet 之外的生態系統中使用。
對於研究人員和愛好者，Droidlet 還提供了對“內置電池”系統的支持，可通過預訓練的物體檢測和姿態預估模型來感知環境，並將觀察結果存儲在機器人的內存中。
通過這種表示，系統可響應諸如“前往紅椅子處”之類的語音命令，利用預訓練的神經語義解析器，將自然語言轉換為可由機器人執行的程序。