我們中的許多人在偶然發現一堆由水、鹽和麵粉組成的熒光、橡膠混合物時，都會感到一種來自內心深處的喜悅，這種混合物名叫橡皮泥(即使這種情況在成年後很少發生）。雖然捏橡皮泥對兩歲的孩子來說很有趣，也很容易，但這種沒有形狀的淤泥對機器人來說卻相當難處理。對於剛性物體，機器已經變得越來越可靠，但操縱柔軟的、可變形的物體卻有一長串的技術挑戰。
困難的關鍵之一是，與大多數柔性結構一樣，如果機器人的手改動一個部分的形狀就可能會影響到其他一切。
最近，來自麻省理工學院計算機科學與人工智能實驗室（CSAIL）和斯坦福大學的科學家們讓機器人參與到建模化合物的遊戲中，但不是為了懷舊。他們名為”RoboCraft”的新系統直接從視覺輸入中學習，讓一個擁有雙指抓手的機器人看到、模擬和塑造麵糰物體。它可以可靠地規劃機器人的行為，捏住和釋放橡皮泥，製作各種字母，包括它從未見過的字母。事實上，只用了10分鐘的數據，這個雙指抓手就能與遠程操作機器的人類同行相媲美–在測試任務中表現相當，有時甚至更好。
CSAIL博士生和一篇關於RoboCraft的新論文的作者李雲珠說：”建模和操縱具有高自由度的物體是機器人學習如何實現複雜的工業和家庭互動任務的基本能力，如包餃子、卷壽司和製作陶器。雖然最近在操縱衣服和繩索方面取得了進展，但我們發現具有高可塑性的物體，如麵糰或橡皮泥–儘管在這些家庭和工業環境中無處不在–在很大程度上是一個未被探索的領域。有了RoboCraft，我們直接從高維感官數據中學習動力學模型，這為我們進行有效的規劃提供了一個有希望的數據驅動途徑。”
在處理未定義的光滑材料時，在進行任何形式的高效和有效的建模和規劃之前，必須考慮到整個結構。RoboCraft使用圖形神經網絡作為動力學模型，並將圖像轉化為微小顆粒的圖形與算法一起提供關於材料形狀變化的更精確預測。
RoboCraft只是採用了視覺數據，而不是複雜的物理模擬器，研究人員經常使用這些模擬器來模擬和理解作用於物體的動力學和力。在該系統中，有三個組成部分共同作用，將軟性材料形成，比如說，一個”R”字。
感知–該系統的第一部分–是關於學習”看”。它採用攝像機從環境中收集原始的視覺傳感器數據，然後將其轉化為小的粒子云來表示形狀。這種粒子數據被一個基於圖形的神經網絡用來學習”模擬”物體的動態，或它如何移動。有了來自多次捏的訓練數據，算法就能幫助規劃機器人的行為，這樣它就能學會”塑造”一團麵糰。儘管這些字母看着還是有點馬虎，但它們無疑已經具有代表性。
除了創造各種形狀，該研究小組（實際上）正在研究用麵糰和準備好的餡料製作餃子。目前，只用一個兩指的抓手就能做到這一點，要求很高。擀麵杖、印章和模具將是機器人工藝所需的額外工具（就像麵包師需要各種工具來有效工作一樣）。
科學家們進一步設想的未來領域是使用RoboCraft協助完成家庭任務和家務，這可能對老年人或行動不便的人有特別幫助。為了實現這一目標，考慮到可能發生的許多障礙，需要對麵糰或物品進行更多的適應性表示，以及探索哪一類模型可能適合於捕捉基礎結構系統。
“RoboCraft本質上證明了這種預測模型可以以非常有效的數據方式學習，以規劃運動。從長遠來看，我們正在考慮使用各種工具來操縱材料，”李說。”如果你考慮包餃子或做麵糰，僅僅一個抓手是無法解決的。幫助模型理解並完成更長遠的規劃任務，例如，在當前工具、運動和行動的情況下，麵糰將如何變形，是未來工作的下一步。”