要訓練機器人瀏覽房屋，你要麼需要在大量的真實房屋中給它大量的真實時間，要麼在大量的虛擬房屋中給它大量的虛擬時間。後者肯定是更好的選擇，而Facebook和Matterport正在合作，為研究人員和AI提供數以千計以真實空間為基礎的虛擬空間。
在Facebook方面，巨大的進步分為兩部分：新的Habitat 2.0訓練環境和為實現它而創建的數據集。Facebook組裝了許多相當逼真的虛擬環境供它們瀏覽。許多機器人和人工智能已經學會了在理想化、不現實的空間中移動和識別物體，這些空間更像遊戲而不是現實。現實世界的客廳與重建的客廳是非常不同的東西。通過學習在現實東西中移動，人工智能學習的知識將更容易轉移到現實世界的應用中，如家庭機器人技術等。
但最終這些環境只是多邊形的，互動性極低，沒有真正的物理模擬。如果機器人撞到了桌子，它不會摔倒，不會把物品灑得到處都是。機器人可以去廚房，但它不能打開冰箱或從水槽中拿出東西。Habitat 2.0和新的ReplicaCAD數據集改變了這種情況，增加了互動性和三維物體，而不是簡單地解釋三維表面。
現在在這些新的公寓規模虛擬環境中，模擬機器人可以像以前一樣滾來滾去，但當他們到達一個物體時，他們實際上可以對它做一些事情。例如，如果一個機器人的任務是從餐桌上拿起一個叉子，然後把它放在水槽里，幾年前，拿起和放下叉子只是假設，因為無法真正有效地模擬。在新的Habitat系統中，叉子是物理模擬的，可以被AI放在桌子和或者丟入水槽，這使計算上更加密集，也更加有用。
Facebook Habitat 2.0最接近的競爭對手可能是AI2的ManipulaTHOR，它將房間規模的環境與物理對象模擬結合起來。Habitat的優勢在於速度，根據描述它的論文，模擬器的運行速度大約為ManipulaTHOR的50-100倍，這意味着AI在每秒鐘計算中可完成更多的訓練。
Matterport在與Facebook的合作中也有一些大動作。在過去幾年中進行了巨大的平台擴張之後，該公司已經收集了大量的建築掃描數據。