蘋果希望使真實物體和蘋果AR物體之間的連接無縫化，這樣當用戶點擊一個特定的虛擬控件時，系統每次都能正確地進行操作。許多蘋果AR專利和專利申請都與呈現給用戶的東西以及它們可以做什麼有關。因此，在一些例子中，蘋果希望使現實世界中任何物體任何錶面都能進行觸摸控制。
不過，所有這些都需要準確性。當用戶看到一個虛擬物體並認為他們已經拿起了它，蘋果AR必須知道這一點。它必須確切地知道這一點，這樣它才能在新的位置上為虛擬物體製作動畫。“基於肢體追蹤信息和眼球追蹤信息的用戶控制空間選擇器定位“，是一項新披露的蘋果專利申請，它提出使用兩種不同的方法來精確定位用戶的觸摸位置。
蘋果在專利當中表示，目前ＡＲ應用沒有提供一種機制，來準確地確定虛擬物體和用戶控制器之間虛擬接觸的空間位置，目前的應用程序也沒有提供一種機制來準確地確定虛擬接觸發生的時間。一些系統利用肢體跟蹤來估計用戶的肢體相對於虛擬物體的位置，然而，由四肢跟蹤提供的估計是不準確的，因此關於用戶是否在選擇虛擬物體的評估也同樣是不準確的。
目前四肢追蹤可以通過手套內的加速度傳感器來完成，但即使如此，它仍然是近似的。蘋果希望採用一種四肢追蹤器，但也要用眼球追蹤來補充。蘋果在其 “蘋果眼鏡”的專利中廣泛使用了眼球追蹤，而這項專利申請並沒有詳細說明它的工作原理。相反，它顯示了眼球和凝視跟蹤如何協助對用戶的手或手指的位置進行精確的空間計算。
蘋果認為你伸手拿起一個虛擬的杯子，或者你想按下一個虛擬的按鈕，你很肯定是在看它。這不一定是事實，但在絕大多數情況下，當你的手指走向某個東西時，你的眼睛就在看這個東西。根據這一思路，幾乎所有的表面都可以被製成顯示任何控制裝置。但是顯示虛擬控制是一回事，確定用戶是否觸摸了它是另一回事。因此，蘋果公司建議使用肢體追蹤，但在確定一個物體和一個用戶彼此之間的關係時，使用兩個系統。它利用了四肢追蹤功能和眼球追蹤功能的加權組合。
蘋果AR不是簡單地加入眼球追蹤信息來使系統更準確，而是確實要對信息的組合進行加權，因此不太可能出現四肢追蹤比與眼球追蹤結合時更準確的情況，比如當眼球追蹤數據顯示用戶正在看周邊的時候，電子設備會放棄四肢追蹤信息，這可能表明用戶在那個時間點很可能不想選擇一個虛擬物品。
