Facebook發布Ego4D項目成果:提供超3000小時的日常生活活動視頻

據外媒報道,Facebook人工智能部門發布了關於其“Ego4D”項目的一些成果。這項研究與“9個國家的13所大學和實驗室組成的聯盟”合作,共同收集了 “2200個小時的戶外第一人稱視角視頻,其中有700多名參與者正在進行他們的日常生活”。

facebook-ego3d-1280x720.jpg

在這項研究中,與Facebook AI合作的研究人員的目的是開發“從這個角度理解世界”*的人工智能,以便他們能夠“開啟一個沉浸式體驗的新時代”。他們正在具體研究增強現實(AR)眼鏡和虛擬現實(VR)頭顯將如何“在日常生活中變得像智能手機一樣有用”。

*研究人員在這裡指的是第一人稱視角。他們用第一人稱視角拍攝的視頻來工作,而不是通過視頻和照片來訓練人工智能的正常視角:第三人稱視角。

研究人員為這個項目列出了五個”基準挑戰”,有效地展示了他們正在追蹤的內容。要清楚的是:Facebook並沒有通過真實的現場設備來追蹤這個項目的數據–現在還沒有。這些都是通過Facebook AI為這個項目獲得的第一人稱視角視頻進行追蹤。

  • – 事件記憶:什麼時候發生了什麼?

  • – 預測:我接下來可能會做什麼?

  • – 手和物體的操作:我在做什麼?

  • – 視聽日記:誰在什麼時候說了什麼?

  • – 社會互動:誰在與誰互動?

根據Facebook AI的說法,他們對這一主題的研究與一個數據集合作,該數據集”就錄像的小時數而言”比其他任何數據集都要大20倍。正是通過Facebook AI的Ego4D項目公告,這一信息才得以公開。

有關這個項目的研究論文《Ego4D: Around the World in 3,000 Hours of Egocentric Video》已在arXiv發表。

(0)
上一篇 2021-10-15 10:02
下一篇 2021-10-15 10:02

相关推荐