谷歌詳細介紹Project Starline 3D視頻聊天室背後的技術

在一份新的研究報告中,谷歌詳細介紹了今年I/O大會上令人印象深刻的Project Starline演示的背後技術。Project Starline本質上是一個3D視頻聊天室,旨在提供真人面對面體驗來取代一對一的2D視頻電話會議。

Google這篇研究論文強調了欺騙用戶大腦,使其認為有一個真正的人坐在離用戶幾英尺遠的地方,這其中有不少挑戰。顯然,圖像需要高分辨率,沒有干擾性的偽影,但它也需要從用戶的相對位置看起來正確。音頻是另一個挑戰,因為系統需要讓用戶聽起來像是從面對面真人嘴裡說出的話。然後還有一個小問題,那就是眼睛的接觸。

谷歌詳細介紹Project Starline 3D視頻聊天室背後的技術

但是,Project Starline希望最終可以提供類似於虛擬或增強現實的存在感,而用戶不需要佩戴笨重的頭盔或追蹤器。該報告詳細說明了究竟需要多少硬件才能開始解決這些問題。該報告顯示,該系統是圍繞着一個大型的65英寸8K面板建立,該面板以60Hz運行。圍繞着它,Google的工程師們安排了三個”捕獲艙”,能夠捕獲彩色圖像和深度數據。該系統還包括四個額外的跟蹤攝像機,四個麥克風,兩個揚聲器和紅外投影儀。總的來說,從四個視點採集彩色圖像,以及三個深度圖,總共有七個視頻流。音頻採集頻率為44.1kHz,編碼速度為256Kbps。

谷歌詳細介紹Project Starline 3D視頻聊天室背後的技術

顯然,所有這些硬件都會產生大量需要傳輸的數據,Google表示,傳輸帶寬從30Mbps到100Mbps不等,取決於用戶衣服的紋理細節和他們手勢的大小。因此,它需要的帶寬明顯高於標準的Zoom電話,但是低於大都市地區典型辦公室提供的帶寬。Project Starline配備了四塊高端NVIDIA顯卡(兩塊Quadro RTX 6000卡和兩塊Titan RTX)來編碼和解碼所有這些數據。據報道,端到端的延遲平均為105.8毫秒。

根據Google的說法,在Google三個辦公室地點安裝了Starline系統,使用該系統的員工認為,在創造存在感、個人聯繫以及幫助提高注意力和反應力時,它勝過傳統的視頻會議。該公司說,在9個月里,117名與會者共舉行了308次會議,平均會議時間略高於35分鐘。這一切聽起來很有希望,但迄今為止,還沒有跡象表明該系統何時甚至是否會被商業化。目前,Google表示它正在在美國各地更多的Google辦公室當中擴大Starline項目的可用性。

(0)
上一篇 2021-12-02 20:47
下一篇 2021-12-02 20:48

相关推荐