當你可以實時編輯你所看到的東西時 為什麼要看現實?

增強現實技術的採用正在緩慢但穩步地進行,而且很容易看到該技術的一個可能的未來:讓你實時編輯你所看到的東西的硬件,用虛擬覆蓋物取代你周圍的物體。更準確地說,這叫混合現實。保時捷的人工智能團隊最近的研究顯示了這可能的運作方式。該團隊建立了一個被稱為TransforMR的人工智能系統,該系統可以檢測汽車和人等物體,將其移除,然後實時用CGI替代物取代它們。

最終的結果很難說是完美的(CGI模型看起來像是從3D Movie Maker中借來的),但這個概念是引人注目的。不難想象,在未來的幾十年裡,這樣的應用會變得很普遍。

這項工作背後的團隊表示,儘管他們工作中的個別元素之前已經完成,但複合系統還是非常新穎的。TansforMR可以在普通的智能手機和平板電腦上運行,但需要一個4G連接來將數據發送到雲端。圖像經過處理后,物體不只是被掩蓋,就像Snapchat的AR鏡頭或蘋果的Memoji一樣,而是完全被編輯掉。物體被檢測、分割,然後被”塗抹”(用人工智能生成的背景取代),並以CGI模型代替原始模型。顯然這一系統有很多地方需要改進。在低質量的繪畫中,幀率只有15fps;滯后時間為50至100毫秒;CGI替換的質量也不是最好的。但是,該系統背後的團隊說,這些方面相對容易改進。

保時捷的機器學習研究員穆罕默德-卡里(Mohamed Kari)表示,主要的限制來自於大型圖像的計算量非常大,所以對於繪畫,目前只能用非常小的圖像來做,在512 x 512的圖像上操作。但帶寬[使用]是可以忽略不計的。這意味着如果能做FaceTime,你就能做TransforMR。

Screen_Shot_2021_10_13_at_10.08.18_AM.webp

Kari說,該系統的關鍵要素之一是它對姿勢檢測的使用。這意味着,例如,當系統檢測到一個人時,它會識別出身體的18個獨立關節。這意味着CGI替換可以實時固定在目標的運動上。看看TransforMR的操作片段,不難想象這種軟件被整合到AR眼鏡中。用戶可以為他們的一天選擇一個”主題”,用科幻的替代品或來自大自然的物品來取代汽車、建築和人。但是,這將涉及一個巨大的硬件挑戰。目前的增強現實眼鏡只能在鏡片上投射出低分辨率、半透明的覆蓋物。現在,我們還沒有技術來”編輯”用戶在這種硬件上看到的東西。(儘管這可以通過”穿透式”VR系統來實現,在該系統中,第一人稱攝像機將實時視頻傳輸到完全遮擋住佩戴者視線的屏幕上。)

“我們在屏幕上重現完整的圖像,所以我們可以刪除任何我們想刪除的東西,但對於增強現實眼鏡來說,刪除物體是困難的,因為它增加了光強度,以Hololens為例,你是透過玻璃看的,所以去除東西更困難。這個問題有待於研究。”

但為什麼保時捷首先要調查這種技術呢?據該公司的人工智能架構師之一Tobias Grosse-Puppendahl說,這一切都是為了改善乘客和司機的體驗。未來版本的TransforMR軟件可以用來在人們被困在交通中時為他們提供娛樂。”我們的主要問題是,我們如何能夠以一種有趣和娛樂的方式來修改現實,以便作出反應?這就是我們想法的起源”。

保時捷的其他研究項目也遵循類似的主題。例如,該公司還建立了一個名為SoundRide的原型系統,它使用汽車的機器視覺來檢測風景的變化並提示適當的音樂。”也許,例如,你正開車穿過阿爾卑斯山,行駛在一條美麗的路線上,突然你有一個美妙的景色,也許音樂就會改變,我們正在思考如何通過技術使車內的體驗更加有趣和美麗”。而這意味着對人們本來會看到和聽到的東西進行修補。”

(0)
上一篇 2021-10-13 20:49
下一篇 2021-10-13 20:51

相关推荐