滑鐵盧大學的研究團隊正開發一種新的觀看方式，以在 Twitch 和 YouTube 等平台上提供不同的觀看體驗。該技術將 2D 直播視頻轉換為 3D 互動體驗，觀眾可以從任何角度觀看動作。
許多多人射擊遊戲都有一個觀眾模式，允許用戶從不同角度觀看正在發生的事情。這是觀察其他玩家使用什麼策略的絕佳方式，或者享受看一個傑出的玩家摧毀競爭對手的樂趣。然而，要做到這一點，你必須在遊戲中。
滑鐵盧大學 Cheriton 計算機科學學院的 Jeremy Hartmann 和 Daniel Vogel 在 4 月底發表了他們的研究。這篇題為“通過為觀眾重建交互式3D遊戲視圖來增強視頻遊戲直播”的論文解釋了一種實現與觀眾模式類似效果的方法，但無需安裝遊戲。
![[圖]科學家研發新技術：將遊戲2D直播轉換為3D互動體驗](https://dailyclipper.s3.ap-northeast-1.amazonaws.com/wp-content/uploads/2022/05/20220510_6279baa9509d9.webp)
該技術採用了2D視頻流，並加入了遊戲的深度緩衝區、攝像機姿勢和投影矩陣，以創建一個3D互動環境，觀眾可以在流媒體人玩遊戲的時候探索這個環境。觀眾可以在3D和VR中自由移動他們的攝像機。
起初，它看起來只是屏幕上的動作疊加在灰色背景上的一個奇怪角度。然而，隨着玩家的移動和環顧四周，簡單的無紋理模型將開始形成，因為系統實時構建了環境。
這與遊戲中的旁觀者模式不同。如前所述，除了玩家的視角之外，所有的東西都是沒有紋理的。另外，流媒體視角之外的任何東西都是無圖的。例如，在上面的視頻中，你可以看到玩家的模型是如何被完全渲染的，但在環境中滑動，就像在車輪上一樣。
紋理和動畫的缺乏確實在一定程度上減弱了觀看體驗，但請記住，這種以3D方式渲染視頻遊戲直播流的方法還處於起步階段。Hartmann和Vogel所描述的技術和機器學習的進步可能會帶來更好、更愉快的互動直播體驗，使觀眾直接進入遊戲。