ClearBuds團隊介紹基於實時機器學習的通話音頻增強技術

對於習慣了佩戴支持主動式降噪(ANC)耳機的用戶們來說,你會發現市售產品的解決方案仍有一定的改進空間 —— 麥克風會拾取諸多音頻,而不是你想要集中注意力的那部分。好消息是,來自華盛頓大學的一支研究團隊,剛剛介紹了一款名叫 ClearBuds 的真無線耳機,特點是能夠利用實時機器學習來增強語言體驗。

2.jpg

(來自:University of Washington)

ClearBuds 是華盛頓大學三名研究人員(COVID 大流行期間的室友們)的一個項目成果。

作為一個開源項目,ClearBuds 旨在通過引入深度學習和音頻處理層,來化解這方面的問題。

1 – ClearBuds vs Airpods Pro Noise Suppression(via)

可知其系統中包含了一套麥克風系統、以及能夠在智能手機上運行的實時機器學習系統。

儘管大多數耳機僅使用了其中一個耳塞將音頻發送到手機,但 ClearBuds 系統卻能夠發送兩路音頻流。

3.png

通過快速分析和處理,其相關信息能夠被用於視頻 / 電話呼叫等實時音頻的體驗改進。算法會抑制非語音信息,以增強用戶通話時的聲音。

Paul G. Allen 計算機科學與工程學院博士生 Maruchi Kim 表示,ClearBuds 有兩個關鍵特性。

2 – ClearBuds System Overview(via)

首先,這款真無線耳機使用了雙麥克風陣列,用於創建兩個同步音頻流,提供信息並允許我們在更高解析力的空間上分離來自不同方向的聲音。

其次,通過引入輕量級的神經網絡,ClearBuds 得以進一步增強通話者的聲音。研究合著者 Ishan Chatterjee 補充道:

1.webp

由於講述者的聲音離兩個耳機很近、且距離大致相等,因而神經網絡訓練可專註於其語音並消除其它背景噪聲。

這種方法與人耳的工作方式非常相似,即利用聲音傳入左右耳的時間差,來判斷聲音到底來自哪個方向。

3 – ClearBuds Background Voice Removal(via)

展望未來,我們希望該研究團隊能夠很快將 ClearBuds 或其實時機器學習音頻增強技術推向市場。感興趣的朋友,可移步至該項目的專題頁面來獲知詳情。

(0)
上一篇 2022-07-12 11:52
下一篇 2022-07-12 11:52

相关推荐