卡內基梅隆大學的研究團隊近日演示了一種全新的光學麥克風系統，使用攝像頭來查看和重建聲波振動，從而在交響樂中清晰地區分單個樂器的演奏。這種聲音區分即使對於高端音頻麥克風來說也是極其困難的，而團隊只使用了兩台攝像頭和一個激光就可以實現。
該系統的技術理論依據是聲音只不過是一系列穿過空氣的壓力波。任何能發出聲音的東西都只是通過振動來產生這些壓力波。光學麥克風基本上是一個攝像系統，旨在監測和解釋聲源表面的振動——甚至是放置在聲源附近的物體，它們會隨着周圍空氣中的聲波而振動。
卡內基梅隆大學團隊的系統將激光照射在振動表面上，產生精確的散斑圖案，隨着聲源的振動而扭曲。兩台攝像機以每秒 63 幀的速度記錄散斑圖案的變化，並使用軟件算法分析兩個攝像機鏡頭中的散斑圖案變化，並重建音頻信號。
63 fps 的幀速率在這裡可能看起來有悖常理；人類的聽覺可以區分以每秒 20 到 20,000 個周期左右振蕩的音調（也就是分貝），因此忽略此處的所有其他挑戰，輸入數據的 63-fps 限制似乎對該設備可以發出的聲音設置了 63-Hz 的上限。
事實上，由於對所涉及的攝像頭的一些非常巧妙的使用，這款光學麥克風可以讀取高達 63,000 Hz 的聲音。一台相機使用全局快門，這意味着它在每一幀中同時讀取其整個圖像傳感器。另一台相機使用滾動快門，因此它將傳感器讀取為每幀一千條連續的水平線。因此，滾動快門圖像包含高頻信息，可以將其與全局快門圖像進行比較，以解釋音樂家演奏時吉他的移動和傾斜等問題。
該研究論文的主要作者、卡內基梅隆大學機器人研究所照明與成像實驗室的博士后研究員 Mark Sheinin 說：““我們發明了一種觀察聲音的新方法。這是一種新型的攝像系統，一種新的成像設備，能夠看到肉眼看不見的東西”。
該團隊已經在吉他和小提琴上、揚聲器紙盆、音叉上，甚至是坐在揚聲器前並隨着環境聲音而振動的 Doritos 包上測試了這種光學麥克風。他們還用它來分離兩把吉他演奏二重奏的音頻，以及兩個揚聲器的音頻，每個揚聲器都在播放不同的歌曲。
共同作者、機器人研究所助理教授馬修·奧圖爾（Matthew O’Toole）說：“這個系統突破了計算機視覺所能做的事情的界限。這是一種捕捉高速和微小振動的新機制，並提出了一個新的研究領域”。