OPPO首個自研芯片NPU 藏着的計算攝影秘密

今天的第三屆OPPO未來科技大會（OPPO INNO DAY 2021）上，OPPO芯片產品高級總監姜波揭秘了其歷時近兩年研發的首個自研芯片馬里亞納 MariSilicon X。馬里亞納 MariSilicon X是一個影像專用NPU（神經網絡處理器），採用台積電6nm工藝，AI算力高達18TOPS，比蘋果最新的A15 15.8TOPS的AI性能還高，同時，MariSilicon X能效比達到了11.6TOPS/W。

OPPO芯片產品高級總監姜波在發布會上展示馬里亞納 MariSilicon X芯片

作為一家手機終端公司，OPPO竟然在首個自研芯片上就挑戰業內頂尖的6nm工藝，並且NPU的性能和能效比也達到了業界領先水平，這不禁讓人好奇，OPPO自研芯片的決心從何而來？

從最直觀的產品的層面看，馬里亞納 MariSilicon X將搭載在OPPO明年第一季度發布的Find系列旗艦手機上，會為消費者帶來突破性的視頻拍攝功能。

馬里亞納 MariSilicon X影像專用NPU

從技術層面細細解讀，將會發現馬里亞納 MariSilicon X背後，藏着OPPO的計算攝影秘密，以及這家志在探索未來的企業對新十年技術發展趨勢的判斷。

為什麼是影像專用NPU？

當市場的競爭更加激烈，智能手機的創新越來越難之時，全球手機出貨量前五的手機廠商們都希望通過自研芯片，用更好的軟硬協同，實現差異化的功能和體驗，獲得消費者的青睞。

差異化競爭的焦點，是消費者最容易感知的影像功能。自2018年開始，手機行業對於AI影像功能的關注只增不減。2020騰訊手機行業洞察白皮書指出，消費者對攝像頭、電池的關注度顯著提升，其中攝像頭的關注度增長率僅次於操作系統。

手機影像系統是一個很長的鏈條，包括前端傳感器、鏡頭、馬達，承載圖像處理的ISP芯片，以及後端標定和調優等過程。手機巨頭們在整個影像系統上都爭相布局，比如，OPPO過去十年，在定製圖像傳感器、攝像頭模組、鏡頭方面有大量積累，還基於通用SoC平台積累了許多AI算法。

“手機業界已經發現在AI算力的支持下，AI算法已經超越傳統ISP算法的效果。因此，目前主流的趨勢是用AI算法替代傳統算法。”擁有十多年圖像處理領域豐富經驗的愛芯元智ISP負責人、系統架構師張興對雷峰網說，“手機廠商已經在拍照中享受到了AI算法帶來的好處，包括超級夜景、AI美顏等功能，從趨勢來看未來幾年，AI拍照最火的幾個功能會從拍照推向視頻。這就需要一顆高效的芯片，將AI算法和傳統ISP進行更好結合。”

將算力、AI與拍照和攝影融合，都代表着手機行業一個重要的趨勢——計算攝影。所謂的計算攝影，是利用數字計算而非傳統的光學處理的圖像。比如超級夜景功能，利用高算力以及AI降噪算法等，將拍攝的多張照片合成為同一張，輸出一張明亮清晰的照片。

從谷歌、蘋果，到OPPO，整個手機業界的領導者都在通過計算攝影不斷突破手機攝影能力的上限。

不過，通用SoC並不能完全滿足計算攝影的需求。OPPO芯片產品高級總監姜波指出，“我們的AI降噪算法在Find X3 Pro的芯片平台上，在功耗接近1.7瓦的時候，最多可以處理2幀圖像，這意味着AI降噪只能應用到暗光拍照，沒辦法在最低要求是30fps的視頻中應用。”

安謀科技高級產品經理柴衛華也說，“隨着短視頻的需求發展，手機也越來越重視視頻拍攝的性能。要實時處理4K甚至8K視頻的海量數據，呈現完美的影像效果，處理器性能、算法優異、存儲帶寬和與系統延遲都是挑戰。”

通用SoC限制AI算法性能的同時，也限制了定製傳感器和鏡頭性能的發揮。

原因主要有兩方面，一方面，定製傳感器的周期較短，但通用SoC的更新以年為周期，兩者在時間上難以匹配。另一方面，採用定製傳感器，整個圖像處理鏈路需要進行優化增強，但定製傳感器和通用SoC很難實現緊密耦合，也就難以發揮最大效益。

已經擁有定製傳感器和AI算法積累的OPPO，想要進一步提升影像性能，在計算攝影將佔主導地位的競爭中，自然需要一顆影像專用NPU幫助其實現影像鏈路的垂直整合，進一步實現突破。

“垂直整合最難的就是最開始對用戶需求的判斷，如果判斷失誤，會影響後續芯片設計以及所有的配合設計工作。”姜波說：“得益於OPPO在移動智能設備多年的經驗，我們清楚知道消費者的真實需求。”

馬里亞納 MariSilicon X補足了OPPO在影像計算單元上的最後短板——缺乏可控的影像專用處理器。

之所以定位於影像專用，沒有加入包括顯示在內的更多功能，姜波說：“這是我們的首款自研芯片，要集中在價值最大的功能點上。”

計算攝影如何突破手機攝影極限？

芯片的定位明確之後，具體參數定義也極為關鍵。這其中有兩大關鍵挑戰，一個自研芯片能夠帶來的性能和體驗提升，一定要優於通用SoC；另一個是手機整機的功耗控制。

要解決這兩大挑戰，就不得不自研這個NPU上的幾大核心IP。姜波透露，“剛開始，我們也評估了一些可以購買的第三方IP，但最終發現沒有一個NPU可以與OPPO的場景算法結合，達到最優能耗功率，因此選擇了從頭開始自研NPU。”

張興也持同樣的觀點，“要充分發揮NPU算力與ISP結合的價值，需要在設計的最初就將兩個IP結合起來設計。如果是買來的IP，兩者結合實現好的功能難度很大，即便實現，也會有大量的功耗和芯片面積的浪費。”

因此，馬里亞納 MariSilicon X中的兩大關鍵IP，MariNeuro AI計算單元和MariLumi影像處理單元均是OPPO自研，分別負責提供高AI算力和更好的影像處理性能，也是計算攝影的關鍵。

AI算力部分，馬里亞納 MariSilicon X的int8性能高達18 TOPS。之所以要定義一款在終端如此高性能的NPU，原因就是前面提到的馬里亞納 MariSilicon X要有足夠的性能帶來比通用SoC更好的性能和體驗，特別是將AI融入視頻拍攝中。

“在視頻應用領域，效果稍微好的AI降噪算法，實時處理[email protected]視頻就需要10TOPS以上的算力，目前這種應用方案還比較少。”億智電子創始人兼CEO陳峰指出。

如果沒有能耗約束，實現高AI性能並不難，但手機處理器的設計，難點在於能耗比。

要實現高能耗比，芯片製程的選擇、架構的設計、性能與功耗的取捨等都非常重要。這也是馬里亞納 MariSilicon X雖然是OPPO的首個自研芯片，但是選擇了台積電先進的6nm工藝的關鍵原因。要知道，設計的芯片工藝越先進，對設計團隊的要求越高。如果第一次就想成功，也需要一些運氣，而OPPO的馬里亞納 MariSilicon X首次流片就成功。

另外，NPU提升能效比還有一個瓶頸——內存牆。在AI芯片發展幾年之後，業界都意識到，NPU數據搬運消耗的能耗遠高於數據處理。為此，馬里亞納 MariSilicon X集成奢侈的雙層存儲，包括萬億比特/秒（Tb/s）級讀寫速度的內存子系統，以及8.5GB/s的獨立DDR帶寬的方式，為AI的高效運算提供充分的內存讀寫支持，在有效減少數據搬運的同時提升能效比。

最終，馬里亞納 MariSilicon X在實現18TOPS高算力的同時，擁有11.6TOPS/W的極致能效比表現，運行OPPO AI降噪模型的速度是達到Find X3 Pro（驍龍888）的20倍，能效達到40倍，在業界屬於領先水平。

芯片行業有這樣一句話，“算力代表一切。”

實現了高算力和極致能效比的兼顧，馬里亞納 X發揮自研MariNeuro和MariLumi聯合設計的獨特優勢，最高支持人眼級別的20bit Ultra HDR，能覆蓋100萬：1的最大亮度範圍，是目前行業主流HDR能力的4倍，比最新發布的旗艦通用SoC支持的18bit HDR更加極致。

傳統來講，HDR是在YUV里合成的，經過RGB和YUV的轉換，會損失大量的圖像信息。

馬里亞納 MariSilicon X幫助OPPO首次完成影像鏈路的垂直整合，就可以重塑轉換鏈路，將處理節點前置在信息量100%的RAW域直接做實時計算，20bit RAW實時計算，能夠帶來畫質的顯著提升。

馬里亞納 MariSilicon X支持20bit HDR，高於最新旗艦SoC的18bit。通用SoC落後於馬里亞納 MariSilicon X的規格，是否會成為限制這款OPPO首個自研芯片發揮性能的瓶頸？姜波對雷峰網(公眾號：雷峰網)解釋，“由於馬里亞納 MariSilicon X是在手機SoC之前處理，我們的NPU處理完HDR、AI降噪等之後就不需要再進行相應處理，不會限制MariSiliconX性能的發揮。”

有了自研芯片，也能讓OPPO充分發揮定製傳感器的性能。馬里亞納 MariSilicon X充分發揮了RGBW的更強能力，通過雙鏈路的設計和2x RAW計算，實現8.6 dB信噪比和1.7倍解析力提升。

“通過自研芯片和定製化傳感器相互的化學反應和相互耦合，我們可以做到最大化發揮定製傳感器的能力。”姜波指出。

對於計算攝影這個涵蓋計算機圖形學、計算機視覺和應用光學等多個學科領域的技術，OPPO的首款自研芯片能夠基於算力，藉助垂直整合，用計算攝影突破手機影像的極限。

自研芯片給OPPO手機帶來的可能性

馬里亞納 MariSilicon X能夠突破的極限，是讓手機能夠在弱光環境，用計算攝影實現4K+20bit RAW+AI+Ultra HDR夜景視頻的新極限。

姜波解釋，“之所以把視頻拍攝限在4K30幀，也是出於功耗的考量。視頻的實時處理特性，難度遠大於照片的先拍后算。視頻基礎的要求是30幀/秒，意味着每一幀的處理要有大概33毫秒，要實現視頻AI功能，必須在33毫秒內處理完成，性能和功耗的約束是關鍵。”

同時，手機系統層級，功耗的控制也非常重要。

“我們現在把整個影像鏈路中，最耗功耗的HDR、AI降噪等算法都在馬里亞納MariSilicon X上處理，SoC不需要再進行處理，所以是節省功耗的。”姜波解釋，“OPPO有一個功耗及格線，不能增加整體功耗，這是基本原則思路。”

OPPO展示了一段暗光視頻拍攝的視頻，可以明顯看到，搭載馬里亞納 MariSilicon X的測試平台在暗光環境中視頻的細節更多，畫面解析力更高。

未來，OPPO的自研芯片還能實現更多視頻拍攝的AI功能。這是因為，馬里亞納MariSilicon X設計之初就將AI和圖像處理進行了很好融合，相比傳統的ISP有更高靈活性，還有更高性能，用計算攝影突破手機影像功能的極限，而無損計算也是計算影像的必然趨勢。

另外，從OPPO自研芯片的命名馬里亞納來看，OPPO還會在自研芯片的道路上不斷探索，馬里亞納 MariSilicon X只是OPPO自研芯片的開始，未來OPPO還可能推出更多自研芯片，給終端用戶帶來更多驚喜。

寫在最後

OPPO自研芯片並不讓人意外，讓人有些意外的是，OPPO首款自研芯片就採用了台積電6nm工藝，首次流片就成功，定位影像專用的馬里亞納 X NPU在性能上兼顧了高性能和高能效。

當然，這是OPPO作為手機終端公司，在充分理解消費者需求，以及基於已有技術積累，對行業趨勢判斷，自研芯片的優勢。

對於OPPO而言，雖然自研芯片一定會帶來成本的增加，但OPPO更關注的是提升消費者體驗，以及用計算攝影不斷突破極限。對於消費者來說，在馬里亞納 MariSilicon X加持下，能夠實現暗光視頻拍攝突破的OPPO Find新旗艦，將會是一個非常值得關注產品。對於手機業界來說，OPPO硬實力的增加或許也會給行業的競爭帶來更多壓力，跟上無損計算攝影的趨勢，也變得更加重要。