瞄一瞄你的下巴，就知道你有沒有在難過。這個溫馨的場景對應的不是窩在懷裡的小貓咪，而是……Neck Face，一款用於監控情緒的智能工具。它被設計成項鏈及頸帶樣式，AI只需要看到使用者的下巴，就可以獲取面部表情數據。
這款設備的面部識別原理，不僅打破了必須在正面放置攝像頭的局限，而且還能做到在運動過程中持續捕捉表情信息。
智能項鏈Neck Face
項鏈式儀器包含一組Neck Face，由紅外攝像頭OV5647、近紅外LED和紅外帶通濾波器組成，佩戴時位於下巴正下方；頸帶式儀器包含兩組，佩戴時分別位於兩側鎖骨位置。
攝像頭位置這麼靠下，能看到我們的表情嗎？
如此低的機位，自然看不到完整的面部表情，只能獲得包含下巴部分下半張臉的輪廓圖像。
AI通過對這部分圖像的信息提取，以算法推測出完整面部表情。
當我們做面部表情時，面部肌肉會拉伸和收縮，推拉皮膚影響附近面部肌肉的張力，這種效果會導致臉頰輪廓發生變化。
Neck Face從頸部和下巴下方角度，用紅外相機記錄面部肌肉運動，以及所引起的面部輪廓變化。
獲得臉部輪廓紅外圖像后，通過卷積神經網絡幫助將二維圖像輪廓重構為完整信息，並利用計算機視覺和深度學習模型，找到頸部和下巴紅外圖像與完整面部的聯繫。
結合ARKit，從深度相機中提取了52個混合形狀參數(blend-shape)，以及頭部偏轉角度數據，重構出完整的表情。
經過這樣的處理過程，能夠從下巴角度圖像獲得完整面部表情。並且可以在佩戴過程中，連續記錄表情變化。
為驗證這款設備監測結果準不準確，研究人員使用了蘋果手機深度相機作對比分析。
測試者被要求在靜坐和行走過程做出八種不同的表情，並且包含了上下左右四個方向轉動頭部的過程。
對比各種情況下手機和可穿戴儀器表情識別的差異，計算所得出的混合形狀參數（分值0-1000）平均絕對誤差。
通過對測試結果總結分析，可穿戴錶情監測儀器誤差在20-35之間。且可識別頭部轉動角度，角度誤差在2-4.5度。
△左側為手機攝像頭識別處理的結果，右側為NeckFace面部重建的結果。
兩種設計相比，頸帶式設備性能優於項鏈式，原因可能在於兩側攝像頭能夠捕獲更多信息。
應用優勢
現代人對自身健康越來越重視，不僅是身體機能的健康，心理健康也逐漸得到了更多關注。
以科學的方法對情緒進行監控，可以更好地掌握自身狀況，及時做出調整或治療，避免影響到身體機能。
記錄情緒及心理狀態建立起數據庫，還可以方便個體追蹤自身行為，有利於就醫等社會活動。
提到大數據，一定會有人擔心隱私泄漏的問題，由於Neck Face都是從頭部下方對面部表情進行檢測，而僅僅通過下半張臉無法識別到用戶全部面部信息。
另外，Neck Face是紅外成像，對環境不作識別，可以很好地隱藏環境信息。
對Neck Face的測試過程中也提到了，設備可以在行走中保持工作，這就大大解放了遠程辦公或視頻會議時對使用者的局限，可以更自由地參與線上討論。
研究團隊
本研究主要由北京大學學生陳拓潮，麥吉爾大學學生Yaxuan Li完成，參與單位還有康奈爾大學SciFi實驗室，康奈爾信息科學學院研究人員等。
康奈爾大學計算機與信息科學學院Cheng Zhang教授研發出可穿戴傳感器C-Face。在此基礎上，陳拓潮等人做出改進，開發出這款更方便穿戴，性能更好的Neck Face。
△左側為使用者佩戴C-Face，右側為3D模型反饋的面部表情。
參考文獻
https://dl.acm.org/doi/10.1145/3463511
參考鏈接
https://news.cornell.edu/stories/2021/08/smart-necklace-could-track-your-detailed-facial-expressions?fbclid=IwAR1RXF6iBQ3SkQn3cJUjFkGYEJktitIeHnT2B6x1aT7nW4bfP3heUqMuOlo