康奈爾大學(xué)利用RGB傳感器捕捉面部肌肉進(jìn)行人臉識(shí)別

只用“耳機(jī)”，識(shí)別表情，這是怎么做到的了？

AI讓蒙娜麗莎動(dòng)起來(lái)，甚至模仿我們的表情運(yùn)動(dòng)，伴隨科技的飛躍，都已經(jīng)不再是讓人驚奇的事了。

然而，面部追蹤系統(tǒng)，通常對(duì)攝像頭精度要求很高。

然而，如果攝像頭可以不被使用了呢？

事實(shí)上，康奈爾大學(xué)的科研專家已做到了，過(guò)程無(wú)需任何正對(duì)著用戶的臉的攝像頭，追蹤就完成了，效果也不錯(cuò)。

先看看追蹤效果如何：

攝像頭不必要的話，看看佩戴口罩的效果：

那么拋開攝像頭，面部表情如何追蹤了？

提示：戴在耳朵上的小東西。事實(shí)上，那副耳機(jī)就是主要儀器，用戶的表情可以實(shí)時(shí)輸出。

比用攝像頭的“傳統(tǒng)方法”，該方法的優(yōu)點(diǎn)在于，哪怕有口罩，追蹤用戶的面部表情依然輕松，人們無(wú)需特地取下口罩了。

系統(tǒng)叫做C-Face（Contour-Face）。

康奈爾大學(xué)SciFi實(shí)驗(yàn)室主任、C-Face論文的高級(jí)作者張鋮在聲明中說(shuō)：“該設(shè)備比所有的耳掛式可穿戴技術(shù)都更簡(jiǎn)易、更有新鮮感，有更全的功能?！?/p>

“傳統(tǒng)的為了識(shí)別面部表情的可穿戴技術(shù)中，大部分必須在面部上配置傳感器，傳感器數(shù)量這么大，系統(tǒng)也僅僅識(shí)別一組離散面部表情。”

42個(gè)特征點(diǎn)被抓，C-Face也支持無(wú)聲命令和聊天表情發(fā)送

攝像頭并非完全沒(méi)被在此項(xiàng)目中用到，只不過(guò)非常隱蔽。

觀察用戶的耳朵下方，左右都有一個(gè)RGB攝像頭，攝像頭可以在用戶面部肌肉移動(dòng)時(shí)，捕捉臉頰輪廓的變化。

頭戴式耳機(jī)也能夠配置攝像頭，實(shí)現(xiàn)面部識(shí)別。

通過(guò)計(jì)算機(jī)視覺和深度學(xué)習(xí)模型重建圖像后，卷積神經(jīng)網(wǎng)絡(luò)可以解析2D圖像，把面部特征變?yōu)?strong>42個(gè)面部特征點(diǎn)，特征表征用戶的嘴巴、眼睛和眉毛的形狀。

臉部追蹤數(shù)據(jù)有了后，數(shù)據(jù)被變成八種不同表情，有中立或憤怒等等。

C-Face還支持通過(guò)面部表情操作音樂(lè)程序上的播放鍵。

手機(jī)在充電，但是不想動(dòng)，無(wú)需說(shuō)出聲音，播放歌曲就實(shí)現(xiàn)了：

或者，聊天需要發(fā)送表情，但是恰巧找不到表情包了，該怎么辦？

在這種情境下，直接做出表情，系統(tǒng)可以識(shí)別并直接發(fā)送出去，非常簡(jiǎn)便：

不過(guò)，因?yàn)槭艿叫鹿谝咔榈挠绊懀蒲行〗M只對(duì)9名參與者測(cè)試了C-Face。雖然參與者不多，但準(zhǔn)確度超過(guò)了88％，面部提示的準(zhǔn)確度多于85％。

并且，專家發(fā)現(xiàn)，耳機(jī)的電池容量影響了續(xù)航時(shí)間，正設(shè)計(jì)功耗更低的傳感技術(shù)。