計算機視覺在新零售場景下的探索及應用

　　背景簡介

　　隨著互聯(lián)網業(yè)務的快速發(fā)展，移動線下營業(yè)廳進入了最困難的冰凍期，面臨著進店客戶減少、客戶結構不合理、精準營銷能力不足等諸多問題。因此亟需改變以往傳統(tǒng)低效的業(yè)務營銷模式，加快大數據變現，開展基于大數據的精細化運營，提高進廳用戶營銷成功率，同時提升營銷資源使用效率，實現降本增效。

　　門店大腦建設

　　浙江移動云計算中心圍繞人、貨、場及三者之間的關系展開全方位的分析，運用計算機視覺(人工智能)能力對(1)顧客身份、(2)進離店客流、(3)營業(yè)廳熱力情況、(4)店內客戶軌跡等信息展開全面分析，實現了整個營業(yè)廳的綜合分析，構建了一個面向廳店運營人員的門店大腦 。

　　以前營業(yè)廳門店只有用戶購買商品的數據，沒有用戶進店后在廳店行為活動的數據，沒有人與貨交互的數據，沒有貨在場中分布的數據等等。通過人工智能賦能的門店大腦，這些數據你通通可以獲得。真正實現營業(yè)廳的“智慧感知”，“智能運營”。

　　門店大腦

　　顧客身份信息識別

　　“知道誰來了”是營業(yè)廳最根本的需求，通過進廳時的人臉抓拍攝像頭獲取顧客的人臉圖片，傳輸到后臺進行客戶身份及常用屬性特征識別。同時利用傳統(tǒng)的通信行為標簽，為不同類別的客戶制定不同的營銷策略，支持營業(yè)廳各種場景下的精確營銷。

　　顧客身份識別

　　實現困難

　　實踐過程發(fā)現，顧客身份識別準確度及有效識別率主要存在兩個層面的難點。

　　數據層面：

　　1. 人像庫照片質量：很多新零售場景都缺乏優(yōu)質的人像圖片，同時獲取的人像數據存在不同程度的干擾和模糊;

　　2. 能力圈命中率：提前預判誰會來廳店，降低人臉識別模型的難度，提前將有限的人臉圖片導入廳店人像庫(能力圈);

　　算法層面：

　　3. 相機抓拍效果：再優(yōu)秀的人臉識別模型也很難對一些極端采集的人臉進行識別，控制前端相機抓拍的效果是識別率的前提保障;

　　4. 人臉識別算法：人臉識別模型的目標庫并不能無限累加，并且像營業(yè)廳這樣場景的人臉識別，必須在保證識別的質(降低誤識率)和量(提升識別人數)。

　　解決方案

　　針對客戶識別的困難，設計了一套進店客戶識別營銷和離店二次營銷總體流程，端到端優(yōu)化兩個層面的難點，進而提升客戶身份的識別準確率。

　　針對人像庫照片存在的質量問題，系統(tǒng)性的對目前庫中的人像照片進行分類，總體來說可以歸為三類，清晰度較高的實景照、略帶模糊的人像照和帶有干擾信息的人像照。針對第一類照片，直接可以作為人像庫使用，識別效果也是最優(yōu)的;對于模糊的人像照可以利用圖像增強算法對其處理，達到銳化前景的效果;對于帶干擾信息的人像照，可以利用生成對抗網絡等手段排除干擾?？傮w來說，三類人像照質量依次遞減，雖可以通過視覺算法增強圖片的質量，但第一類照片的收集也至關重要。

　　針對能力圈命中率問題，通過建立事前能力圈和事后能力圈兩種比對方案的人像庫，事前能力圈(?？湍Ｐ?是根據近6個月內到廳受理過業(yè)務的用戶，取到廳次數最多的用戶;事后能力圈是基于信令數據，獲取營業(yè)廳營業(yè)期間在周邊基站范圍(人工篩選)內出現并滿足一定停留條件的客流能力圈，用于彌補事前能力圈命中率不高的問題;同時經數據分析，顧客在一段時間內有多次到廳的行為，可以將事后能力圈反哺出來的客戶數據作為常客添加到事前能力圈中，以增加事前的識別率。

　　針對相機抓拍問題，選擇一款智能化的抓拍設備尤為重要，通過調研發(fā)現，抓拍設備除了常規(guī)的參數(焦距、白平衡、角度)需要根據實際場景調整之外，還需具備一些人工智能算法才能保證抓拍的人臉圖片符合規(guī)范。人臉檢測算法，雖然設備每時每刻在不停的抓拍圖片，當檢測到人臉時才會向平臺上報;同時，設備每秒抓取的幀數會在25~30張，設備需要通過人臉質量擇優(yōu)算法(主要評估人臉的姿態(tài)角度、模糊情況等因素)，從眾多張同一人臉中選擇一張質量最好的上報。此外，相機處理芯片的架構也會對抓拍效果產生影響，對比DSP與FPGA芯片，擁有FPGA芯片的相機每秒能處理30幀圖片，完勝每秒處理15幀的DSP，可以很好的避免業(yè)務處理性能不足的問題。

　　針對人臉識別準確率問題，人臉識別算法受不同場景影響較大，對標過多數人臉識別廠家，其中不乏業(yè)界的獨角獸，在配合式場景(實驗室場景下)，識別率可以達到99.9%以上;然而在非配合式場景，在查全率0.8的情況下，能達到95%以上識別率的模型已經非常不錯了，各廠家測試結果如下表。同時，經過調研發(fā)現，大規(guī)模真實場景的樣本數據直接決定了深度學習模型的性能，而不同場景下的人臉識別問題所需要不同的數據平衡、數據擬合、超參數組合。因此，一般會基于pretrain model (在通用的大量的數據訓練的模型)加上專用場景的數據生成針對場景優(yōu)化的專用模型，這樣可以保證該特殊場景下的模型識別準確率。

　　總體流程

　　進離店客流分析

　　基于雙向人臉識別攝像頭實現進店客流群體分析以及客戶停留分析，通過掌握廳店客流的整體情況，及時調整廳店運營策略。進店客流分析 主要是獲取各時段進店客流情況，包括新客(首次進店)、?？蜆嫵?，客戶的年齡、性別構成等;客戶停留分析 是獲取各時段客戶在店內的停留情況，包括店內客流數，平均停留時間、過客(停留時長小于3分鐘)、意向客(停留時長大于15分鐘)等。

　　實現困難

　　實踐過程發(fā)現，進離店客流分析主要有以下三個方面造成數據統(tǒng)計的誤差。

　　誤差點1、 系統(tǒng)長時間運營，導致底庫存在過多臟數據，常見的有：存在一個人的多份特征值，但多份特征值所表示的含義是不一樣的顧客;

　　誤差點2、 顧客進離店時由于佩戴帽子、眼鏡等裝飾對人臉關鍵特征的遮擋，增加人臉識別難度(識別分數過低/識別成他人);

　　誤差點3、顧客進離店行為隨意性較大，并且從兩側離店的情況占比較多，導致抓拍的數據存在較多側臉。

　　解決方案

　　針對上述誤差點1，通過建設AB庫的方案解決目標庫(A庫)中臟數據過多的問題?？蛻敉Ａ舴治龅哪康氖潜３之斎者M店、離店客流的數據一致性，離店數據只需要在當日進店的數據基礎上進行識別即可，因此在原目標庫(A庫)的基礎上增添一個臨時庫(B庫)，用于當日進離店顧客的數據分析。

　　針對上述誤差點2，在AB庫建設的基礎上，稍微降低離店人臉識別的閾值，將盡量多的離店數據與進店數據匹配上。針對誤識別的情況，之后將考慮使用行人識別的方案，利用更多人體的特征信息(配飾、衣著)對顧客進行識別。

　　針對上述誤差點3，在AB庫建設的基礎上，增加廳店門口兩側的抓拍設備，主要針對側面離店顧客數據的人臉抓拍，當多個攝像頭同時抓拍人臉數據時，系統(tǒng)將會合并相似度較高的人臉，避免重復人臉上報，類似單攝像頭的抓拍過程。

　　AB庫方案

　　營業(yè)廳熱力分析

　　基于顧客在廳內不同位置的累積駐留時間分別渲染實景熱圖和全景平面熱力圖，通過熱力圖分析營業(yè)廳整體及專柜區(qū)域的熱力分布，指導營業(yè)廳優(yōu)化廳店商品布局。

　　實現困難

　　難點1、消費者在真實門店空間中的精準定位，攝像頭所能采集到的消費者信息都是在三維空間上的，需要通過空間坐標關系精準映射到平面圖上;

　　難點2、線下場景下消費者的精準檢測，1)目標(即消費者，以下都以目標代指)都以非配合時場景出現，被攝像頭捕捉到的部位 或頭或臉甚至半身，對于傳統(tǒng)的單一任務檢測來說難度非常大 2)商品擺放、人群擁擠等情況的普遍存在，目標常常被嚴重遮擋，或與其他目標重疊。

　　解決方案

　　針對難點1，我們通過三維空間重建算法建立實景圖到平面圖的坐標映射，依次建立起每個攝像頭觀察坐標系到平面空間中的映射關系，并基于特征匹配，對每個進入攝像頭監(jiān)控區(qū)域的顧客進行檢測，并通過映射關系估算其在攝像頭觀察坐標系中的位置，通過該算法評估顧客的平面坐標誤差范圍在0.5米之內。

　　針對難點2，通過使用基于CNN + RNN的多任務結構設計了神經網絡，分別來檢測人的頭、臉及身體。其中CNN用于提取圖像中的深層特征，RNN用于檢測復雜場景下相互干擾的目標部位。

　　客戶軌跡追蹤

　　獲取顧客在店內的活動軌跡，結合區(qū)域停留時長，獲得客戶的消費傾向，給顧客在廳內的行為活動打上對應的標簽信息，為精準營銷提供決策依據。

　　客戶軌跡追蹤

　　實現困難

　　客戶軌跡追蹤運用了計算機視覺領域中的行人重識別(reID)技術，需要在多個攝像頭拍攝出來的圖像中識別相同行人為目標。但現實場景中，客戶的姿勢變化、圖像模糊以及目標遮擋等問題對整個行人追蹤過程提出了巨大的挑戰(zhàn)。

　　解決方案

　　采用混合的檢測+追蹤算法來追蹤特定顧客，使用重識別算法進行跨攝像頭追蹤，最后通過空間定位算法(多場景統(tǒng)一空間映射算法)計算行人在真實空間中的位置坐標，從而進行店內客戶軌跡分析。

　　檢測算法：基于CNN+RNN的多任務結構設計了神經網絡，分別來檢測人的頭、臉及身體。其中CNN用于提取圖像中的深層特征，用于重識別算法;RNN用于檢測復雜場景下相互干擾的目標部位;

　　追蹤算法：基于相關濾波(Correlation Filter based)的追蹤算法，在線“記住”目標的關鍵幀蘊含的特征，并基于該特征在視頻的幀與幀之間持續(xù)追蹤目標。

　　重識別算法：使用STN(Spatial Transformer Network)對行人進行位置相關特征采集，并使用reranking特征數據庫進行特征匹配與檢索。在擁擠情況相對良好的情況下可達到95%的識別準確率。

　　總   結

　　通過人工智能、大數據賦能的新零售，圍繞人、貨、場所構造的面向廳店運營人員的門店大腦，記錄了用戶進店前、進店時到離店后的行為數據，真正實現人的消費數字化、貨的合理布局、場的千店千面，從而打造全新客戶體驗，升級智慧運營管理，達到促進銷售與客戶雙增長的效益。