隨著視覺識別技術的不斷發展和應用，大量應用場景需要對重要設施和區域進行異物侵入檢查，如軌道交通、輸變電所、鐵路沿線、機場跑道等，以避免財產損失或異物侵入造成的損壞。 人身安全傷害。
目前針對視頻圖像的異物侵入測量主要有兩種方法：
1）基于背景建模的運動目標測量方法，典型方法包括：GMM、VIBE等。
2）基于機器學習的目標測量方法，典型方法包括基于手動特征加滑動窗口分類的HOG-SVM，以及基于深度學習的端到端-RCNN和YOLO。
基于背景建模的運動目標測量方法估計復雜度較低，但容易受到光影變化、風草等環境噪聲的干擾。 雖然一些優化算法在具體應用中可以達到一定的改善噪聲抑制的效果，但其本質上依賴于人工設計的特點，在復雜環境下仍然存在很多誤報。 為此，需要使用其他算法來進一步判斷。 基于機器學習的方法是目前解決目標測量問題的有力工具。 需要樣本訓練，精度高但復雜度高。 在實際測量中，會存在樣本不平衡的問題。 人、車等常見物體樣本量足夠，而對于一些罕見異物（如金屬異物）甚至未知物體，樣本量很小，給分類帶來很大困難。 雖然目前先進的少樣本或零樣本分類算法在常用數據集上的測試準確率僅為68%，但距離實際應用仍有相當大的差距。
在實際應用中，我們采用后臺建模與機器學習相結合的方式，分為粗檢和精檢兩部分。 粗檢測部分通過背景建模得到可疑目標區域，然后利用基于運動軌跡的快速粗過濾算法得到候選區域。
快速粗過濾算法的原理是：正報警和誤報警目標的運動特征存在明顯差異，通過軌跡跟蹤可以有效濾除誤報警。
精檢部分利用相似度比較算法過濾誤報，得到最終的報告目標，然后對目標進行分類。
其中，相似度比較算法是通過設計輕量級神經網絡來實現的。 目的是在高層語義上比較報告區域的前景和背景之間的相似性，并進一步過濾掉噪聲引起的誤報。 在實際應用中，該算法借助相似性比較網絡解決了直接使用分類器二次判別的缺點，使得算法更加通用，可以應用于包括特殊對象在內的情況。 相似度比較算法成功的原因在于訓練樣本容易獲取，只需要運動區域的前景和背景，對目標的類型沒有要求。 由于模型訓練，網絡學習的是通用的前景-背景比較能力。
該算法已成功應用于高鐵、軌道交通應用場景。 其中，在軌道交通異物入侵場景的應用中基于kalman濾波的目標跟蹤，實際測試數據如下：
粗檢測部分提取的候選區域準確率為91.5%，誤報率為0，抑制了99.0%的誤報，大大減少了深度學習部分的觸發次數。 通過集中檢查后，報告準確率提升至99.5%，誤報率僅為1.05%，常見物體分類準確率為91.8%。
1. 異物入侵檢測算法
異物入侵檢測算法框架
該算法分為兩部分：可疑目標區域的初步測量和候選區域的精確測量。
1）背景建模目標提取和粗過濾兩步
2）相似度比較和分類兩步
背景建模和分類算法可以使用經典的GMM背景建模和具體項目中常用的分類網絡。 快速提取可疑目標候選區域，然后使用算法的第二部分準確過濾誤報并識別常見對象。
1.1 可疑目標區域的初步測量
背景建模直接提取的運動目標一般含有植被、光影等各種噪聲，是誤報的主要來源。 一般來說，在復雜的環境中，誤報的概率遠高于正報的概率，比例可以高出數千倍。 快速有效地消除大多數誤報是初始檢查的目標。 通過實際測試：報告目標必須有一定的位移量。 基于此實驗結果，我們跟蹤背景建模提取的對象，并根據其運動軌跡進行過濾。
追蹤工具采用SORT，這是一種簡單有效的在線追蹤算法。 它主要依靠目標測量器和卡爾曼混合框架。 通過匹配將測量幀和預測幀與數據關聯起來，去除缺失目標，然后更新模型。 如此循環重復。 得到其軌跡Straj={x1,x2,…,xN}，xt(t=1,2,…,N)為t時刻的運動狀態向量，可以通過卡爾曼混合器得到。
過濾不滿足以下條件的軌跡： IOU(boxN, pad(box1, r))≤<1NΣNt=1{‖vt‖<Vb(1) 其中boxt和vt是運動物體在分別為時間t。 幀數和速率，可以從xt中獲取。 pad(x,r)是邊界擴展函數，意思是將圓x向周圍區域分別擴展r個像素。 IOU(x, y) 表示估計圓 x 和 y 的交并比。 、Va、Vb、r 均為常數。
第一個約束條件是根據運動物體的位移特性制定的，這意味著報告目標的當前區域與其最初出現的區域的重合度必須大于。
第二個約束條件是指目標的平均移動速度必須在Va和Vb之間，這是為了進一步過濾異常移動的噪聲。
1.2 目標候選區域的精確測量
初步檢測得到的目標候選區域已經比較可靠，可以抑制99%的誤報。 但由于誤報較多，正常入侵較少，誤報率較高。 準確測量對象候選區域是鏈接的目標。 精確測量的具體過程如右圖所示。 將目標區域的前景和背景送至相似度比較網絡進行裁決。 若判定結果相似，則視為誤報，直接過濾； 否則，視為正常入侵目標，進行報告提示，并發送至分類網絡進行類別統計。 項目中的分類網絡可以嘗試一下。
精確測量
相似度比較網絡遵循當前主流的端到端圖像塊匹配基本結構。
首先通過第一級頻域網絡對圖像對進行特征提取，然后將提取的特征拼接在一起，然后通過第二級網絡進行決策，最后直接輸出相似度值。
特征提取：為了避免網絡過擬合，促進收斂，借助主干網絡提取圖像的基本特征。
事實上，在實際應用中，我們將背景建模與機器學習相結合基于kalman濾波的目標跟蹤，提供了異物入侵檢查解決方案。 通過提出一種基于深度學習的相似度比較算法，解決了背景建模誤報率高和機器學習分類漏報率高的矛盾。 據悉，基于目標運動軌跡的濾波算法的應用，可以快速有效地濾除誤報，大幅降低深度學習算法的觸發頻率，降低算法的復雜度。
186信息網原創文章，轉載請注明本文來自：www.lutong-group.com
