本發(fā)明涉及防尾隨檢測，尤其涉及一種基于視頻識別的防尾隨檢測方法。

背景技術：

1、現有的視頻防尾隨算法通常是基于目標檢測的方法，利用深度學習目標檢測方法對攝像頭捕捉的圖像進行行人或人頭檢測，通過人頭或行人數目判斷監(jiān)控區(qū)域是否存在尾隨，普通攝像頭難免存在視角盲區(qū)，無法應對一些特殊的尾隨情況，如身體被大人遮擋的兒童、懷抱的小嬰兒等，再者，行人運動較快時捕捉到的圖像幀常會出現運動模糊，運動模糊對檢測算法又是一大挑戰(zhàn)，常會出現誤檢情況；基于視頻識別的方法對圖像序列進行時空特征提取，綜合時間和空間特征信息做出預測，可以避免視角盲區(qū)和運動模糊的難題，當前的視頻識別架構大多基于3d卷積塊或配合額外時間建模操作的2d卷積，均需將時間軸視為視頻序列中的一個獨立維度，需要大量的計算和內存資源，且限制了在移動設備上的應用，并且，視頻識別的方法應用于防尾隨場景時，需獲取大量的正常和尾隨視頻來訓練，而在實際應用中尾隨案例為偶發(fā)現象，很難獲取大量的視頻作為訓練集，而且視頻數據的標注需要耗費較多的時間和精力，算力成本較大。

技術實現思路

1、本發(fā)明的一個目的在于提供一種基于視頻識別的防尾隨檢測方法，通過視頻識別將輸入的視頻數據分為不同的類別或標簽，從而能夠自動理解和識別視頻內容，實現視頻內容的智能分類和檢索，此外，基于視頻識別的方法能對圖像序列進行時空特征提取，綜合時間和空間特征信息做出預測，可以避免視角盲區(qū)和運動模糊的難題，并且，通過一個輕量級的視頻識別網絡，將視頻序列的時間軸壓縮到通道維度中，利用時間通道學習模塊（ctl）幫助模型學習視頻圖像序列的時間位置動態(tài)和時間對象關系，免去額外對時間軸進行建模運算，大大降低了模型運算量且提高了識別準確率，使得該網絡在移動設備上運行時，能夠實現更快的視頻理解速度，同時保持相當高的準確率。

2、本發(fā)明的其它優(yōu)勢和特點通過下述的詳細說明得以充分體現并可通過所附權利要求中特地指出的手段和裝置的組合得以實現。

3、依本發(fā)明的一個方面，能夠實現前述目的和其他目的和優(yōu)勢的本發(fā)明的一種基于視頻識別的防尾隨檢測方法，包括以下步驟：

4、步驟a：輸入視頻圖像幀序列，采用等間隔的采樣策略截取視頻圖像；

5、步驟b：數據預處理時，將視頻圖像幀序列轉化為視頻識別網絡所需的輸入格式；

6、步驟c：構建一個視頻識別網絡模型，以供實現模型的精準識別和實時預測；

7、步驟d：定義分類損失函數監(jiān)督模型訓練，模型在訓練過程中通過權重參數的迭代逐步達到收斂狀態(tài)，訓練期間，選取驗證集中的最優(yōu)的網絡權重參數進行保存，生成視頻識別模型；

8、步驟e：在實際推理過程中，直接載入視頻識別網絡模型權重參數來完成模型的推理過程，在推理模式下，對輸入的防尾隨監(jiān)控視頻進行采樣抽幀得到視頻圖像幀序列，進行圖像預處理，把預處理后數據輸入視頻識別模型進行預測，如果識別結果為正常，則不觸發(fā)報警，繼續(xù)輸入視頻流進行監(jiān)控，如果識別結果為尾隨，則觸發(fā)報警信號。

9、根據本發(fā)明的一個實施例，所述步驟a包括子步驟a1：每間隔固定的幀數截取一幀圖像，間隔幀數取值范圍為4~8，輸入視頻識別網絡的t幀圖像序列記為。

10、根據本發(fā)明的一個實施例，所述步驟b包括子步驟b1：轉化輸入格式包括尺寸調整、標準化、維度轉換。

11、根據本發(fā)明的一個實施例，所述步驟c包括子步驟c1：視頻識別網絡為輕量級，采用時間壓縮，視頻識別網絡包括維度轉換模塊、卷積模塊、最大池化模塊、四個ctl模塊、降采樣模塊、平均池化模塊和全連接模塊。

12、根據本發(fā)明的一個實施例，所述步驟c包括子步驟c2：ctl模塊包括兩個分支：一個分支負責時間重要性的學習，另一個具有時間位置恢復能力的分支能夠增強跨時間的對象建模能力。

13、根據本發(fā)明的一個實施例，所述步驟c包括子步驟c3：ctl模塊為殘差結構，包括1x1卷積、ctl模組和1x1卷積，

14、根據本發(fā)明的一個實施例，所述步驟c包括子步驟c4：ctl模組為雙分支結構，ctl模組的輸出是兩個分支輸出特征向量的和。

15、根據本發(fā)明的一個實施例，所述步驟c包括子步驟c5：ctl模組的第一分支是由tfc即時間聚焦卷積構成，tfc引入注意力機制計算每個特征通道的權重，得到有時間重要性的特征向量，ctl模組的第二分支是由ioi跨時間交互構成，ioi還原時間位置動態(tài)和時間對象關系。

16、根據本發(fā)明的一個實施例，所述步驟c包括子步驟c6：ioi模塊由兩個分支構成，一個分支使用tfc將通道數c減少到幀數t，同時捕獲時間重要性，注入時間位置編碼信息，恢復時間動態(tài)，利用7?×?7卷積對t幀之間的對象關系進行建模，使用3?×?3卷積把通道數從t映射到c，使用激活函數得到在時間和位置二維空間上的權重向量，另一分支使用3?×?3卷積輸出通道為c的特征圖，與權重向量進行對應元素乘法運算，得到有時間位置動態(tài)和時間對象關系的特征向量。

17、根據本發(fā)明的一個實施例，所述步驟d包括子步驟d1：在訓練模式下，對每個訓練視頻解析為圖像序列，進行打標簽動作，標簽分為兩類：正常和尾隨，標簽規(guī)則為：當視頻里沒有人或只有一個人時，標注為正常，當視頻里人數大于一個人時，標注為尾隨。

18、本發(fā)明的有益效果是：通過一個輕量級的視頻識別網絡，將視頻序列的時間軸壓縮到通道維度中，利用時間通道學習模塊（ctl）幫助模型學習視頻圖像序列的時間位置動態(tài)和時間對象關系，免去額外對時間軸進行建模運算，大大降低了模型運算量且提高了識別準確率，使得該網絡在移動設備上運行時，能夠實現更快的視頻理解速度，同時保持相當高的準確率，此外，深度學習預訓練加微調的方法能夠解決標注數據稀缺的難題，以監(jiān)督或無監(jiān)督的方式在大型數據集上預訓練模型，通過微調將預訓練的模型在較小的數據集上適應特定的下游任務，能夠避免為不同的任務或數據集從頭開始訓練新模型，在較大的數據集上進行預訓練有助于學習通用表征，從而提高下游任務的性能。

技術特征：

1.一種基于視頻識別的防尾隨檢測方法，其特征在于，包括以下步驟：

2.根據權利要求1所述的防尾隨檢測方法，其特征在于，所述步驟a包括子步驟a1：每間隔固定的幀數截取一幀圖像，間隔幀數取值范圍為4~8，輸入視頻識別網絡的t幀圖像序列記為。

3.根據權利要求2所述的防尾隨檢測方法，其特征在于，所述步驟b包括子步驟b1：轉化輸入格式包括尺寸調整、標準化、維度轉換。

4.根據權利要求3所述的防尾隨檢測方法，其特征在于，所述步驟c包括子步驟c1：視頻識別網絡為輕量級，采用時間壓縮，視頻識別網絡包括維度轉換模塊、卷積模塊、最大池化模塊、四個ctl模塊、降采樣模塊、平均池化模塊和全連接模塊。

5.根據權利要求4所述的防尾隨檢測方法，其特征在于，所述步驟c包括子步驟c2：ctl模塊包括兩個分支：一個分支負責時間重要性的學習，另一個具有時間位置恢復能力的分支能夠增強跨時間的對象建模能力。

6.根據權利要求5所述的防尾隨檢測方法，其特征在于，所述步驟c包括子步驟c3：ctl模塊為殘差結構，包括1x1卷積、ctl模組和1x1卷積。

7.根據權利要求6所述的防尾隨檢測方法，其特征在于，所述步驟c包括子步驟c4：ctl模組為雙分支結構，ctl模組的輸出是兩個分支輸出特征向量的和。

8.根據權利要求7所述的防尾隨檢測方法，其特征在于，所述步驟c包括子步驟c5：ctl模組的第一分支是由tfc即時間聚焦卷積構成，tfc引入注意力機制計算每個特征通道的權重，得到有時間重要性的特征向量，ctl模組的第二分支是由ioi跨時間交互構成，ioi還原時間位置動態(tài)和時間對象關系。

9.根據權利要求8所述的防尾隨檢測方法，其特征在于，所述步驟c包括子步驟c6：ioi模塊由兩個分支構成，一個分支使用tfc將通道數c減少到幀數t，同時捕獲時間重要性，注入時間位置編碼信息，恢復時間動態(tài)，利用7?×?7卷積對t幀之間的對象關系進行建模，使用3?×?3卷積把通道數從t映射到c，使用激活函數得到在時間和位置二維空間上的權重向量，另一分支使用3?×?3卷積輸出通道為c的特征圖，與權重向量進行對應元素乘法運算，得到有時間位置動態(tài)和時間對象關系的特征向量。

10.根據權利要求1所述的防尾隨檢測方法，其特征在于，所述步驟d包括子步驟d1：在訓練模式下，對每個訓練視頻解析為圖像序列，進行打標簽動作，標簽分為兩類：正常和尾隨，標簽規(guī)則為：當視頻里沒有人或只有一個人時，標注為正常，當視頻里人數大于一個人時，標注為尾隨。

技術總結
本發(fā)明公開了一種基于視頻識別的防尾隨檢測方法，包括以下步驟：步驟A：輸入視頻圖像幀序列，采用等間隔的采樣策略截取視頻圖像；步驟B：數據預處理時，將視頻圖像幀序列轉化為視頻識別網絡所需的輸入格式；步驟C：構建一個視頻識別網絡模型，以供實現模型的精準識別和實時預測；步驟D：定義分類損失函數監(jiān)督模型訓練，模型在訓練過程中通過權重參數的迭代逐步達到收斂狀態(tài)，訓練期間，選取驗證集中的最優(yōu)的網絡權重參數進行保存，生成視頻識別模型；步驟E：在實際推理過程中，直接載入視頻識別網絡模型權重參數來完成模型的推理過程，把預處理后數據輸入視頻識別模型進行預測。

技術研發(fā)人員：賴時伍,聶蕓蕓,夏爐系,張滸,苗應亮
受保護的技術使用者：盛視科技股份有限公司
技術研發(fā)日：
技術公布日：2024/9/29