本發(fā)明監(jiān)控系統(tǒng)的圖像處理，尤其涉及一種基于分布式監(jiān)控系統(tǒng)的圖像處理方法、裝置和終端設(shè)備。

背景技術(shù)：

1、分布式監(jiān)控系統(tǒng)可以利用分布式計算資源和技術(shù)對監(jiān)控系統(tǒng)中的圖像數(shù)據(jù)進行高效、快速地處理和分析，還可以基于分布式系統(tǒng)的特點，將大規(guī)模的計算任務(wù)（如圖像處理）分解為多個子任務(wù)，并在多個計算節(jié)點上并行執(zhí)行，從而顯著提高處理速度和效率。

2、在分布式監(jiān)控系統(tǒng)中對圖像進行處理時，通常是指在分布式計算環(huán)境中，對來自多個監(jiān)控前端（如攝像頭）的圖像數(shù)據(jù)進行采集、存儲、處理和分析。但是現(xiàn)有技術(shù)在對來自多個監(jiān)控前端（如攝像頭）的圖像數(shù)據(jù)進行采集和識別出異常情況時，常采用對各個監(jiān)控區(qū)域內(nèi)的圖像進行全局掃描的方式，再通過圖像處理算法（如邊緣檢測、顏色分析、紋理分析等）或常規(guī)的圖像處理模型從各個全局圖像中提取出具有顯著性的特征，識別出監(jiān)控場景中的特定目標，如人物、車輛、動物等，從而可以通過分析監(jiān)控場景中的特定目標來對監(jiān)控區(qū)域進行異常檢測。

3、但是對所有分節(jié)點攝像頭的監(jiān)控區(qū)域均進行全局掃描和全局特征提取，不僅會增加非關(guān)鍵區(qū)域的計算資源，導(dǎo)致圖像處理效率較低，而且會無法準確地定位和識別出關(guān)鍵區(qū)域局部場景中的特定目標，從而一些非關(guān)鍵性的變化或噪聲，如光影變化、樹葉搖曳等，這些都可能被誤判為異常情況，從而導(dǎo)致較高的誤報率。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供了一種基于分布式監(jiān)控系統(tǒng)的圖像處理方法、裝置和終端設(shè)備，構(gòu)建了一個從局部到全局的多層次注意力機制，能夠準確地定位和識別出局部場景中關(guān)鍵區(qū)域的特定目標，能有效解決現(xiàn)有技術(shù)中由于僅進行全局掃描和全局特征提取，則無法準確地定位和識別出局部場景中的特定目標，從而導(dǎo)致較高誤報率的問題。

2、本發(fā)明一實施例提供了一種基于分布式監(jiān)控系統(tǒng)的圖像處理方法，包括：

3、實時獲取每一監(jiān)控區(qū)域?qū)?yīng)的待處理圖像；

4、對于每一待處理圖像，將待處理圖像輸入到預(yù)設(shè)的目標檢測模型中，以使所述目標檢測模型從待處理圖像中提取出若干個目標檢測框，并生成每一目標檢測框?qū)?yīng)的初始的置信度；其中，所述置信度用于表征目標檢測框內(nèi)是否存在目標對象的可靠程度；

5、基于待處理圖像以及各個初始的置信度，生成每一監(jiān)控區(qū)域?qū)?yīng)的局部注意力圖；

6、根據(jù)每一局部注意力圖在全局坐標系中對應(yīng)的坐標信息以及每一局部注意力圖對應(yīng)的局部注意力權(quán)重，生成目標檢測框在全局注意力圖中對應(yīng)的區(qū)域平均注意力值；

7、對于每一目標檢測框，根據(jù)目標程度值、區(qū)域平均注意力值以及目標檢測框?qū)?yīng)的局部注意力圖，生成所述目標檢測框?qū)?yīng)的更新后的置信度；其中，所述目標程度值用于表征目標檢測框與其他目標檢測框之間在空間和時間上的關(guān)聯(lián)程度；

8、在判定一更新后的置信度大于預(yù)設(shè)置信度閾值時，則將對應(yīng)的目標檢測框作為待預(yù)警目標框，并生成所述待預(yù)警目標框?qū)?yīng)的異常告警結(jié)果；

9、其中，所述目標檢測模型的訓(xùn)練，包括：

10、以若干圖像樣本為輸入，以每一圖像樣本實際的目標檢測框以及對應(yīng)的實際置信度為輸出，對待訓(xùn)練的目標檢測模型進行迭代訓(xùn)練，直至模型收斂，生成預(yù)設(shè)的目標檢測模型。

11、優(yōu)選地，所述基于待處理圖像以及各個初始的置信度，生成每一監(jiān)控區(qū)域?qū)?yīng)的局部注意力圖，包括：

12、獲取監(jiān)控區(qū)域前一時刻對應(yīng)的預(yù)設(shè)背景圖像，繼而將所述預(yù)設(shè)背景圖像與所述待處理圖像進行比對，根據(jù)比對結(jié)果生成運動檢測圖；其中，所述運動檢測圖包含有背景以及存在運動狀態(tài)的目標；所述預(yù)設(shè)背景圖像為監(jiān)控區(qū)域?qū)?yīng)的靜態(tài)圖像；

13、根據(jù)前一時刻對應(yīng)的歷史局部注意力圖、前一時刻所對應(yīng)的歷史注意力圖以及衰減因子，生成當(dāng)前時刻對應(yīng)的當(dāng)前注意力圖；其中，所述衰減因子用于表征歷史信息在當(dāng)前時刻的貢獻程度；

14、根據(jù)各個目標檢測框、各個目標檢測框的初始的置信度、運動檢測圖以及當(dāng)前注意力圖，生成每一監(jiān)控區(qū)域?qū)?yīng)的局部注意力圖。

15、優(yōu)選地，根據(jù)各個目標檢測框、各個目標檢測框的初始的置信度、運動檢測圖以及當(dāng)前注意力圖，生成每一監(jiān)控區(qū)域?qū)?yīng)的局部注意力圖，包括：

16、根據(jù)如下公式計算得到每一監(jiān)控區(qū)域?qū)?yīng)的局部注意力圖：

17、；

18、；

19、；

20、；

21、其中，為每一監(jiān)控區(qū)域?qū)?yīng)的局部注意力圖，為每一監(jiān)控區(qū)域?qū)?yīng)的目標檢測框檢測結(jié)果，為第k個目標檢測框的初始的置信度，為第k個目標檢測框的二值掩碼，表示sigmoid激活函數(shù)，n為目標檢測框個數(shù)；為運動檢測圖，為當(dāng)前時刻的待處理圖像，為前一時刻對應(yīng)的預(yù)設(shè)背景圖像；為當(dāng)前時刻對應(yīng)的當(dāng)前注意力圖，為監(jiān)控區(qū)域前一時刻對應(yīng)的歷史局部注意力圖，為前一時刻所對應(yīng)的歷史注意力圖，為衰減因子；、為不同的權(quán)重系數(shù)，且++=1。

22、優(yōu)選地，所述根據(jù)每一局部注意力圖在全局坐標系中對應(yīng)的坐標信息以及每一局部注意力圖對應(yīng)的局部注意力權(quán)重，生成目標檢測框在全局注意力圖中對應(yīng)的區(qū)域平均注意力值，包括：

23、根據(jù)每一局部注意力圖在全局坐標系中對應(yīng)的坐標信息，以及每一局部注意力圖對應(yīng)的局部注意力權(quán)重，生成當(dāng)前時刻的第一全局注意力圖；

24、根據(jù)前一時刻的歷史全局注意力圖、當(dāng)前時刻的第一全局注意力圖以及預(yù)設(shè)時間平滑系數(shù)，生成已進行時間平滑操作后的第二全局注意力圖；

25、對所述第二全局注意力圖進行卷積計算，生成已進行空間平滑操作后的第三全局注意力圖；

26、根據(jù)目標檢測框在全局坐標系中對應(yīng)的坐標信息，生成目標檢測框在所述第三全局注意力圖中對應(yīng)的區(qū)域平均注意力值。

27、優(yōu)選地，所述目標程度值，包括：第一程度值以及第二程度值；

28、所述根據(jù)目標程度值、區(qū)域平均注意力值以及目標檢測框?qū)?yīng)的局部注意力圖，生成所述目標檢測框?qū)?yīng)的更新后的置信度，包括：

29、將與目標檢測框的監(jiān)控區(qū)域不同的監(jiān)控區(qū)域作為目標監(jiān)控區(qū)域，繼而根據(jù)目標監(jiān)控區(qū)域中是否存在與所述目標檢測框相同的目標檢測框的判定結(jié)果以及每一目標監(jiān)控區(qū)域?qū)?yīng)的用于表征兩兩相鄰的監(jiān)控區(qū)域之間覆蓋區(qū)域面積大小的區(qū)域權(quán)重值，生成第一程度值；其中，所述第一程度值用于表征不同監(jiān)控區(qū)域之間對所述目標檢測框進行檢測時是否一致的一致性程度；

30、根據(jù)預(yù)設(shè)時間間隔，提取若干歷史時刻；其中，每一歷史時刻對應(yīng)一時間權(quán)重值，且一歷史時刻與當(dāng)前時刻之間的時間差越小時對應(yīng)的時間權(quán)重值越大；

31、根據(jù)各個歷史時刻對應(yīng)的目標檢測框檢測結(jié)果以及各個時間權(quán)重值，生成第二程度值；其中，所述目標檢測框檢測結(jié)果，包括：檢測出目標檢測框或未檢測出目標檢測框；所述第二程度值用于表征目標檢測框在不同時刻對應(yīng)的檢測結(jié)果是否保持相同的穩(wěn)定性程度；

32、根據(jù)第一程度值、第二程度值、區(qū)域平均注意力值以及目標檢測框?qū)?yīng)的局部注意力圖，生成所述目標檢測框?qū)?yīng)的更新后的置信度。

33、優(yōu)選地，所述第一程度值的生成，包括：

34、可根據(jù)如下公式計算得到第一程度值：

35、；

36、其中，為第一程度值，為區(qū)域權(quán)重值，為一目標監(jiān)控區(qū)域?qū)?yīng)的目標檢測框檢測結(jié)果，為目標監(jiān)控區(qū)域的個數(shù)。

37、優(yōu)選地，所述根據(jù)各個歷史時刻對應(yīng)的目標檢測框檢測結(jié)果以及各個時間權(quán)重值，生成第二程度值，包括：

38、根據(jù)如下公式計算得到第二程度值：

39、；

40、其中，為第二程度值，為衰減因子；為歷史時刻與當(dāng)前時刻之間的時間差，為每一歷史時刻對應(yīng)的時間權(quán)重值，表示歷史時刻對應(yīng)的目標檢測框檢測結(jié)果，=1時代表檢測出目標檢測框，=0時代表未檢測出目標檢測框，為歷史時刻的個數(shù)。

41、優(yōu)選地，在對待訓(xùn)練的目標檢測模型進行迭代訓(xùn)練時，還包括：

42、在每次訓(xùn)練時，將一圖像樣本輸入到目標檢測模型中，以使所述目標檢測模型根據(jù)圖像樣本的圖像特征生成圖像樣本所對應(yīng)的目標檢測框預(yù)測結(jié)果以及置信度預(yù)測結(jié)果；

43、將目標檢測框預(yù)測結(jié)果以及置信度預(yù)測結(jié)果與圖像樣本對應(yīng)的實際的目標檢測框結(jié)果以及實際的置信度結(jié)果進行比對，繼而根據(jù)比對結(jié)果對目標檢測模型的網(wǎng)絡(luò)參數(shù)進行調(diào)整。

44、在上述的方法實施例的基礎(chǔ)上，本發(fā)明對應(yīng)提供了裝置項實施例。

45、本發(fā)明一實施例提供了一種基于分布式監(jiān)控系統(tǒng)的圖像處理裝置，包括：圖像獲取模塊、圖像處理模塊、局部注意力處理模塊、全局注意力處理模塊、置信度更新模塊以及異常告警模塊；

46、所述圖像獲取模塊，用于實時獲取每一監(jiān)控區(qū)域?qū)?yīng)的待處理圖像；

47、所述圖像處理模塊，用于對于每一待處理圖像，將待處理圖像輸入到預(yù)設(shè)的目標檢測模型中，以使所述目標檢測模型從待處理圖像中提取出若干個目標檢測框，并生成每一目標檢測框?qū)?yīng)的初始的置信度；其中，所述置信度用于表征目標檢測框內(nèi)是否存在目標對象的可靠程度；

48、所述局部注意力處理模塊，用于基于待處理圖像以及各個初始的置信度，生成每一監(jiān)控區(qū)域?qū)?yīng)的局部注意力圖；

49、所述全局注意力處理模塊，用于根據(jù)每一局部注意力圖在全局坐標系中對應(yīng)的坐標信息以及每一局部注意力圖對應(yīng)的局部注意力權(quán)重，生成目標檢測框在全局注意力圖中對應(yīng)的區(qū)域平均注意力值；

50、所述置信度更新模塊，用于對于每一目標檢測框，根據(jù)目標程度值、區(qū)域平均注意力值以及目標檢測框?qū)?yīng)的局部注意力圖，生成所述目標檢測框?qū)?yīng)的更新后的置信度；其中，所述目標程度值用于表征目標檢測框與其他目標檢測框之間在空間和時間上的關(guān)聯(lián)程度；

51、所述異常告警模塊，用于在判定一更新后的置信度大于預(yù)設(shè)置信度閾值時，則將對應(yīng)的目標檢測框作為待預(yù)警目標框，并生成所述待預(yù)警目標框?qū)?yīng)的異常告警結(jié)果；

52、其中，所述目標檢測模型的訓(xùn)練，包括：

53、以若干圖像樣本為輸入，以每一圖像樣本實際的目標檢測框以及對應(yīng)的實際置信度為輸出，對待訓(xùn)練的目標檢測模型進行迭代訓(xùn)練，直至模型收斂，生成預(yù)設(shè)的目標檢測模型。

54、在上述的方法實施例的基礎(chǔ)上，本發(fā)明對應(yīng)提供了終端設(shè)備項實施例。

55、本發(fā)明另一實施例提供了一種終端設(shè)備，包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執(zhí)行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述發(fā)明實施例所述的一種基于分布式監(jiān)控系統(tǒng)的圖像處理方法。

56、通過實施本發(fā)明具有如下有益效果：

57、本發(fā)明實施例提供一種基于分布式監(jiān)控系統(tǒng)的圖像處理方法、裝置和終端設(shè)備，本發(fā)明可以通過預(yù)設(shè)的目標檢測模型從每個監(jiān)控區(qū)域的待處理圖像中提取出若干可能包含目標對象的目標檢測框及其初始的置信度，則可以只關(guān)注那些有可能包含目標對象的局部關(guān)鍵區(qū)域從而減少了在非關(guān)鍵區(qū)域（如背景區(qū)域）的掃描和提取，則實現(xiàn)了對分節(jié)點攝像頭的監(jiān)控區(qū)域進行局部掃描和局部特征提取。進一步地，通過生成每一監(jiān)控區(qū)域?qū)?yīng)的局部注意力圖和全局注意力圖對應(yīng)的區(qū)域平均注意力值，以及結(jié)合目標程度值來更新每個目標檢測框的置信度，能夠更精準地聚焦在圖像中的關(guān)鍵區(qū)域，進一步降低了計算資源的浪費，提高了圖像處理效率。通過局部注意力圖的生成，可以突出顯示那些更可能包含目標對象的區(qū)域，且通過全局注意力圖可以整合各個局部注意力圖的信息，從而可以從整體上把握監(jiān)控場景中的注意力分布情況，避免了對單一局部區(qū)域的過度關(guān)注或過度忽視，并且通過考慮目標檢測框在空間上的關(guān)聯(lián)程度，系統(tǒng)能夠識別出那些在位置上相互接近或具有特定空間關(guān)系的目標檢測框，而時間關(guān)聯(lián)程度的考慮還可以使得本發(fā)明能夠追蹤目標檢測框在連續(xù)時間內(nèi)的變化軌跡，從而可以進一步準確區(qū)分出目標檢測框中的目標對象真實的移動和噪聲干擾（如光影變化、樹葉搖曳等），從而可以降低后續(xù)的異常誤報率。與現(xiàn)有技術(shù)相比，本發(fā)明可以通過將局部注意力圖、全局注意力圖以及目標檢測框在空間和時間上的關(guān)聯(lián)程度相結(jié)合，構(gòu)建了一個從局部到全局的多層次注意力機制，能夠準確地定位和識別出局部場景中關(guān)鍵區(qū)域的特定目標（如目標檢測框中的目標對象），同時減少了計算資源的浪費和誤報率的發(fā)生。