本發(fā)明涉及行人重識別，特別是涉及一種提取行人特征的方法和裝置。

背景技術(shù)：

1、行人重識別(person?re-identification，簡寫為person?reid)能夠在無接觸、無需配合的場景下，對行人進行有效跨鏡檢索，在公共安全、視頻監(jiān)控等領域中廣泛使用，具有巨大的應用價值。行人重識別需要從行人圖像中學習得到能夠區(qū)分不同行人身份的視覺特征，并克服嚴重遮擋、外觀變化、形狀變化、視角變化等，是一個重要且極具挑戰(zhàn)的計算機視覺問題。

2、目前基于公開數(shù)據(jù)集、利用有監(jiān)督學習方法進行行人重識別的相關方案已較為成熟，大多為在主干網(wǎng)絡(backbone?networks)所提取的特征的基礎上進行度量學習。然而，行人重識別面臨有標注的訓練數(shù)據(jù)不足的困境：因行人圖像的采集及標注成本高、難度大，現(xiàn)有公開數(shù)據(jù)集普遍較小，導致基于主干網(wǎng)絡進行度量學習的方案難以有效提取行人圖像的局部細節(jié)特征，行人重識別精度受限。

3、鑒于此，克服該現(xiàn)有技術(shù)所存在的缺陷是本技術(shù)領域亟待解決的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是提供一種提取行人特征的方法和裝置，其目的在于，提供了一種大規(guī)模自監(jiān)督行人特征學習方法，結(jié)合原始行人圖像和掩碼行人圖像，實現(xiàn)自監(jiān)督行人重識別，解決了現(xiàn)有技術(shù)中由于有標注的訓練數(shù)據(jù)不足，導致難以有效提取行人圖像的局部細節(jié)特征、精度受限的問題。

2、本發(fā)明采用如下技術(shù)方案：

3、第一方面，本發(fā)明提供了一種提取行人特征的方法，包括：

4、將無標簽行人圖像輸入初始預訓練模型，將所述無標簽行人圖像轉(zhuǎn)換為原始圖片塊序列；使用所述初始預訓練模型的教師網(wǎng)絡提取所述原始圖片塊序列中的行人特征，得到教師目標向量；

5、對所述原始圖片塊序列中的原始詞元進行隨機遮掩，得到掩碼圖片塊序列；使用所述初始預訓練模型的學生網(wǎng)絡提取所述掩碼圖片塊序列中的行人特征，得到學生目標向量；

6、根據(jù)所述教師目標向量和所述學生目標向量，優(yōu)化所述初始預訓練模型的網(wǎng)絡參數(shù)；

7、對以上過程迭代，直至所述初始預訓練模型的預訓練損失函數(shù)的loss變化值小于預設收斂閾值，得到目標預訓練模型，以使用所述目標預訓練模型提取行人特征。

8、進一步地，所述原始詞元包括一個分類原始詞元和至少一個輸入原始詞元；

9、所述對所述原始圖片塊序列中的原始詞元進行隨機遮掩，得到掩碼圖片塊序列包括：

10、將所述分類原始詞元作為分類掩碼詞元；

11、從所述至少一個輸入原始詞元中，選擇預設個數(shù)的輸入原始詞元，對所選擇的輸入原始詞元進行遮掩；根據(jù)遮掩后的輸入原始詞元和未遮掩的輸入原始詞元，得到所述至少一個輸入原始詞元對應的輸入圖片塊序列；

12、根據(jù)所述分類掩碼詞元和所述輸入圖片塊序列，得到掩碼圖片塊序列。

13、進一步地，所述從所述至少一個輸入原始詞元中，選擇預設個數(shù)的輸入原始詞元，對所選擇的輸入原始詞元進行遮掩；根據(jù)遮掩后的輸入原始詞元和未遮掩的輸入原始詞元，得到所述至少一個輸入原始詞元對應的輸入圖片塊序列包括：

14、對于所述至少一個輸入原始詞元，將相應的掩碼量設置為第一預設值，以選擇將所述輸入原始詞元進行遮掩；將相應的掩碼量設置為第二預設值，以選擇不將所述輸入原始詞元進行遮掩；

15、當輸入原始詞元的掩碼量為第一預設值時，使用掩膜替換所述輸入原始詞元，得到遮掩后的輸入原始詞元；當輸入原始詞元的掩碼量為第二預設值時，將所述輸入原始詞元作為未遮掩的輸入原始詞元。

16、進一步地，所述掩碼圖片塊序列的表達式為：

17、其中，為分類掩碼詞元，為輸入圖片塊序列，為輸入圖片塊序列中第i個輸入原始詞元；x[mask]為掩膜，mi為掩碼量。

18、進一步地，所述學生目標向量包括一個代表學生目標向量和至少一個普通學生目標向量；

19、所述使用所述初始預訓練模型的學生網(wǎng)絡提取所述掩碼圖片塊序列中的行人特征，得到學生目標向量包括：

20、使用所述學生網(wǎng)絡提取所述掩碼圖片塊序列中分類掩碼詞元的局部行人特征，得到第一代表特征；將所述第一代表特征映射到目標向量空間，得到所述代表學生目標向量；

21、使用所述學生網(wǎng)絡預測所述掩碼圖片塊序列中遮掩后的輸入原始詞元的局部行人特征，提取未遮掩的輸入原始詞元的局部行人特征，得到第二代表特征；將所述第二代表特征映射到目標向量空間，得到所述普通學生目標向量。

22、進一步地，所述教師目標向量包括一個代表教師目標向量和至少一個普通教師目標向量；所述學生目標向量包括一個代表學生目標向量和至少一個普通學生目標向量；所述預訓練損失函數(shù)包括掩碼重建損失函數(shù)和全局損失函數(shù)；

23、所述根據(jù)所述教師目標向量和所述學生目標向量，優(yōu)化所述初始預訓練模型的網(wǎng)絡參數(shù)包括：

24、使用所述掩碼重建損失函數(shù)對比所述至少一個普通教師目標向量與所述至少一個普通學生目標向量，得到掩碼重建損失值；

25、使用所述全局損失函數(shù)對比所述代表教師目標向量與所述代表學生目標向量，得到全局損失值；

26、將所述掩碼重建損失值與相應的權(quán)重值之積確定為第一中間量；將所述全局損失值與相應的權(quán)重值之積確定為第二中間量；將所述第一中間量與所述第二中間量之和確定為預訓練損失值，以通過預訓練損失函數(shù)計算本輪迭代的預訓練損失值；

27、基于所述預訓練損失值，更新所述初始預訓練模型的網(wǎng)絡參數(shù)，按照更新后的網(wǎng)絡參數(shù)進行下一輪迭代。

28、進一步地，所述預訓練損失函數(shù)的表達式為：l＝λ1ld+λ2lm；其中，ld為所述全局損失函數(shù)，λ1為相應的權(quán)重值；lm為所述掩碼重建損失函數(shù)，λ2為相應的權(quán)重值；

29、所述全局損失函數(shù)的表達式為：其中，y[cls]為代表教師目標向量，為代表學生目標向量，p(x)為預設損失函數(shù)；

30、所述掩碼重建損失函數(shù)的表達式為：其中，對于n個普通教師目標向量和n個普通學生目標向量，yi[patchs]為其中第i個普通教師目標向量，為其中第i個普通學生目標向量，mi為掩碼量。

31、進一步地，所述原始詞元包括一個分類原始詞元和至少一個輸入原始詞元；所述教師目標向量包括一個代表教師目標向量和至少一個普通教師目標向量；

32、所述將無標簽行人圖像輸入初始預訓練模型，將所述無標簽行人圖像轉(zhuǎn)換為原始圖片塊序列；使用所述初始預訓練模型的教師網(wǎng)絡提取所述原始圖片塊序列中的行人特征，得到教師目標向量包括：

33、將所述無標簽行人圖像分割為多個圖像塊；將每個所述圖像塊映射為一個圖塊詞元；從所述多個圖像塊對應的圖塊詞元中，選擇一個圖塊詞元作為分類原始詞元，將剩余的圖塊詞元作為輸入原始詞元，以得到所述原始圖片塊序列；

34、使用所述教師網(wǎng)絡提取所述原始圖片塊序列中分類原始詞元的全局行人特征，得到第三代表特征；將所述第三代表特征映射到目標向量空間，得到所述代表教師目標向量；

35、使用所述教師網(wǎng)絡提取所述原始圖片塊序列中輸入原始詞元的全局行人特征，得到第四代表特征；將所述第四代表特征映射到目標向量空間，得到所述普通教師目標向量。

36、第二方面，本發(fā)明還提供了一種提取行人特征的裝置，用于實現(xiàn)第一方面所述的提取行人特征的方法，所述提取行人特征的裝置包括：

37、至少一個處理器；以及，與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述處理器執(zhí)行，用于執(zhí)行第一方面所述的提取行人特征的方法。

38、第三方面，本發(fā)明還提供了一種非易失性計算機存儲介質(zhì)，所述計算機存儲介質(zhì)存儲有計算機可執(zhí)行指令，該計算機可執(zhí)行指令被一個或多個處理器執(zhí)行，用于完成第一方面所述的提取行人特征的方法。

39、第四方面，提供了一種芯片，包括：處理器和接口，用于從存儲器中調(diào)用并運行存儲器中存儲的計算機程序，執(zhí)行如第一方面中的提取行人特征的方法。

40、第五方面，提供了一種包含指令的計算機程序產(chǎn)品，當該指令在計算機或處理器上運行時，使得計算機或處理器執(zhí)行如第一方面至第四方面及其任一項的提取行人特征的方法。

41、第六方面，提供了一種提取行人特征的方法系統(tǒng)，包括如第二方面的提取行人特征的裝置，并使用如第一方面所述的提取行人特征的方法，完成第二方面的提取行人特征的裝置的交互。

42、區(qū)別于現(xiàn)有技術(shù)，本發(fā)明至少具有以下有益效果：

43、本發(fā)明通過初始預訓練模型分別對同一無標簽行人圖像進行兩次特征提取；一次將其轉(zhuǎn)換為原始圖片塊序列，并提取其中的行人特征，得到教師目標向量；一次對原始圖片塊序列中的原始詞元進行隨機遮掩，得到掩碼圖片塊序列，并提取其中的行人特征，得到學生目標向量；教師目標向量和學生目標向量構(gòu)成對比關系，由于學生網(wǎng)絡所學習的特征是以原始詞元為單位進行隨機遮掩得到的，所以預訓練模型可以按最小粒度進行特征表達；在結(jié)合學生網(wǎng)絡和教師網(wǎng)絡進行訓練的迭代過程中，預訓練模型學習捕捉高質(zhì)量的全局行人特征和局部細粒度行人特征，從而避免依賴于有標注的訓練數(shù)據(jù)，有效提取行人圖像的局部細節(jié)特征，達到高精度的行人重識別效果。