本技術(shù)涉及目標檢測,特別是涉及一種訓(xùn)練方法、目標檢測方法、裝置、設(shè)備和介質(zhì)。
背景技術(shù):
1、目標檢測技術(shù)被廣泛應(yīng)用于監(jiān)測場景(如交通監(jiān)測場景、金融監(jiān)測場景、工業(yè)監(jiān)測場景)。以交通監(jiān)測場景為例,通過布設(shè)在道路的監(jiān)測設(shè)備獲取道路上一段時間的視頻,對該視頻進行目標檢測,得到目標檢測結(jié)果;基于目標檢測結(jié)果可以確定道路上目標(車輛、行人等)的軌跡、目標的類別,還可以統(tǒng)計道路的目標流量等等。
2、目前,大多目標檢測方法依據(jù)目標檢測模型實現(xiàn)。將知識蒸餾技術(shù)應(yīng)用于目標檢測模型的訓(xùn)練,能夠以更小的存儲及計算開銷、實現(xiàn)更好的檢測精度。具體而言,知識蒸餾技術(shù)在第一階段訓(xùn)練大的目標檢測模型(教師模型),然后在第二階段利用該教師模型學(xué)習(xí)到的知識去訓(xùn)練小的目標檢測模型(學(xué)生模型),從而將教師模型學(xué)習(xí)到的知識傳遞到學(xué)生模型的網(wǎng)絡(luò)結(jié)構(gòu)中,最后將檢測學(xué)生模型用于目標檢測流程。
3、在實際應(yīng)用中,目標檢測模型可以采用動態(tài)標簽分配方式。這樣,在第一階段可以針對教師模型學(xué)習(xí)得到對應(yīng)的第一標簽分配路徑,以及在第二階段可以針對學(xué)生模型學(xué)習(xí)得到對應(yīng)的第二標簽分配路徑;由于教師模型和學(xué)生模型包含不同的參數(shù)量,故第一標簽分配路徑和第二標簽分配路徑存在沖突,導(dǎo)致知識的傳遞效率不高。
技術(shù)實現(xiàn)思路
1、本技術(shù)實施例提供了一種目標檢測模型的訓(xùn)練方法,能夠提高教師模型向?qū)W生模型的知識傳遞效率,以及能夠提高學(xué)生模型的目標檢測精度。
2、相應(yīng)地,本技術(shù)實施例還提供了一種目標檢測模型的訓(xùn)練裝置、一種目標檢測方法、一種目標檢測裝置、一種電子設(shè)備和一種機器可讀介質(zhì),用以保證上述方法的實現(xiàn)及應(yīng)用。
3、為了解決上述問題,本技術(shù)實施例公開了一種目標檢測模型的訓(xùn)練方法,所述目標檢測模型包括:教師模型和學(xué)生模型,所述方法包括:
4、將圖像樣本分別輸入教師模型和學(xué)生模型,以得到所述教師模型輸出的第一檢測結(jié)果、以及所述學(xué)生模型輸出的第二檢測結(jié)果;
5、利用動態(tài)標簽分配方式,根據(jù)所述第一檢測結(jié)果,確定所述圖像樣本中第一圖像區(qū)域?qū)?yīng)的第一類別標簽,以及,利用動態(tài)標簽分配方式,根據(jù)所述第二檢測結(jié)果,確定所述圖像樣本中第二圖像區(qū)域?qū)?yīng)的第二類別標簽;第一類別標簽用于表征第一圖像區(qū)域?qū)?yīng)預(yù)設(shè)類別的正樣本或負樣本;第二類別標簽用于表征第二圖像區(qū)域?qū)?yīng)預(yù)設(shè)類別的正樣本或負樣本;
6、根據(jù)所述第一類別標簽與所述第一檢測結(jié)果,確定第一損失信息,并根據(jù)所述第一損失信息,對所述教師模型的參數(shù)進行更新;
7、根據(jù)所述第二類別標簽與所述第二檢測結(jié)果,確定第二損失信息;根據(jù)所述第一檢測結(jié)果與所述第二檢測結(jié)果,確定第三損失信息;并根據(jù)所述第二損失信息與所述第三損失信息構(gòu)成的融合損失信息,對所述學(xué)生模型的參數(shù)進行更新。
8、為了解決上述問題,本技術(shù)實施例公開了一種目標檢測方法,所述方法包括:
9、接收待檢測圖像;
10、利用目標檢測模型包含的學(xué)生模型,對所述待檢測圖像進行目標檢測,以得到對應(yīng)的檢測結(jié)果;
11、對所述檢測結(jié)果進行輸出;
12、其中,所述目標檢測模型還包括:教師模型,所述目標檢測模型的訓(xùn)練過程包括:將圖像樣本分別輸入教師模型和學(xué)生模型,以得到所述教師模型輸出的第一檢測結(jié)果、以及所述學(xué)生模型輸出的第二檢測結(jié)果;利用動態(tài)標簽分配方式,根據(jù)所述第一檢測結(jié)果,確定所述圖像樣本中第一圖像區(qū)域?qū)?yīng)的第一類別標簽,以及,利用動態(tài)標簽分配方式,根據(jù)所述第二檢測結(jié)果,確定所述圖像樣本中第二圖像區(qū)域?qū)?yīng)的第二類別標簽;第一類別標簽用于表征第一圖像區(qū)域?qū)?yīng)預(yù)設(shè)類別的正樣本或負樣本;第二類別標簽用于表征第二圖像區(qū)域?qū)?yīng)預(yù)設(shè)類別的正樣本或負樣本;根據(jù)所述第一類別標簽與所述第一檢測結(jié)果,確定第一損失信息,并根據(jù)所述第一損失信息,對所述教師模型的參數(shù)進行更新;根據(jù)所述第二類別標簽與所述第二檢測結(jié)果,確定第二損失信息;根據(jù)所述第一檢測結(jié)果與所述第二檢測結(jié)果,確定第三損失信息;并根據(jù)所述第二損失信息與所述第三損失信息構(gòu)成的融合損失信息,對所述學(xué)生模型的參數(shù)進行更新。
13、為了解決上述問題,本技術(shù)實施例公開了一種目標檢測模型的訓(xùn)練裝置,所述目標檢測模型包括:教師模型和學(xué)生模型,所述裝置包括:
14、模型處理模塊,用于將圖像樣本分別輸入教師模型和學(xué)生模型,以得到所述教師模型輸出的第一檢測結(jié)果、以及所述學(xué)生模型輸出的第二檢測結(jié)果;
15、第一類別標簽確定模塊,用于利用動態(tài)標簽分配方式,根據(jù)所述第一檢測結(jié)果,確定所述圖像樣本中第一圖像區(qū)域?qū)?yīng)的第一類別標簽;
16、第二類別標簽確定模塊,用于利用動態(tài)標簽分配方式,根據(jù)所述第二檢測結(jié)果,確定所述圖像樣本中第二圖像區(qū)域?qū)?yīng)的第二類別標簽;第一類別標簽用于表征第一圖像區(qū)域?qū)?yīng)預(yù)設(shè)類別的正樣本或負樣本;第二類別標簽用于表征第二圖像區(qū)域?qū)?yīng)預(yù)設(shè)類別的正樣本或負樣本;
17、第一參數(shù)處理模塊,用于根據(jù)所述第一類別標簽與所述第一檢測結(jié)果,確定第一損失信息,并根據(jù)所述第一損失信息,對所述教師模型的參數(shù)進行更新;
18、第二參數(shù)處理模塊,用于根據(jù)所述第二類別標簽與所述第二檢測結(jié)果,確定第二損失信息;根據(jù)所述第一檢測結(jié)果與所述第二檢測結(jié)果,確定第三損失信息;并根據(jù)所述第二損失信息與所述第三損失信息構(gòu)成的融合損失信息,對所述學(xué)生模型的參數(shù)進行更新。
19、可選地,所述第一類別標簽確定模塊包括:
20、損失及并交比確定模塊,用于根據(jù)所述第一圖像區(qū)域?qū)?yīng)的第一檢測結(jié)果與真實區(qū)域的信息,確定第四損失信息、以及第一并交比信息;所述真實區(qū)域的信息與預(yù)設(shè)類別相對應(yīng);
21、正樣本數(shù)量確定模塊,用于根據(jù)所述第一并交比信息,確定真實區(qū)域所對應(yīng)的正樣本數(shù)量;
22、選取模塊,用于按照第四損失信息從小到大的順序,從所述圖像樣本中的第一圖像區(qū)域中選取符合所述正樣本數(shù)量的第一目標圖像區(qū)域;
23、正負樣本標簽確定模塊,用于將所述第一目標圖像區(qū)域?qū)?yīng)的第一類別標簽,確定為所述預(yù)設(shè)類別對應(yīng)的正樣本標簽,以及,將所述圖像樣本中除了所述第一目標圖像區(qū)域之外的第一圖像區(qū)域?qū)?yīng)的第一類別標簽,確定為所述預(yù)設(shè)類別對應(yīng)的負樣本標簽。
24、可選地,所述第一檢測結(jié)果或所述第二檢測結(jié)果對應(yīng)的檢測結(jié)果包括如下信息中的至少一種:
25、所述圖像樣本中像素點屬于預(yù)設(shè)類別的類別概率信息;
26、所述圖像樣本中屬于預(yù)設(shè)類別的圖像區(qū)域的區(qū)域位置信息;以及
27、所述圖像樣本中像素點屬于圖像前景的前景概率信息。
28、可選地,所述第一檢測結(jié)果包括:第一類別概率信息、和/或第一區(qū)域位置信息、和/或第一前景概率信息;所述第一參數(shù)處理模塊包括:
29、第一損失確定模塊,用于根據(jù)所述第一類別概率信息與所述第一類別標簽,確定對應(yīng)的第一交叉熵類別損失信息;和/或
30、第二損失確定模塊,用于根據(jù)所述第一前景概率信息與所述第一類別標簽,確定對應(yīng)的第一交叉熵前景損失信息;和/或
31、第三損失確定模塊,用于根據(jù)所述第一區(qū)域位置信息與所述第一類別標簽對應(yīng)的位置信息,確定對應(yīng)的第一并交比損失信息。
32、可選地,所述第一檢測結(jié)果包括:第一區(qū)域位置信息,所述第二檢測結(jié)果包括:第二區(qū)域位置信息;所述第二參數(shù)處理模塊包括:
33、轉(zhuǎn)換模塊,用于將所述第一區(qū)域位置信息轉(zhuǎn)換為第一邊界概率值,以及將所述第二區(qū)域位置信息轉(zhuǎn)換為第二邊界概率值;
34、歸一化模塊,用于將所述第一邊界概率值歸一化為第一歸一化邊界概率值,將所述第二邊界概率值歸一化為第二歸一化邊界概率值;
35、相對熵運算模塊,用于根據(jù)所述第一歸一化邊界概率值和所述第二歸一化邊界概率值,進行相對熵運算,以得到所述第三損失信息。
36、本技術(shù)實施例還公開了一種電子設(shè)備,包括:處理器;和存儲器,其上存儲有可執(zhí)行代碼,當所述可執(zhí)行代碼被執(zhí)行時,使得所述處理器執(zhí)行如本技術(shù)實施例所述的方法。
37、本技術(shù)實施例還公開了一種機器可讀介質(zhì),其上存儲有可執(zhí)行代碼,當所述可執(zhí)行代碼被執(zhí)行時,使得處理器執(zhí)行如本技術(shù)實施例所述的方法。
38、本技術(shù)實施例包括以下優(yōu)點:
39、本技術(shù)實施例使用圖像樣本對教師模型和學(xué)生模型進行協(xié)同訓(xùn)練。在協(xié)同訓(xùn)練過程中,教師模型和學(xué)生模型分別接受各自類別標簽的監(jiān)督產(chǎn)生對應(yīng)的第一損失信息和第二損失信息,同時,教師模型的第一檢測結(jié)果也作為學(xué)生模型的第二檢測結(jié)果的監(jiān)督信息以產(chǎn)生對應(yīng)的第三損失信息。上述教師模型的第一檢測結(jié)果也作為學(xué)生模型的第二檢測結(jié)果的監(jiān)督信息,可以使學(xué)生模型將對齊教師模型的錨框中心點作為目標,故本技術(shù)實施例能夠提高第一標簽分配路徑與第二標簽分配路徑中包含的錨框中心點之間的匹配度,因此,本技術(shù)實施例能夠提高教師模型向?qū)W生模型的知識傳遞效率。
40、并且,在提高教師模型向?qū)W生模型的知識傳遞效率的情況下,本技術(shù)實施例能夠提高學(xué)生模型的目標檢測精度。