本申請(qǐng)涉及人工智能，特別是涉及一種數(shù)字域紅外視覺圖案生成方法、裝置、設(shè)備和存儲(chǔ)器。

背景技術(shù)：

1、近年來，人工智能(ai)已經(jīng)徹底改變了計(jì)算機(jī)視覺，展示了遠(yuǎn)遠(yuǎn)超出人類的能力，這激發(fā)了探索人工智能視覺系統(tǒng)脆弱性的興趣。為了實(shí)現(xiàn)這一目標(biāo)，研究者在數(shù)字域提出了各種揭露ai脆弱性的算法。通常，在圖像中添加微妙的、高維的、物理上不可解釋的擾動(dòng)可以改變視覺模型輸出，包括快速梯度符號(hào)法(fgsm)、carlini-wagner法和投影梯度下降法(pgd)。這些算法還結(jié)合了簡單的物理手段來實(shí)現(xiàn)真實(shí)世界視覺輸出錯(cuò)誤，例如通過打印一些特定的圖像或補(bǔ)丁來干擾分類算法，通過特定的眼鏡框架、帽子或化妝來誤導(dǎo)人類面部識(shí)別系統(tǒng)，通過制造特定的3d物體、紋理或光學(xué)錯(cuò)覺以逃避物體探測器。

2、但這些算法生成的擾動(dòng)在黑盒場景下的效果有限，且很少考慮到真實(shí)世界中的制造難度。具體如下：(1)這些細(xì)微的擾動(dòng)可能在不同視角、不同距離、不同分辨率和不同天氣條件下被傳感器捕捉到，而這些客觀物理因素可能會(huì)影響成像質(zhì)量，從而影響這些擾動(dòng)所應(yīng)呈現(xiàn)的效果。(2)在數(shù)字空間中，這些細(xì)微擾動(dòng)可以添加到圖像中的任何部分，包括背景。然而，對(duì)于物理空間中的目標(biāo)，其通常沒有固定的背景，因此設(shè)計(jì)在背景中的擾動(dòng)一般不具有魯棒性。(3)在制造理論上可行的擾動(dòng)時(shí)，其每個(gè)像素都應(yīng)該能用現(xiàn)有設(shè)備打印出來。但現(xiàn)代打印設(shè)備受色域限制和環(huán)境光線變化，理論上的顏色可能無法被準(zhǔn)確還原，導(dǎo)致效果不佳。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問題，提供一種數(shù)字域紅外視覺圖案生成方法、裝置、設(shè)備和存儲(chǔ)器。

2、一種數(shù)字域紅外視覺圖案生成方法，該方法包括：

3、建立基于預(yù)定任務(wù)的圖像數(shù)據(jù)集。

4、選擇多個(gè)預(yù)訓(xùn)練的視覺目標(biāo)檢測模型，并采用圖像數(shù)據(jù)集對(duì)所有預(yù)訓(xùn)練的視覺目標(biāo)檢測模型進(jìn)行微調(diào)。

5、對(duì)圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進(jìn)行處理后，并利用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征，得到預(yù)處理結(jié)果。

6、根據(jù)預(yù)處理結(jié)果采用微調(diào)后的所有視覺目標(biāo)檢測模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值，對(duì)圖像樣本進(jìn)行綜合評(píng)估，篩選出候選視覺樣本。

7、根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)候選視覺樣本進(jìn)行二值化處理，得到數(shù)字域紅外視覺圖案。

8、在其中一個(gè)實(shí)施例中，建立基于預(yù)定任務(wù)的圖像數(shù)據(jù)集，包括：

9、根據(jù)多種開源數(shù)據(jù)集采用目標(biāo)關(guān)鍵詞搜索方法，收集大量目標(biāo)的圖像；目標(biāo)包括非顯著目標(biāo)、紅外目標(biāo)和衛(wèi)星目標(biāo)。

10、對(duì)每張圖像的邊界框、類別、對(duì)象實(shí)例和邊緣標(biāo)簽進(jìn)行精細(xì)標(biāo)注，得到圖像數(shù)據(jù)集。

11、在其中一個(gè)實(shí)施例中，預(yù)訓(xùn)練的代理視覺模型為基于深度學(xué)習(xí)的計(jì)算機(jī)視覺目標(biāo)檢測模型。

12、在其中一個(gè)實(shí)施例中，對(duì)圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進(jìn)行處理后，并利用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征，得到預(yù)處理結(jié)果，包括：

13、采用二維傅里葉變換將圖像樣本變換到頻域，得到頻域的圖像特征。

14、將頻域的圖像特征采用圓形巴特沃斯濾波器進(jìn)行濾波，將濾波后的圖像頻譜特征進(jìn)行二維傅里葉逆變換，得到空間域的圖像特征。

15、對(duì)空間域的圖像特征采用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征，得到預(yù)處理結(jié)果。

16、在其中一個(gè)實(shí)施例中，根據(jù)預(yù)處理結(jié)果采用微調(diào)后的所有視覺目標(biāo)檢測模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值，對(duì)圖像樣本進(jìn)行綜合評(píng)估，篩選出候選視覺樣本，包括：

17、將預(yù)處理結(jié)果輸入到微調(diào)后的所有視覺目標(biāo)檢測模型中，得到視覺目標(biāo)檢測模型的分割、識(shí)別輸出結(jié)果。

18、根據(jù)所有微調(diào)后的視覺目標(biāo)檢測模型輸出的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值，對(duì)圖像樣本進(jìn)行綜合評(píng)估，篩選出候選視覺樣本。

19、在其中一個(gè)實(shí)施例中，根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)候選視覺樣本進(jìn)行二值化處理，得到數(shù)字域紅外視覺圖案，步驟中預(yù)設(shè)的最佳二值閾值的確定步驟包括：

20、對(duì)圖像樣本進(jìn)行直方圖分析，在圖像樣本的像素灰度值范圍內(nèi)以預(yù)設(shè)數(shù)量為間隔探索，確定預(yù)選二值閾值。

21、根據(jù)所述預(yù)選二值閾值、經(jīng)過微調(diào)后的所有所述視覺目標(biāo)檢測模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值，確定最佳二值閾值。

22、在其中一個(gè)實(shí)施例中，根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)候選視覺樣本進(jìn)行二值化處理，得到數(shù)字域紅外視覺圖案，包括：

23、將圖像樣本中大于或等于預(yù)設(shè)的最佳二值閾值的像素值設(shè)置為255，將圖像樣本中小于預(yù)設(shè)的最佳二值閾值的像素值設(shè)置為0，得到數(shù)字域紅外視覺圖案。

24、一種數(shù)字域紅外視覺圖案生成裝置，該裝置包括：

25、圖像數(shù)據(jù)集構(gòu)建模塊，用于建立基于預(yù)定任務(wù)的圖像數(shù)據(jù)集。

26、視覺目標(biāo)檢測模型微調(diào)模塊，用于選擇多個(gè)預(yù)訓(xùn)練的視覺目標(biāo)檢測模型，并采用圖像數(shù)據(jù)集對(duì)所有預(yù)訓(xùn)練的視覺目標(biāo)檢測模型進(jìn)行微調(diào)。

27、圖像樣本預(yù)處理模塊，用于對(duì)圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進(jìn)行處理后，并利用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征，得到預(yù)處理結(jié)果。

28、數(shù)字域紅外視覺圖案生成模塊，用于根據(jù)預(yù)處理結(jié)果采用微調(diào)后的所有視覺目標(biāo)檢測模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值，對(duì)圖像樣本進(jìn)行綜合評(píng)估，篩選出候選視覺樣本；根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)候選視覺樣本進(jìn)行二值化處理，得到數(shù)字域紅外視覺圖案。

29、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一方法的步驟。

30、一種計(jì)算機(jī)可讀存器，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一方法的步驟。

31、上述數(shù)字域紅外視覺圖案生成方法、裝置、設(shè)備和存儲(chǔ)器，所述方法包括：建立基于預(yù)定任務(wù)的圖像數(shù)據(jù)集；選擇多個(gè)預(yù)訓(xùn)練的視覺目標(biāo)檢測模型，并采用圖像數(shù)據(jù)集對(duì)所有預(yù)訓(xùn)練的視覺目標(biāo)檢測模型進(jìn)行微調(diào)；對(duì)圖像樣本進(jìn)行二維傅里葉變換、濾波、二維傅里葉逆變換處理后，并利用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征，得到預(yù)處理結(jié)果，根據(jù)預(yù)處理結(jié)果采用微調(diào)后的所有視覺目標(biāo)檢測模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值，對(duì)圖像樣本進(jìn)行綜合評(píng)估，篩選出候選視覺樣本；根據(jù)預(yù)設(shè)二值閾值對(duì)候選視覺樣本進(jìn)行二值化處理，篩選出更好的視覺圖案，得到數(shù)字域紅外視覺圖案。本方法利用物體關(guān)鍵特征生成的數(shù)字域視覺樣本在ai視覺模型中有較高檢出率，可提高視覺的魯棒性；由于相關(guān)特征被高度壓縮、簡化并增強(qiáng)，物體特征復(fù)雜程度顯著降低，使其更容易在物理域被復(fù)制和實(shí)現(xiàn)。

技術(shù)特征：

1.一種數(shù)字域紅外視覺圖案生成方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，建立基于預(yù)定任務(wù)的圖像數(shù)據(jù)集，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，預(yù)訓(xùn)練的代理視覺模型為基于深度學(xué)習(xí)的計(jì)算機(jī)視覺目標(biāo)檢測模型。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進(jìn)行處理后，并利用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征，得到預(yù)處理結(jié)果，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述預(yù)處理結(jié)果采用微調(diào)后的所有所述視覺目標(biāo)檢測模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值，對(duì)圖像樣本進(jìn)行綜合評(píng)估，篩選出候選視覺樣本，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)所述候選視覺樣本進(jìn)行二值化處理，得到數(shù)字域紅外視覺圖案，步驟中預(yù)設(shè)的最佳二值閾值的確定步驟包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)所述候選視覺樣本進(jìn)行二值化處理，得到數(shù)字域紅外視覺圖案，包括：

8.一種數(shù)字域紅外視覺圖案生成裝置，其特征在于，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)器，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)涉及一種數(shù)字域紅外視覺圖案生成方法、裝置、設(shè)備和存儲(chǔ)器，該方法包括：采用建立的基于預(yù)定任務(wù)圖像數(shù)據(jù)集對(duì)預(yù)訓(xùn)練視覺目標(biāo)檢測模型進(jìn)行微調(diào)；對(duì)圖像樣本進(jìn)行FFT、濾波、IFFT處理，并去除物體邊緣標(biāo)簽之外的特征，根據(jù)將預(yù)處理結(jié)果輸入到多個(gè)視覺目標(biāo)檢測模型中得到的分割、識(shí)別結(jié)果和樣本的信息熵值，對(duì)圖像樣本進(jìn)行綜合評(píng)估，篩選出候選視覺樣本；根據(jù)預(yù)設(shè)二值閾值對(duì)候選視覺樣本進(jìn)行二值化處理，選出更好的數(shù)字域紅外視覺圖案。采用本方法生成的數(shù)字域視覺樣本在AI視覺模型中有較高檢出率，可提高視覺識(shí)別的魯棒性；由于相關(guān)特征被高度壓縮、簡化并增強(qiáng)，物體特征復(fù)雜程度顯著降低，使其更容易在物理域被復(fù)制和實(shí)現(xiàn)。

技術(shù)研發(fā)人員：劉永祥,李銘洋,黎湘,程海峰,關(guān)東方,劉振,劉天鵬,張雙輝
受保護(hù)的技術(shù)使用者：中國人民解放軍國防科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21