本申請(qǐng)涉及人工智能領(lǐng)域，具體涉及基于多模態(tài)大模型的車牌脫敏方法、裝置、設(shè)備、芯片以及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、車輛的哨兵模式時(shí)需要使用車外環(huán)視攝像頭對(duì)車外場(chǎng)景錄像，圖像或視頻傳出車外時(shí)需要對(duì)圖像中的敏感信息進(jìn)行脫敏，如需要遮擋其他車輛車牌，因此，需要對(duì)圖像或視頻中的車牌進(jìn)行識(shí)，目前車牌識(shí)別的方法一般包括支持向量機(jī)、目標(biāo)檢測(cè)、和圖像分割。

2、由于待脫敏圖像或視頻使用環(huán)視攝像頭拍攝，畫面存在畸變，使用檢測(cè)模型無(wú)法很好的應(yīng)對(duì)圖像中車牌的畸變，存在很多誤檢和漏檢。使用圖像分割模型可以較好的應(yīng)對(duì)畸變圖像，但由于需要針對(duì)圖像中所有像素進(jìn)行分類，容易產(chǎn)生誤檢。而在使用傳統(tǒng)視覺算法做檢測(cè)時(shí)，會(huì)存在很多相同的照片，他們的車牌位置沒有發(fā)生過變化，但被重復(fù)檢測(cè)。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種基于多模態(tài)大模型的車牌脫敏方法、裝置、設(shè)備、芯片以及存儲(chǔ)介質(zhì)，以減少對(duì)車牌脫敏過程中的漏檢和誤檢。

2、根據(jù)本申請(qǐng)實(shí)施例的第一方面，提供了一種基于多模態(tài)大模型的車牌脫敏方法，方法包括：

3、獲取待脫敏圖像以及任務(wù)提示指令，任務(wù)提示指令包括目標(biāo)描述文本和輸出要求文本，目標(biāo)描述文本包括第一任務(wù)的描述文本，第一任務(wù)用于從待脫敏圖像中提取車牌數(shù)據(jù)，輸出要求文本包括輸出提取的車牌數(shù)據(jù)的要求；

4、將任務(wù)指示指令和待脫敏圖像輸入預(yù)先訓(xùn)練的多模態(tài)大模型，以使多模態(tài)大模型通過執(zhí)行任務(wù)提示指令，得到模型輸出結(jié)果，模型輸出結(jié)果包括從待脫敏圖像中提取得到車牌數(shù)據(jù)；多模態(tài)大模型通過對(duì)多模態(tài)大語(yǔ)言模型進(jìn)行車牌數(shù)據(jù)提取訓(xùn)練得到；

5、基于車牌數(shù)據(jù)，對(duì)車牌進(jìn)行脫敏操作。

6、在一個(gè)實(shí)施例中，目標(biāo)描述文本還包括第二任務(wù)的描述文本，第二任務(wù)用于從待脫敏圖像中識(shí)別車輛并確定車輛類型，輸出要求文本還包括輸出車輛類型以及車輛在待脫敏圖像中的位置信息的要求；

7、模型輸出結(jié)果還包括從待脫敏圖像中識(shí)別的車輛的類型信息和車輛位置信息。

8、在一個(gè)實(shí)施例中，目標(biāo)描述文本還包括第三任務(wù)的描述文本，第三任務(wù)用于從待脫敏圖像中識(shí)別車輛的數(shù)量并確定車輛的真實(shí)性，輸出要求文本還包括輸出車輛序號(hào)以及車輛真實(shí)性判斷結(jié)果的要求；

9、模型輸出結(jié)果還包括從待脫敏圖像中識(shí)別的車輛數(shù)量和車輛真實(shí)性判斷結(jié)果。

10、在一個(gè)實(shí)施例中，目標(biāo)描述文本還包括第四任務(wù)的描述文本，第四任務(wù)用于從待脫敏圖像中識(shí)別車牌位置，輸出要求文本還包括輸出車牌位置信息的要求，模型輸出結(jié)果還包括從待脫敏圖像中識(shí)別車牌的位置信息。

11、在一個(gè)實(shí)施例中，目標(biāo)描述文本還包括第五任務(wù)的描述文本，第五任務(wù)用于從待脫敏圖像中確定車牌的真實(shí)性，輸出要求文本還包括輸出車牌真實(shí)性判斷結(jié)果的要求；

12、模型輸出結(jié)果還包括對(duì)車牌真實(shí)性的判斷結(jié)果。

13、在一個(gè)實(shí)施例中，目標(biāo)描述文本還包括第六任務(wù)的描述文本，第六任務(wù)用于從待脫敏圖像中判斷車牌是否被遮擋，輸出要求文本包括輸出車牌是否被遮擋的判斷結(jié)果的要求；

14、模型輸出結(jié)果還包括對(duì)車牌是否被遮擋的判斷結(jié)果。

15、在一個(gè)實(shí)施例中，目標(biāo)描述文本還包括第七任務(wù)的描述文本，第七任務(wù)用于判斷車牌是否符合車輛編號(hào)規(guī)則，輸出要求文本還包括輸出車牌是否符合車輛編號(hào)規(guī)則的判斷結(jié)果的要求；

16、模型輸出結(jié)果還包括對(duì)車牌是否符合車輛編號(hào)規(guī)則的判斷結(jié)果。

17、在一個(gè)實(shí)施例中，當(dāng)待脫敏圖像為連續(xù)視頻幀中的一幀時(shí)，目標(biāo)描述文本還包括第八任務(wù)的描述文本，第八任務(wù)用于判斷待脫敏圖像是否與相鄰幀的圖像重復(fù)，輸出要求文本還包括輸出對(duì)待脫敏圖像的重復(fù)性的判斷結(jié)果的要求；

18、模型輸出結(jié)果還包括對(duì)待脫敏圖像的重復(fù)性判斷結(jié)果。

19、根據(jù)本申請(qǐng)實(shí)施例的第二方面，提供了一種基于多模態(tài)大模型的車牌脫敏裝置，裝置包括：

20、獲取單元，用于獲取待脫敏圖像以及任務(wù)提示指令，任務(wù)提示指令包括目標(biāo)描述文本和輸出要求文本，目標(biāo)描述文本包括第一任務(wù)的描述文本，第一任務(wù)用于從待脫敏圖像中提取車牌數(shù)據(jù)，輸出要求文本包括輸出提取的車牌數(shù)據(jù)的要求；

21、輸出單元，用于將任務(wù)指示指令和待脫敏圖像輸入預(yù)先訓(xùn)練的多模態(tài)大模型，以使多模態(tài)大模型通過執(zhí)行任務(wù)提示指令，得到模型輸出結(jié)果，模型輸出結(jié)果包括從待脫敏圖像中提取得到車牌數(shù)據(jù)；多模態(tài)大模型通過對(duì)多模態(tài)大語(yǔ)言模型進(jìn)行車牌數(shù)據(jù)提取訓(xùn)練得到；

22、脫敏單元，用于基于車牌數(shù)據(jù)，對(duì)車牌進(jìn)行脫敏操作。

23、根據(jù)本申請(qǐng)實(shí)施例的第三方面，提供了一種電子設(shè)備，電子設(shè)備包括存儲(chǔ)器和處理器；

24、存儲(chǔ)器與處理器連接，用于存儲(chǔ)程序；

25、處理器用于通過運(yùn)行存儲(chǔ)器中的程序，實(shí)現(xiàn)第一方面或者第一方面的任一可能實(shí)現(xiàn)方式中的方法。

26、根據(jù)本申請(qǐng)實(shí)施例的第四方面，提供了一種芯片，芯片包括處理器和數(shù)據(jù)接口，處理器通過數(shù)據(jù)接口讀取并運(yùn)行存儲(chǔ)器上存儲(chǔ)的程序，以執(zhí)行第一方面或者第一方面的任一可能實(shí)現(xiàn)方式中的方法。

27、根據(jù)本申請(qǐng)實(shí)施例的第四方面，提供了一種存儲(chǔ)介質(zhì)，存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器運(yùn)行時(shí)，實(shí)現(xiàn)第一方面或者第一方面的任一可能實(shí)現(xiàn)方式中的方法。

28、本發(fā)明實(shí)施例提供的基于多模態(tài)大模型的車牌脫敏方法、裝置、設(shè)備、芯片和介質(zhì)，通過獲取待脫敏圖像以及任務(wù)提示指令，將任務(wù)指示指令和待脫敏圖像輸入預(yù)先訓(xùn)練的多模態(tài)大模型，以使多模態(tài)大模型通過執(zhí)行任務(wù)提示指令，得到模型輸出結(jié)果，模型輸出結(jié)果包括從待脫敏圖像中提取得到車牌數(shù)據(jù)；最后基于車牌數(shù)據(jù)，對(duì)車牌進(jìn)行脫敏操作。本發(fā)明實(shí)施例提供的車牌脫敏方法，通過任務(wù)指示指令引導(dǎo)多模態(tài)大模型完成車牌的識(shí)別，由于多模態(tài)大模型具有強(qiáng)大的識(shí)別能力以及推理力，能夠在任務(wù)指示指令的引導(dǎo)下，實(shí)現(xiàn)對(duì)車牌的識(shí)別，進(jìn)一步完成脫敏操作，能夠?qū)儓D形有更好的識(shí)別效果，同時(shí)也能夠避免由于號(hào)牌遮擋以及重復(fù)性檢測(cè)帶來(lái)的誤檢。

技術(shù)特征：

1.一種基于多模態(tài)大模型的車牌脫敏方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于多模態(tài)大模型的車牌脫敏方法，其特征在于，所述目標(biāo)描述文本還包括第二任務(wù)的描述文本，所述第二任務(wù)用于從所述待脫敏圖像中識(shí)別車輛并確定車輛類型，所述輸出要求文本還包括輸出車輛類型以及所述車輛在所述待脫敏圖像中的位置信息的要求；

3.根據(jù)權(quán)利要求1所述的基于多模態(tài)大模型的車牌脫敏方法，其特征在于，所述目標(biāo)描述文本還包括第三任務(wù)的描述文本，所述第三任務(wù)用于從所述待脫敏圖像中識(shí)別車輛的數(shù)量并確定車輛的真實(shí)性，所述輸出要求文本還包括輸出車輛序號(hào)以及車輛真實(shí)性判斷結(jié)果的要求；

4.根據(jù)權(quán)利要求1所述的基于多模態(tài)大模型的車牌脫敏方法，其特征在于，所述目標(biāo)描述文本還包括第四任務(wù)的描述文本，所述第四任務(wù)用于從所述待脫敏圖像中識(shí)別車牌位置，所述輸出要求文本還包括輸出車牌位置信息的要求，

5.根據(jù)權(quán)利要求4所述的基于多模態(tài)大模型的車牌脫敏方法，其特征在于，所述目標(biāo)描述文本還包括第五任務(wù)的描述文本，所述第五任務(wù)用于從所述待脫敏圖像中確定車牌的真實(shí)性，所述輸出要求文本還包括輸出車牌真實(shí)性判斷結(jié)果的要求；

6.根據(jù)權(quán)利要求1所述的基于多模態(tài)大模型的車牌脫敏方法，其特征在于，所述目標(biāo)描述文本還包括第六任務(wù)的描述文本，所述第六任務(wù)用于從所述待脫敏圖像中判斷所述車牌是否被遮擋，所述輸出要求文本包括輸出車牌是否被遮擋的判斷結(jié)果的要求；

7.根據(jù)權(quán)利要求1所述的基于多模態(tài)大模型的車牌脫敏方法，其特征在于，所述目標(biāo)描述文本還包括第七任務(wù)的描述文本，所述第七任務(wù)用于判斷所述車牌是否符合車輛編號(hào)規(guī)則，所述輸出要求文本還包括輸出車牌是否符合車輛編號(hào)規(guī)則的判斷結(jié)果的要求；

8.根據(jù)權(quán)利要求1所述的基于多模態(tài)大模型的車牌脫敏方法，其特征在于，當(dāng)所述待脫敏圖像為連續(xù)視頻幀中的一幀時(shí)，

9.一種基于多模態(tài)大模型的車牌脫敏裝置，其特征在于，包括：

10.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器和處理器；

11.一種芯片，其特征在于，包括處理器和數(shù)據(jù)接口，所述處理器通過所述數(shù)據(jù)接口讀取并運(yùn)行存儲(chǔ)器上存儲(chǔ)的程序，以執(zhí)行如權(quán)利要求1至8中任意一項(xiàng)所述的基于多模態(tài)大模型的車牌脫敏方法。

12.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1至8中任意一項(xiàng)所述的基于多模態(tài)大模型的車牌脫敏方法。

技術(shù)總結(jié)
本發(fā)明實(shí)施例公開了一種基于多模態(tài)大模型的車牌脫敏方法、裝置、設(shè)備、芯片以及計(jì)算機(jī)介質(zhì)，方法包括獲取待脫敏圖像以及任務(wù)提示指令，任務(wù)提示指令包括目標(biāo)描述文本和輸出要求文本，目標(biāo)描述文本包括第一任務(wù)的描述文本，第一任務(wù)用于從待脫敏圖像中提取車牌數(shù)據(jù)，輸出要求文本包括輸出提取的車牌數(shù)據(jù)的要求；將任務(wù)指示指令和待脫敏圖像輸入預(yù)先訓(xùn)練的多模態(tài)大模型，以使多模態(tài)大模型通過執(zhí)行任務(wù)提示指令，得到模型輸出結(jié)果，模型輸出結(jié)果包括從待脫敏圖像中提取得到車牌數(shù)據(jù)；多模態(tài)大模型通過對(duì)多模態(tài)大語(yǔ)言模型進(jìn)行車牌數(shù)據(jù)提取訓(xùn)練得到；基于車牌數(shù)據(jù)，對(duì)車牌進(jìn)行脫敏操作。本發(fā)明實(shí)施例提供的車牌脫敏方法能夠減少誤檢和漏檢。

技術(shù)研發(fā)人員：于承揚(yáng),徐剛,鄭良立,李陽(yáng),韋邕,趙晨旭,張劍
受保護(hù)的技術(shù)使用者：浙江吉利控股集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9