本技術(shù)涉及計(jì)算機(jī),具體涉及一種圖像生成中的數(shù)據(jù)處理方法、裝置、電子設(shè)備和計(jì)算機(jī)存儲介質(zhì)。
背景技術(shù):
1、隨著人工智能(artificial?intelligence,簡稱ai)技術(shù)的發(fā)展,人工智能技術(shù)在多個領(lǐng)域具有廣泛的研究和應(yīng)用,比如,圖像生成領(lǐng)域。在圖像生成領(lǐng)域中,文生圖擴(kuò)散大模型能夠?qū)崿F(xiàn)文字到圖像的生成過程。
2、目前,針對文生圖擴(kuò)散大模型進(jìn)行圖像生成訓(xùn)練時,為了提高生成圖像的質(zhì)量,需要對文生圖大模型進(jìn)行不斷的優(yōu)化,尤其是數(shù)據(jù)篩選與標(biāo)注階段,傳統(tǒng)上采用人工標(biāo)注的方式,然而,依靠人工進(jìn)行圖像數(shù)據(jù)篩選的工作量非常大,投入的時間比較多,不僅成本高昂,而且效率低下。
3、因此,如何提供一種能夠針對圖像進(jìn)行自動化篩選以及針對低質(zhì)量圖像異常特征進(jìn)行自動化標(biāo)注的方法,以提高模型的訓(xùn)練效果,同時提高模型預(yù)測的準(zhǔn)確度是目前亟需解決的問題。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供一種圖像生成中的數(shù)據(jù)處理方法,能夠提高圖像生成模型的訓(xùn)練效果,同時提高圖像生成模型預(yù)測的準(zhǔn)確度。
2、本技術(shù)實(shí)施例提供一種圖像生成中的數(shù)據(jù)處理方法,應(yīng)用于電子設(shè)備,所述方法包括:確定待評價美學(xué)質(zhì)量的待評價美學(xué)質(zhì)量圖像;獲得所述待評價美學(xué)質(zhì)量圖像的圖像美學(xué)質(zhì)量評價結(jié)果,所述圖像美學(xué)質(zhì)量評價結(jié)果包括:圖像美學(xué)質(zhì)量評價數(shù)據(jù)以及圖像異常特征;判斷所述圖像美學(xué)質(zhì)量評價數(shù)據(jù)是否符合預(yù)設(shè)閾值;若是,則將所述待評價美學(xué)質(zhì)量圖像確定為高美學(xué)質(zhì)量圖像;若否,則將所述待評價美學(xué)質(zhì)量圖像確定為低美學(xué)質(zhì)量圖像,并確定所述低美學(xué)質(zhì)量圖像的圖像異常特征;根據(jù)所述圖像美學(xué)質(zhì)量評價結(jié)果,獲得樣本數(shù)據(jù),所述樣本數(shù)據(jù)包括所述高美學(xué)質(zhì)量圖像、所述低美學(xué)質(zhì)量圖像以及所述低美學(xué)質(zhì)量圖像的圖像異常特征,所述樣本數(shù)據(jù)用于訓(xùn)練圖像生成模型。
3、可選的,所述獲得所述待評價美學(xué)質(zhì)量圖像的圖像美學(xué)質(zhì)量評價結(jié)果,包括:
4、將所述待評價美學(xué)質(zhì)量圖像輸入到圖像美學(xué)質(zhì)量評價模型中,獲得所述待評價美學(xué)質(zhì)量圖像的圖像美學(xué)質(zhì)量評價結(jié)果。
5、可選的,所述圖像美學(xué)質(zhì)量評價模型按照如下方式進(jìn)行訓(xùn)練:
6、確定待評價美學(xué)質(zhì)量的待評價美學(xué)質(zhì)量圖像樣本;
7、獲得所述待評價美學(xué)質(zhì)量圖像樣本對應(yīng)的圖像美學(xué)質(zhì)量評價結(jié)果樣本,所述圖像美學(xué)質(zhì)量評價結(jié)果樣本包括:圖像美學(xué)質(zhì)量評價數(shù)據(jù)樣本以及圖像異常特征樣本;
8、將每一所述待評價美學(xué)質(zhì)量圖像樣本、每一圖像美學(xué)質(zhì)量評價結(jié)果樣本作為一組訓(xùn)練樣本對,所述訓(xùn)練樣本對用于訓(xùn)練所述圖像美學(xué)質(zhì)量評價模型;
9、獲得初始圖像美學(xué)質(zhì)量評價模型;
10、將所述待評價美學(xué)質(zhì)量圖像樣本輸入到所述初始圖像美學(xué)質(zhì)量評價模型中,獲得初始預(yù)測圖像美學(xué)質(zhì)量評價結(jié)果;
11、如果所述初始預(yù)測圖像美學(xué)質(zhì)量評價結(jié)果與所述圖像美學(xué)質(zhì)量評價結(jié)果樣本之間的損失數(shù)據(jù)滿足可接受的損失條件,則將所述初始圖像美學(xué)質(zhì)量評價模型確定為所述圖像美學(xué)質(zhì)量評價模型,否則,調(diào)整所述初始圖像美學(xué)質(zhì)量評價模型中的模型參數(shù),直至通過調(diào)整模型參數(shù)后的圖像美學(xué)質(zhì)量評價模型獲得的預(yù)測圖像美學(xué)質(zhì)量評價結(jié)果與所述圖像美學(xué)質(zhì)量評價結(jié)果樣本之間的損失數(shù)據(jù)滿足所述可接受的損失條件為止,將調(diào)整模型參數(shù)后的圖像美學(xué)質(zhì)量評價模型確定為所述圖像美學(xué)質(zhì)量評價模型。
12、可選的,所述獲得所述待評價美學(xué)質(zhì)量圖像樣本對應(yīng)的圖像美學(xué)質(zhì)量評價結(jié)果樣本,包括:
13、確定用于評價圖像美學(xué)質(zhì)量的圖像美學(xué)質(zhì)量評價標(biāo)準(zhǔn);
14、基于所述圖像美學(xué)質(zhì)量評價標(biāo)準(zhǔn),獲得所述待評價美學(xué)質(zhì)量圖像樣本對應(yīng)的圖像美學(xué)質(zhì)量評價結(jié)果樣本。
15、可選的,所述確定用于評價圖像美學(xué)質(zhì)量的圖像美學(xué)質(zhì)量評價標(biāo)準(zhǔn),包括:
16、獲得圖像的構(gòu)成特征,所述構(gòu)成特征包括圖像構(gòu)成的基本特征和圖像構(gòu)成的場景特征;
17、根據(jù)圖像構(gòu)成的基本特征和圖像構(gòu)成的場景特征,確定用于評價圖像美學(xué)質(zhì)量的圖像美學(xué)質(zhì)量評價標(biāo)準(zhǔn)。
18、可選的,所述圖像構(gòu)成的基本特征包括以下至少一種:物體形態(tài)特征、環(huán)境布局特征、構(gòu)圖特征、光影特征和質(zhì)感特征;
19、所述圖像構(gòu)成的場景特征包括以下至少一種:圖像構(gòu)成特征的真實(shí)性特征和圖像構(gòu)成場景的合理性特征。
20、可選的,所述根據(jù)圖像構(gòu)成的基本特征和圖像構(gòu)成的場景特征,確定用于評價圖像美學(xué)質(zhì)量的圖像美學(xué)質(zhì)量評價標(biāo)準(zhǔn),包括:
21、如果圖像構(gòu)成特征的真實(shí)性特征滿足以下條件:所述圖像的物體形態(tài)特征準(zhǔn)確度滿足預(yù)設(shè)條件、所述環(huán)境布局特征的匹配度滿足預(yù)設(shè)條件、所述構(gòu)圖特征的畫面布局滿足預(yù)設(shè)條件、所述光影特征的色彩還原度滿足預(yù)設(shè)條件、所述質(zhì)感特征的材質(zhì)匹配度滿足預(yù)設(shè)條件,且圖像構(gòu)成場景的合理性特征滿足以下條件:所述圖像的物體形態(tài)的和諧舒適程度滿足預(yù)設(shè)要求、環(huán)境背景之間的映襯度滿足預(yù)設(shè)要求、構(gòu)圖質(zhì)量滿足預(yù)設(shè)要求、光影的色感度滿足預(yù)設(shè)要求、質(zhì)感的多維特征滿足預(yù)設(shè)要求,則所述圖像符合圖像美學(xué)質(zhì)量評價標(biāo)準(zhǔn)。
22、可選的,所述基于所述圖像美學(xué)質(zhì)量評價標(biāo)準(zhǔn),獲得所述待評價美學(xué)質(zhì)量圖像樣本對應(yīng)的圖像美學(xué)質(zhì)量評價結(jié)果樣本,包括:
23、判斷所述待評價美學(xué)質(zhì)量圖像樣本是否符合所述圖像美學(xué)質(zhì)量評價標(biāo)準(zhǔn);
24、如果所述待評價美學(xué)質(zhì)量圖像樣本的美學(xué)質(zhì)量評價結(jié)果滿足所述圖像美學(xué)質(zhì)量評價標(biāo)準(zhǔn),則將所述待評價美學(xué)質(zhì)量圖像樣本確定為高美學(xué)質(zhì)量圖像樣本;
25、如果所述待評價美學(xué)質(zhì)量圖像樣本的美學(xué)質(zhì)量評價結(jié)果不滿足所述圖像美學(xué)質(zhì)量評價標(biāo)準(zhǔn),則將所述待評價美學(xué)質(zhì)量圖像樣本確定為低美學(xué)質(zhì)量圖像樣本,并獲得所述低美學(xué)質(zhì)量圖像樣本的圖像異常特征樣本;
26、將所述高美學(xué)質(zhì)量圖像樣本、所述低美學(xué)質(zhì)量圖像樣本以及所述低美學(xué)質(zhì)量圖像樣本的圖像異常特征樣本確定為所述待評價美學(xué)質(zhì)量圖像樣本對應(yīng)的圖像美學(xué)質(zhì)量評價結(jié)果樣本。
27、可選的,所述將每一所述待評價美學(xué)質(zhì)量圖像樣本、每一圖像美學(xué)質(zhì)量評價結(jié)果樣本作為一組訓(xùn)練樣本對,所述訓(xùn)練樣本對用于訓(xùn)練所述圖像美學(xué)質(zhì)量評價模型,包括:
28、將所述待評價美學(xué)質(zhì)量圖像樣本輸入到所述初始圖像美學(xué)質(zhì)量評價模型的圖像編碼器以及將所述圖像異常特征樣本輸入所述初始圖像美學(xué)質(zhì)量評價模型的文本編碼器,獲得所述待評價美學(xué)質(zhì)量圖像樣本的美學(xué)質(zhì)量評價結(jié)果。
29、可選的,還包括:
30、獲得所述圖像生成模型生成的生成圖像;
31、將所述生成圖像作為待評價美學(xué)質(zhì)量的待評價美學(xué)質(zhì)量圖像。
32、可選的,還包括:
33、根據(jù)所述樣本數(shù)據(jù)訓(xùn)練所述圖像生成模型。
34、可選的,所述圖像生成模型為文生圖擴(kuò)散模型。
35、可選的,還包括:
36、確定包含預(yù)設(shè)內(nèi)容的文字描述信息;
37、將所述文字描述信息輸入所述文生圖模型,獲得與所述文字描述信息對應(yīng)的圖像信息;
38、根據(jù)所述文字描述信息以及圖像信息,利用圖像美學(xué)質(zhì)量評價模型,獲得所述文字描述信息與所述圖像信息的匹配度。
39、可選的,所述根據(jù)所述文字描述信息以及圖像信息,利用圖像美學(xué)質(zhì)量評價模型,獲得所述文字描述信息與所述圖像信息的匹配度,包括:
40、將所述文字描述信息以及圖像信息輸入所述圖像美學(xué)質(zhì)量評價模型;
41、判斷所述圖像信息是否與所述文字描述信息匹配;
42、如果是,則將所述圖像信息確定為目標(biāo)生成圖像;
43、如果否,則針對所述圖像信息進(jìn)行調(diào)整,直至所述圖像信息與所述文字描述信息匹配。
44、本技術(shù)實(shí)施例還提供一種圖像生成中的數(shù)據(jù)處理裝置,應(yīng)用于電子設(shè)備,所述裝置包括:待評價美學(xué)質(zhì)量圖像確定單元,用于確定待評價美學(xué)質(zhì)量的待評價美學(xué)質(zhì)量圖像;圖像美學(xué)質(zhì)量評價結(jié)果獲得單元,用于獲得所述待評價美學(xué)質(zhì)量圖像的圖像美學(xué)質(zhì)量評價結(jié)果,所述圖像美學(xué)質(zhì)量評價結(jié)果包括:圖像美學(xué)質(zhì)量評價數(shù)據(jù)以及圖像異常特征;判斷單元,用于判斷所述圖像美學(xué)質(zhì)量評價數(shù)據(jù)是否符合預(yù)設(shè)閾值;若是,則將所述待評價美學(xué)質(zhì)量圖像確定為高美學(xué)質(zhì)量圖像;若否,則將所述待評價美學(xué)質(zhì)量圖像確定為低美學(xué)質(zhì)量圖像,并確定所述低美學(xué)質(zhì)量圖像的圖像異常特征;樣本數(shù)據(jù)獲得單元,用于根據(jù)所述圖像美學(xué)質(zhì)量評價結(jié)果,獲得樣本數(shù)據(jù),所述樣本數(shù)據(jù)包括所述高美學(xué)質(zhì)量圖像、所述低美學(xué)質(zhì)量圖像以及所述低美學(xué)質(zhì)量圖像的圖像異常特征,所述樣本數(shù)據(jù)用于訓(xùn)練圖像生成模型。
45、本技術(shù)還提供一種電子設(shè)備,所述電子設(shè)備包括處理器和存儲器;所述存儲器中存儲有計(jì)算機(jī)程序,所述處理器運(yùn)行所述計(jì)算機(jī)程序后,執(zhí)行上述方法。
46、本技術(shù)還提供一種計(jì)算機(jī)存儲介質(zhì),所述計(jì)算機(jī)存儲介質(zhì)存儲有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器運(yùn)行后,執(zhí)行上述方法。
47、與現(xiàn)有技術(shù)相比,本技術(shù)實(shí)施例具有以下優(yōu)點(diǎn):
48、本技術(shù)實(shí)施例提供一種圖像生成中的數(shù)據(jù)處理方法,包括:確定待評價美學(xué)質(zhì)量的待評價美學(xué)質(zhì)量圖像;獲得所述待評價美學(xué)質(zhì)量圖像的圖像美學(xué)質(zhì)量評價結(jié)果,所述圖像美學(xué)質(zhì)量評價結(jié)果包括:圖像美學(xué)質(zhì)量評價數(shù)據(jù)以及圖像異常特征;判斷所述圖像美學(xué)質(zhì)量評價數(shù)據(jù)是否符合預(yù)設(shè)閾值;若是,則將所述待評價美學(xué)質(zhì)量圖像確定為高美學(xué)質(zhì)量圖像;若否,則將所述待評價美學(xué)質(zhì)量圖像確定為低美學(xué)質(zhì)量圖像,并確定所述低美學(xué)質(zhì)量圖像的圖像異常特征;根據(jù)所述圖像美學(xué)質(zhì)量評價結(jié)果,獲得樣本數(shù)據(jù),所述樣本數(shù)據(jù)包括所述高美學(xué)質(zhì)量圖像、所述低美學(xué)質(zhì)量圖像以及所述低美學(xué)質(zhì)量圖像的圖像異常特征,所述樣本數(shù)據(jù)用于訓(xùn)練圖像生成模型。
49、本技術(shù)實(shí)施例所述圖像生成中的數(shù)據(jù)處理方法,能夠自動獲得待評價美學(xué)質(zhì)量圖像的圖像美學(xué)質(zhì)量評價結(jié)果,從中優(yōu)先篩選出高美學(xué)質(zhì)量圖像,并且,能夠?qū)崿F(xiàn)對低美學(xué)質(zhì)量圖像進(jìn)行異常特征的自動化標(biāo)注,有效降低了人工數(shù)據(jù)篩選與異常特征標(biāo)注的工作量和時間成本,提高了圖像生成模型的訓(xùn)練效果,同時提高了圖像生成模型預(yù)測的準(zhǔn)確度。