基于fMRI視覺功能數(shù)據(jù)DeconvNet的圖像關(guān)注目標(biāo)語(yǔ)義分割方法
【專利摘要】本發(fā)明涉及一種基于fMRI視覺功能數(shù)據(jù)DeconvNet的圖像關(guān)注目標(biāo)語(yǔ)義分割方法，通過被試在自然場(chǎng)景圖像刺激下采集到的fMRI視覺功能數(shù)據(jù)，訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型，將其映射到關(guān)注目標(biāo)類別標(biāo)簽上進(jìn)行模型優(yōu)化；構(gòu)造與優(yōu)化后的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)稱的深度網(wǎng)絡(luò)模型，利用fMRI視覺功能數(shù)據(jù)及刺激圖像相對(duì)應(yīng)的語(yǔ)義分割結(jié)果優(yōu)化該模型參數(shù)，獲得fMRI視覺功能數(shù)據(jù)到逐像素語(yǔ)義分割結(jié)果的映射；采集被試觀看測(cè)試圖像的fMRI視覺功能數(shù)據(jù)，確定被試關(guān)注目標(biāo)類別和逐像素語(yǔ)義分割結(jié)果，分割出關(guān)注目標(biāo)區(qū)域和相應(yīng)目標(biāo)語(yǔ)義。本發(fā)明對(duì)被試觀看自然場(chǎng)景圖像時(shí)所引發(fā)的fMRI視覺功能數(shù)據(jù)進(jìn)行解析，提取出刺激圖像中所有目標(biāo)類別并獲得語(yǔ)義分割結(jié)果，提高關(guān)注目標(biāo)提取的準(zhǔn)確性。
【專利說明】基于fMRI視覺功能數(shù)據(jù)DeconvNet的圖像關(guān)注目標(biāo)語(yǔ)義分割方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及人機(jī)交互fMRI視覺功能數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種基于fMRI視覺功能數(shù)據(jù)DeconvNet的圖像關(guān)注目標(biāo)語(yǔ)義分割方法。
【背景技術(shù)】
[0002]視覺信息獲取是人類獲取外界信息最主要的方式，其解讀方法也是神經(jīng)科學(xué)的研究重點(diǎn)。長(zhǎng)期以來，大量研究人員從各種不同的角度嘗試用計(jì)算機(jī)模擬和擴(kuò)展人類視覺功能。而在神經(jīng)科學(xué)領(lǐng)域，一直有一個(gè)具有極大吸引力的問題，那就是為什么人腦可以用很少的精力來完成比如物體識(shí)別、場(chǎng)景理解等高級(jí)視覺任務(wù)。近年來，神經(jīng)影像技術(shù)取得了長(zhǎng)足的進(jìn)步，功能磁共振成像(funct1nal Magnetic Resonance Imaging,fMRI)以其非侵入、時(shí)空分辨率好等特點(diǎn)成為研究大腦視覺信息處理機(jī)制的主要神經(jīng)影像手段。為了系統(tǒng)研究人腦視覺功能活動(dòng)，了解人腦對(duì)于視覺信息的處理機(jī)制，人腦視覺功能腦區(qū)的fMRI信號(hào)解析技術(shù)取得了顯著的進(jìn)展，這些研究也被稱為視覺信息編解碼技術(shù)研究。視覺信息的編碼技術(shù)，是一種視覺認(rèn)知正向計(jì)算的技術(shù)，通過建立視覺計(jì)算模型即視覺編碼模型，預(yù)測(cè)任意視覺刺激所能引發(fā)的大腦視覺功能的響應(yīng)。而視覺解碼技術(shù)則是由測(cè)量到的腦功能活動(dòng)信號(hào)恢復(fù)出視覺刺激的類別、場(chǎng)景、細(xì)節(jié)等信息。
[0003]2001年，Haxby等人證明視覺目標(biāo)的類別信息在腹側(cè)顳葉(ventral temporallobe)分布式地表達(dá)，利用該腦區(qū)的體素激活模式能夠準(zhǔn)確地分辨多種目標(biāo)類別。2003年，Cox等人應(yīng)用多體素模式分類方法進(jìn)行十種類別物體的分類。2010年，Chen等人提出基于皮層表面探照燈(Searchlight)的特征選擇方法對(duì)旋轉(zhuǎn)的樂器、椅子和小船進(jìn)行了分類。2012年，Connolly等人研究人腦生物種類的表達(dá)，對(duì)不同的靈長(zhǎng)類、鳥類、昆蟲進(jìn)行了分類。盡管現(xiàn)有研究已經(jīng)能夠?qū)τ谀骋活悇e的圖像刺激所引發(fā)的fMRI視覺功能數(shù)據(jù)解析出其所屬類另IJ，然而對(duì)于被試所關(guān)注的目標(biāo)語(yǔ)義的提取，卻沒有相應(yīng)的研究成果。

【發(fā)明內(nèi)容】

[0004]為克服現(xiàn)有技術(shù)中的不足，本發(fā)明提供一種基于fMRI視覺功能數(shù)據(jù)DeconvNet的圖像關(guān)注目標(biāo)語(yǔ)義分割方法，能夠?qū)Ρ辉囉^看自然場(chǎng)景圖像時(shí)所引發(fā)的fMRI視覺功能數(shù)據(jù)進(jìn)行解析，提取出刺激圖像中所有目標(biāo)類別并獲得語(yǔ)義分割結(jié)果，進(jìn)一步提升了對(duì)于人腦視覺功能的解析能力。
[0005]按照本發(fā)明所提供的設(shè)計(jì)方案，一種基于fMRI視覺功能數(shù)據(jù)DeconvNet的圖像關(guān)注目標(biāo)語(yǔ)義分割方法，包含如下步驟:
[0006]步驟1、采集被試在自然場(chǎng)景圖像刺激下的fMRI視覺功能數(shù)據(jù)，訓(xùn)練一個(gè)由刺激圖像到fMRI視覺功能數(shù)據(jù)的深度卷積神經(jīng)網(wǎng)絡(luò)模型，及一個(gè)由fMRI視覺功能數(shù)據(jù)到關(guān)注目標(biāo)類別的線性映射模型，將訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)模型映射到線性映射模型上，進(jìn)行網(wǎng)絡(luò)模型優(yōu)化；
[0007]步驟2、構(gòu)造一個(gè)與網(wǎng)絡(luò)模型優(yōu)化后的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)稱的反卷積深度網(wǎng)絡(luò)模型，利用fMRI視覺功能數(shù)據(jù)及刺激圖像相對(duì)應(yīng)的語(yǔ)義分割結(jié)果對(duì)反卷積深度網(wǎng)絡(luò)模型進(jìn)行優(yōu)化處理，獲得fMRI視覺功能數(shù)據(jù)到逐像素語(yǔ)義分割結(jié)果的映射，得到語(yǔ)義分割深度網(wǎng)絡(luò)豐吳型；
[0008]步驟3、采集被試觀看測(cè)試圖像時(shí)的fMRI視覺功能數(shù)據(jù)，通過語(yǔ)義分割深度網(wǎng)絡(luò)模型，得到圖像逐像素語(yǔ)義分割結(jié)果；
[0009]步驟4、通過關(guān)注目標(biāo)類別的線性映射模型，得到被試圖像關(guān)注的目標(biāo)類別；
[0010]步驟5、根據(jù)步驟3得到的圖像逐像素語(yǔ)義分割結(jié)果及步驟4中得到的被試圖像關(guān)注的目標(biāo)類別，分割出被試關(guān)注的目標(biāo)區(qū)域和相應(yīng)目標(biāo)語(yǔ)義。
[0011]上述的，步驟2中反卷積深度網(wǎng)絡(luò)模型包括反卷積層、反池化層，由根據(jù)采集到的被試fMRI視覺功能數(shù)據(jù)作為輸入，刺激圖像對(duì)應(yīng)的關(guān)注目標(biāo)語(yǔ)義分割結(jié)果作為輸出，優(yōu)化訓(xùn)練模型參數(shù)，訓(xùn)練學(xué)習(xí)各層的反卷積核，反池化層采用深度卷積神經(jīng)網(wǎng)絡(luò)中池化層的操作進(jìn)行上采樣，訓(xùn)練獲得fMRI視覺功能數(shù)據(jù)到圖像語(yǔ)義分割結(jié)果的反卷積深度網(wǎng)絡(luò)模型。
[0012]本發(fā)明的有益效果:
[0013]本發(fā)明通過構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型模擬自然場(chǎng)景圖像到fMRI視覺功能數(shù)據(jù)的映射關(guān)系，利用與其對(duì)稱的反卷積網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練從fMRI視覺功能數(shù)據(jù)到關(guān)注目標(biāo)類別語(yǔ)義分割結(jié)果的深度網(wǎng)絡(luò)模型，獲得圖像中包含在訓(xùn)練類別集合內(nèi)的各個(gè)目標(biāo)類別語(yǔ)義分割結(jié)果，從而提取出圖像中關(guān)注目標(biāo)，能夠?qū)Ρ辉囉^看自然場(chǎng)景圖像時(shí)所引發(fā)的fMRI視覺功能數(shù)據(jù)進(jìn)行解析，提取出刺激圖像中所有目標(biāo)類別并獲得語(yǔ)義分割結(jié)果，提高關(guān)注目標(biāo)提取的準(zhǔn)確性，進(jìn)一步提升對(duì)人腦視覺功能的解析能力。
【附圖說明】
:
[0014]圖1為本發(fā)明的流程示意圖。
【具體實(shí)施方式】
:
[0015]現(xiàn)有圖像數(shù)據(jù)集(如PascalVOC數(shù)據(jù)集)中提供標(biāo)記的圖像語(yǔ)義分割結(jié)果，另外還可以通過人工標(biāo)記的方式得到圖像語(yǔ)義分割結(jié)果;通過這兩種方式可以滿足網(wǎng)絡(luò)訓(xùn)練時(shí)對(duì)圖像語(yǔ)義分割結(jié)果的需要。
[0016]下面結(jié)合附圖和技術(shù)方案對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明，并通過優(yōu)選的實(shí)施例詳細(xì)說明本發(fā)明的實(shí)施方式，但本發(fā)明的實(shí)施方式并不限于此。
[0017]實(shí)施例一，參見圖1所示，一種基于fMRI視覺功能數(shù)據(jù)DeconvNet的圖像關(guān)注目標(biāo)語(yǔ)義分割方法，包含如下步驟:
[0018]步驟1、采集被試在自然場(chǎng)景圖像刺激下的fMRI視覺功能數(shù)據(jù)，訓(xùn)練一個(gè)由刺激圖像到fMRI視覺功能數(shù)據(jù)的深度卷積神經(jīng)網(wǎng)絡(luò)模型，及一個(gè)由fMRI視覺功能數(shù)據(jù)到關(guān)注目標(biāo)類別的線性映射模型，將訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)模型映射到線性映射模型上，進(jìn)行網(wǎng)絡(luò)模型優(yōu)化；
[0019]步驟2、構(gòu)造一個(gè)與網(wǎng)絡(luò)模型優(yōu)化后的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)稱的反卷積深度網(wǎng)絡(luò)模型，利用fMRI視覺功能數(shù)據(jù)及刺激圖像相對(duì)應(yīng)的語(yǔ)義分割結(jié)果對(duì)反卷積深度網(wǎng)絡(luò)模型進(jìn)行優(yōu)化處理，獲得fMRI視覺功能數(shù)據(jù)到逐像素語(yǔ)義分割結(jié)果的映射，得到語(yǔ)義分割深度網(wǎng)絡(luò)豐吳型；
[0020]步驟3、采集被試觀看測(cè)試圖像時(shí)的fMRI視覺功能數(shù)據(jù)，通過語(yǔ)義分割深度網(wǎng)絡(luò)模型，得到圖像逐像素語(yǔ)義分割結(jié)果；
[0021 ]步驟4、通過關(guān)注目標(biāo)類別的線性映射模型，得到被試圖像關(guān)注的目標(biāo)類別；
[0022]步驟5、根據(jù)步驟3得到的圖像逐像素語(yǔ)義分割結(jié)果及步驟4中得到的被試圖像關(guān)注的目標(biāo)類別，分割出被試關(guān)注的目標(biāo)區(qū)域和相應(yīng)目標(biāo)語(yǔ)義。
[0023]實(shí)施例二，參見圖1所示，一種基于fMRI視覺功能數(shù)據(jù)DeconvNet的圖像關(guān)注目標(biāo)語(yǔ)義分割方法，包含如下步驟:
[0024]步驟1、采集被試在自然場(chǎng)景圖像刺激下的fMRI視覺功能數(shù)據(jù)，訓(xùn)練一個(gè)由刺激圖像到fMRI視覺功能數(shù)據(jù)的深度卷積神經(jīng)網(wǎng)絡(luò)模型，及一個(gè)由fMRI視覺功能數(shù)據(jù)到關(guān)注目標(biāo)類別的線性映射模型，將訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)模型映射到線性映射模型上，進(jìn)行網(wǎng)絡(luò)模型優(yōu)化；
[0025]步驟2、構(gòu)造一個(gè)與網(wǎng)絡(luò)模型優(yōu)化后的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)稱的反卷積深度網(wǎng)絡(luò)模型，利用fMRI視覺功能數(shù)據(jù)及刺激圖像相對(duì)應(yīng)的語(yǔ)義分割結(jié)果對(duì)反卷積深度網(wǎng)絡(luò)模型進(jìn)行優(yōu)化處理，獲得fMRI視覺功能數(shù)據(jù)到逐像素語(yǔ)義分割結(jié)果的映射，得到語(yǔ)義分割深度網(wǎng)絡(luò)模型，其中，反卷積深度網(wǎng)絡(luò)模型包括反卷積層、反池化層，由根據(jù)采集到的被試fMRI視覺功能數(shù)據(jù)作為輸入，刺激圖像對(duì)應(yīng)的關(guān)注目標(biāo)語(yǔ)義分割結(jié)果作為輸出，優(yōu)化訓(xùn)練模型參數(shù)，訓(xùn)練學(xué)習(xí)各層的反卷積核，反池化層采用深度卷積神經(jīng)網(wǎng)絡(luò)中池化層的操作進(jìn)行上采樣，訓(xùn)練獲得fMRI視覺功能數(shù)據(jù)到圖像語(yǔ)義分割結(jié)果的反卷積深度網(wǎng)絡(luò)模型；
[0026]步驟3、采集被試觀看測(cè)試圖像時(shí)的fMRI視覺功能數(shù)據(jù)，通過語(yǔ)義分割深度網(wǎng)絡(luò)模型，得到圖像逐像素語(yǔ)義分割結(jié)果；
[0027]步驟4、通過關(guān)注目標(biāo)類別的線性映射模型，得到被試圖像關(guān)注的目標(biāo)類別；
[0028]步驟5、根據(jù)步驟3得到的圖像逐像素語(yǔ)義分割結(jié)果及步驟4中得到的被試圖像關(guān)注的目標(biāo)類別，分割出被試關(guān)注的目標(biāo)區(qū)域和相應(yīng)目標(biāo)語(yǔ)義。
[0029]本發(fā)明創(chuàng)新性提出構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型模擬自然場(chǎng)景圖像到fMRI視覺功能數(shù)據(jù)的映射關(guān)系，并利用與其對(duì)稱的網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練從fMRI視覺功能數(shù)據(jù)到圖像語(yǔ)義分割結(jié)果的深度網(wǎng)絡(luò)模型，獲得圖像中包含在訓(xùn)練類別集合內(nèi)的各個(gè)目標(biāo)類別語(yǔ)義分割結(jié)果。該方法能夠?qū)Ρ辉囉^看自然場(chǎng)景圖像時(shí)所引發(fā)的fMRI視覺功能數(shù)據(jù)進(jìn)行解析，提取出刺激圖像中所有目標(biāo)類別并獲得語(yǔ)義分割結(jié)果，提取出被試在圖像中所關(guān)注的目標(biāo)，大大提高關(guān)注目標(biāo)提取的精確度，進(jìn)一步提升對(duì)于人腦視覺功能的解析能力，為基于視覺功能解析的腦機(jī)交互應(yīng)用研究提供進(jìn)一步的技術(shù)支撐。
[0030]本發(fā)明并不局限于上述【具體實(shí)施方式】，本領(lǐng)域技術(shù)人員還可據(jù)此做出多種變化，但任何與本發(fā)明等同或者類似的變化都應(yīng)涵蓋在本發(fā)明權(quán)利要求的范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于fMRI視覺功能數(shù)據(jù)DeconvNet的圖像關(guān)注目標(biāo)語(yǔ)義分割方法，其特征在于:包含如下步驟: 步驟1、采集被試在自然場(chǎng)景圖像刺激下的fMRI視覺功能數(shù)據(jù)，訓(xùn)練一個(gè)由刺激圖像到fMRI視覺功能數(shù)據(jù)的深度卷積神經(jīng)網(wǎng)絡(luò)模型，及一個(gè)由fMRI視覺功能數(shù)據(jù)到關(guān)注目標(biāo)類別的線性映射模型，將訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)模型映射到線性映射模型上，進(jìn)行網(wǎng)絡(luò)模型優(yōu)化； 步驟2、構(gòu)造一個(gè)與網(wǎng)絡(luò)模型優(yōu)化后的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)稱的反卷積深度網(wǎng)絡(luò)模型，利用fMRI視覺功能數(shù)據(jù)及刺激圖像相對(duì)應(yīng)的語(yǔ)義分割結(jié)果對(duì)反卷積深度網(wǎng)絡(luò)模型進(jìn)行優(yōu)化處理，獲得fMRI視覺功能數(shù)據(jù)到逐像素語(yǔ)義分割結(jié)果的映射，得到語(yǔ)義分割深度網(wǎng)絡(luò)模型； 步驟3、采集被試觀看測(cè)試圖像時(shí)的fMRI視覺功能數(shù)據(jù)，通過語(yǔ)義分割深度網(wǎng)絡(luò)模型，得到圖像逐像素語(yǔ)義分割結(jié)果； 步驟4、通過關(guān)注目標(biāo)類別的線性映射模型，得到被試圖像關(guān)注的目標(biāo)類別； 步驟5、根據(jù)步驟3得到的圖像逐像素語(yǔ)義分割結(jié)果及步驟4中得到的被試圖像關(guān)注的目標(biāo)類別，分割出被試關(guān)注的目標(biāo)區(qū)域和相應(yīng)目標(biāo)語(yǔ)義。2.根據(jù)權(quán)利要求1所述的基于fMRI視覺功能數(shù)據(jù)DeconvNet的圖像關(guān)注目標(biāo)語(yǔ)義分割方法，其特征在于:步驟2中反卷積深度網(wǎng)絡(luò)模型包括反卷積層、反池化層，由根據(jù)采集到的被試fMRI視覺功能數(shù)據(jù)作為輸入，刺激圖像對(duì)應(yīng)的關(guān)注目標(biāo)語(yǔ)義分割結(jié)果作為輸出，優(yōu)化訓(xùn)練模型參數(shù)，訓(xùn)練學(xué)習(xí)各層的反卷積核，反池化層采用深度卷積神經(jīng)網(wǎng)絡(luò)中池化層的操作進(jìn)行上采樣，訓(xùn)練獲得fMRI視覺功能數(shù)據(jù)到圖像語(yǔ)義分割結(jié)果的反卷積深度網(wǎng)絡(luò)模型。
【文檔編號(hào)】G06K9/62GK106022384SQ201610361766
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月27日
【發(fā)明人】閆鑌, 王林元, 喬凱, 童莉, 曾穎, 徐夫, 徐一夫, 賀文頡, 張馳, 高輝
【申請(qǐng)人】中國(guó)人民解放軍信息工程大學(xué)