一種圖像高維特征的相似比較方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別地涉及一種圖像高維特征的相似比較方法及裝置。
【背景技術(shù)】
[0002]在當(dāng)今互聯(lián)網(wǎng)環(huán)境下，網(wǎng)絡(luò)用戶除了文字檢索需求外還希望能夠?qū)β曇?、圖像、視頻等多媒體內(nèi)容進(jìn)行檢索。具體到圖像檢索，用戶希望能夠通過用戶提供的圖像作為查詢(Query)，請(qǐng)求互聯(lián)網(wǎng)服務(wù)提供商找出與該圖片內(nèi)容相似的候選圖片集合，應(yīng)用場景如電商企業(yè)根據(jù)用戶提供的商品圖片向其推薦同款或相似款的商品，各搜索網(wǎng)站根據(jù)用戶提供的風(fēng)景圖片顯示相似圖片等。
[0003]傳統(tǒng)的圖像檢索一般是基于人工指定的圖像特征進(jìn)行相似度量，由于圖像數(shù)據(jù)在語義上的非結(jié)構(gòu)化特點(diǎn)，使得要靠人工發(fā)現(xiàn)富有表達(dá)力的特征是個(gè)比較困難的任務(wù)。Hinton等人提出的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)能夠自主學(xué)習(xí)完成特征提取，即從原始圖像的高維特征向量空間到較低維特征向量空間的有效映射，大大提高了圖像領(lǐng)域的特征表達(dá)效率。
[0004]在互聯(lián)網(wǎng)行業(yè)，服務(wù)企業(yè)的存量圖像往往數(shù)量巨大。面對(duì)用戶的檢索需求，如果需要在秒級(jí)響應(yīng)時(shí)間內(nèi)得到檢索結(jié)果，除了采用大規(guī)模并行計(jì)算技術(shù)外，還需要同時(shí)在降維與索引、匹配算法上提高速度。局部敏感哈希(Locality Sensitive Hashing，LSH)算法是一種降維編碼技術(shù)，其特點(diǎn)是在生成的哈希編碼中保留了原始特征空間中的相對(duì)位置關(guān)系，因此可以用于圖像的快速檢索。
[0005]在現(xiàn)有技術(shù)中，局部敏感哈希算法用于圖像檢索主要包括如下步驟:
[0006]1、圖像的局部敏感哈希編碼過程
[0007]圖像的局部敏感哈希編碼過程如圖1所示。原始圖像針對(duì)RGB通道表示為η維向量，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)(CNN)編碼后取其某一隱層(一般在倒數(shù)2?4層間取)的輸出作為圖像的m維特征向量(典型的長度為4096維)。該特征向量隨后經(jīng)過一組局部敏感哈希向量運(yùn)算后轉(zhuǎn)換為k(k遠(yuǎn)小于m)維的LSH編碼。按照此種方法，服務(wù)企業(yè)將其所有的圖片轉(zhuǎn)化為這種編碼，那么后續(xù)的圖像相似檢索都是基于圖像的這種表示方式進(jìn)行的。
[0008]2、圖像相似檢索過程
[0009]圖像相似檢索過程如圖2所示。用戶上傳的查詢圖像先經(jīng)過上述步驟I得到其局部敏感哈希LSH編碼A，接著對(duì)局部敏感哈希向量表中的每一個(gè)向量B，計(jì)算A、B兩者的漢明距離，然后根據(jù)所得的距離從小到大排序，最后取靠前的若干個(gè)向量所對(duì)應(yīng)的原始圖像作為相似檢索的結(jié)果返回給用戶。
[0010]但是，在使用過程中，發(fā)現(xiàn)現(xiàn)有的局部敏感哈希算法用于圖像檢索的方法存在以下缺點(diǎn):
[0011]1、基于LSH編碼的相似檢索速度在圖像集比較大(如包含百萬、千萬及以上的圖片)時(shí)仍然比較慢；
[0012]2、漢明距離度量雖然計(jì)算速度比歐氏距離度量、曼哈頓距離度量等要快，但是精度下降比較多，檢索結(jié)果不盡如人意。

【發(fā)明內(nèi)容】

[0013]有鑒于此，本發(fā)明提供一種圖像高維特征的相似比較方法及裝置，通過對(duì)圖像的局部敏感哈希編碼進(jìn)行分段索引及檢索，并選用曼哈頓距離進(jìn)行相似度量的方法，能夠在基于局部敏感哈希編碼的海量圖片相似檢索中提高檢索速度與檢索精度。
[0014]為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種圖像高維特征的相似比較方法。
[0015]本發(fā)明的一種圖像高維特征的相似比較方法包括:將所提取的圖像特征向量通過局部敏感哈希算法進(jìn)行降維處理后得到低維特征向量；將所述低維特征向量平均分段并建立分段索引表；通過將查詢圖像的分段后的低維特征向量在所述分段索引表中進(jìn)行檢索得到候選樣本集；將所述候選樣本集中的樣本分別與所述查詢圖像的低維特征向量進(jìn)行相似度量。
[0016]可選地，所述圖像特征向量是利用深度學(xué)習(xí)技術(shù)構(gòu)建神經(jīng)網(wǎng)絡(luò)來提取的。
[0017]可選地，所述神經(jīng)網(wǎng)絡(luò)為卷積神經(jīng)網(wǎng)絡(luò)。
[0018]可選地，將所述低維特征向量平均分段的步驟之前，還包括:在一個(gè)較小的驗(yàn)證集上通過實(shí)驗(yàn)確定最優(yōu)的分段長度。
[0019]可選地，將所述低維特征向量平均分段并建立分段索引表的步驟包括:將所述低維特征向量平均分段，以分段后的特征向量作為索引項(xiàng)，并計(jì)算每個(gè)索引項(xiàng)的指紋值；將所述指紋值對(duì)與所述分段索引表包含的預(yù)定的入口個(gè)數(shù)最接近的素?cái)?shù)進(jìn)行取余運(yùn)算，得到所述索引項(xiàng)的入口地址；將所述低維特征向量根據(jù)得到的所述入口地址插入所述分段索引表中以建立分段索引表。
[0020]可選地，通過將查詢圖像的分段后的低維特征向量在所述分段索引表中進(jìn)行檢索得到候選樣本集的步驟包括:通過訪問查詢圖像的所述分段后的低維特征向量的入口地址，得到?jīng)_突集；將與所述查詢圖像的分段后的低維特征向量的指紋值相同的所述沖突集節(jié)點(diǎn)對(duì)應(yīng)的所述低維特征向量提取出來，作為候選集；把各個(gè)分段檢索得到的所述候選集合并起來，去掉其中重復(fù)的所述低維特征向量，得到候選樣本集。
[0021]可選地，將所述候選樣本集中的樣本分別與所述查詢圖像的低維特征向量進(jìn)行相似度量包括:分別計(jì)算所述候選樣本集中的每個(gè)樣本與所述查詢圖像的低維特征向量之間的曼哈頓距離得分；將所述得分按照從小到大排序，并取前預(yù)定個(gè)數(shù)的得分對(duì)應(yīng)的樣本的圖像作為所述查詢圖像的相似圖像。
[0022]根據(jù)本發(fā)明的另一方面，提供了一種圖像高維特征的相似比較裝置。
[0023]本發(fā)明的一種圖像高維特征的相似比較裝置包括:特征降維模塊，用于將所提取的圖像特征向量通過局部敏感哈希算法進(jìn)行降維處理后得到低維特征向量；分段索引模塊，用于將所述低維特征向量平均分段并建立分段索引表；相似查詢模塊，用于通過將查詢圖像的分段后的低維特征向量在所述分段索引表中進(jìn)行檢索得到候選樣本集；比較度量模塊，用于將所述候選樣本集中的樣本分別與所述查詢圖像的低維特征向量進(jìn)行相似度量。
[0024]可選地，所述圖像特征向量是利用深度學(xué)習(xí)技術(shù)構(gòu)建神經(jīng)網(wǎng)絡(luò)來提取的。
[0025]可選地，所述神經(jīng)網(wǎng)絡(luò)為卷積神經(jīng)網(wǎng)絡(luò)。
[0026]可選地，所述分段索引模塊在將所述低維特征向量平均分段之前，還用于:在一個(gè)較小的驗(yàn)證集上通過實(shí)驗(yàn)確定最優(yōu)的分段長度。
[0027]可選地，所述分段索引模塊還用于:將所述低維特征向量平均分段，以分段后的特征向量作為索引項(xiàng)，并計(jì)算每個(gè)索引項(xiàng)的指紋值；將所述指紋值對(duì)與所述分段索引表包含的預(yù)定的入口個(gè)數(shù)最接近的素?cái)?shù)進(jìn)行取余運(yùn)算，得到所述索引項(xiàng)的入口地址；將所述低維特征向量根據(jù)得到的所述入口地址插入所述分段索引表中以建立分段索引表。
[0028]可選地，所述相似查詢模塊還用于:通過訪問查詢圖像的所述分段后的低維特征向量的入口地址，得到?jīng)_突集；將與所述查詢圖像的分段后的低維特征向量的指紋值相同的所述沖突集節(jié)點(diǎn)對(duì)應(yīng)的所述低維特征向量提取出來，作為候選集；把各個(gè)分段檢索得到的所述候選集合并起來，去掉其中重復(fù)的所述低維特征向量，得到候選樣本集。
[0029]可選地，所述比較度量模塊還用于:分別計(jì)算所述候選樣本集中的每個(gè)樣本與所述查詢圖像的低維特征向量之間的曼哈頓距離得分；將所述得分按照從小到大排序，并取前預(yù)定個(gè)數(shù)的得分對(duì)應(yīng)的樣本的圖像作為所述查詢圖像的相似圖像。
[0030]根據(jù)本發(fā)明的技術(shù)方案，對(duì)降維后的圖像特征向量局部敏感哈希編碼建立分段索引可以加快檢索速度，從而提高檢索效率；在進(jìn)行圖像相似檢索時(shí)，采用曼哈頓距離度量替代傳統(tǒng)的漢明距離度量，可以充分利用局部敏感哈希編碼中包含的可量化的距離信息，從而提高了在分段檢索下的檢索精度。
【附圖說明】
[0031]附圖用于更好地理解本發(fā)明，不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。其中:
[0032]圖1是現(xiàn)有技術(shù)中的生成圖像的局部敏感哈希編碼過程示意圖；
[0033]圖2是現(xiàn)有技術(shù)中的圖像