專利名稱：在圖像數(shù)據(jù)庫中進行導航、可視化和聚類的互序次相似度空間的制作方法
技術領域：
本發(fā)明涉及數(shù)據(jù)項、特別是圖像集合的有效表示。它具體涉及可以 提取圖像內(nèi)容的數(shù)學描述的圖像集合中的導航，因為在這樣的數(shù)據(jù)庫中 可以使用自動算法來分析、組織、搜索和瀏覽數(shù)據(jù)。數(shù)字圖像集合在專 業(yè)和消費領域正變得日益普遍。技術進步已經(jīng)使得捕獲、存儲和傳輸數(shù) 字影像比從前更加便宜和容易。這使得需要新的方法來使用戶能夠與這 樣的集合進行有效的交互。
背景技術：
查詢圖像數(shù)據(jù)庫的方法是公知的。例如，US-B-6240423公開了一種 這樣的方法，其中查詢的結果是根據(jù)基于區(qū)域的圖像匹配和基于邊界的 圖像匹配的組合得出。對于初學的用戶，特別難以找到直觀的方法來介入這樣大容量的數(shù) 據(jù)。例如，大多數(shù)消費者熟悉于以實體的方式將他們的紙質(zhì)攝影印刷品 組織成相冊，但是對于其個人計算機、攝像機電話或數(shù)字相機的存儲器 中的數(shù)字照片的集合，這種可觸知的交互不再可能。最初，用于對各集 合進行導航的電子方法關注于對該物理、可觸知的歸檔體驗進行仿真。Wang等人(US6,028，603)提供了一種以類似相冊的格式呈現(xiàn)圖像 的手段，其由具有定義了該頁上圖像的布局的信息的一頁或更多頁組成。 順序和布局可以通過用戶的拖放操作而改變。另一種簡單的方法來自Gargi (US 2002/0140746)，他以堆疊顯示的方式呈現(xiàn)圖像。在鼠標移過時顯現(xiàn)圖像。對于用戶，這類似于從桌上的 一疊照片進行拾取。當用戶手動地組織其圖像集合時，對于結構來說通常有一些重要性。 換句話說，其相冊的布局對他們具有某種"意義"。這可能涉及與圖像關聯(lián)的事件、人物或情緒，或可能例如講述故事。 一些電子導航工具已經(jīng) 嘗試通過允許用戶對圖像作標記或分組來模擬并且利用該結構。 一些甚 至嘗試對類別或分組進行自動建議。Mojsilovic等人(US 2003/0123737)公開了一種用于基于從感知實 驗得到的語義特征瀏覽、搜索、查詢和可視化數(shù)字圖像集合的方法。其 定義了一種用于基于該"完全特征集"比較兩個圖像的語義相似度的措 施，以及一種對每個圖像指派語義類別的方法。Rosenzweig等人(US 2002/0075322)提出了一種用于瀏覽和檢索的、 基于時間軸的圖形用戶界面(GUI)，其中各組圖像由大小與組的大小成 比例的圖標表示。用戶激活圖標來操作其分級系統(tǒng)，該激活動作觸發(fā)對 第一級進行細化的又一級別。該系統(tǒng)還可以對存儲在圖像文件中、定義 例如位置、人物、事件的各種元數(shù)據(jù)進行解碼來得到所述(相互獨占的) 各組。通過激活最終級別/視圖中的圖標顯示所包含的圖像。Stavely等人(US 2003/0086012)描述了另一種用于圖像瀏覽的用戶 界面。利用垂直和水平輸入控制的簡單組合，其通過使每個組具有"優(yōu) 選"圖像來允許組內(nèi)和組間的圖像瀏覽。Anderson (US 6,538,698)詳細說明了一種依賴于通過各種分類標準 對各圖像進行分類和分組的搜索和瀏覽系統(tǒng)。盡管數(shù)字庫使用戶不能進行攝影印刷品所允許的物理交互，但是其 允許有用的新功能，特別是涉及內(nèi)容的自動分析的功能?？梢蕴崛∫远?種方式表征圖像的"特征"。圖像中呈現(xiàn)的(例如)形狀、紋理和顏色可 以全部通過數(shù)字特征來進行描述，這使得可以通過這些屬性來對圖像進 行比較和索引。上述的自動類別指派僅僅是其允許的該類功能的一個示例。能夠定 量地對圖像進行比較還使得可能捕獲和表示整個數(shù)據(jù)庫的結構。這是個 吸引人的構思，因為當用戶著手組織其相冊時，他們經(jīng)常試圖施加結構。 如果集合中的圖像具有直觀的結構，其將可能是用戶開始的有用之處。 還可以使得搜索和瀏覽更有效率，因為用戶可以獲知該結構以便利用或 修改它。7本發(fā)明的方法通過分析圖像對的相似性，自動發(fā)現(xiàn)圖像數(shù)據(jù)庫的結 構。然后可以以多種方式利用該結構，包括將其表示為用戶可以交互式 導航的二維圖。從各文獻已知多種將數(shù)據(jù)從高維空間投影到低維空間的處理方法，無論是否純粹用于表示(例如，主成分分析(Principal Component Analysis, PCA))分類(例如，線性鑒別分析(Linear Discriminant Analysis, LDA)) 或可視化(例如，拉普拉斯特征映射(Lapladean Eigenmap)、多維標度(MultiDimensional Scaling, MDS))、局部保持投影(Locality Preserving Projection, LPP)和自組織映射(Self-Organising Map, SOM)。在本文 中，采取逐對比較的矩陣作為輸入的算法受到特別關注。對于許多特征， 不能把數(shù)字數(shù)據(jù)簡單地解釋為卡笛爾空間(Cartesian space)中的點一通 常其僅適合于使用特定距離度量進行比較。因此，直接對向量數(shù)據(jù)進行 操作的算法對于我們的目的較無用?；谙嗨贫鹊募夹g包括MDS、 SOM 和拉普拉斯特征映射。這些都創(chuàng)建了數(shù)據(jù)的低維投影，這最佳地反映了 各自的相似度度量(其中，"最佳"是通過一些成本函數(shù)確定的)。Rising (US 6,721,759)描述了一種用于圖像的分級MDS數(shù)據(jù)庫的 處理。這基于使用特征檢測器測量圖像集合的相似度，以及査詢和更新 結構的方法。為了構造該表示法，在頂級對圖像的子集(稱為控制點) 執(zhí)行MDS。這些點被選擇以便近似數(shù)據(jù)點的凸包一即，完整地表示圖像 中呈現(xiàn)的變化。其余的點用相對于控制點的位置初始化，并且整個集合 被劃分為多個"節(jié)點"，每個節(jié)點表示一個子集。然后對每個節(jié)點執(zhí)行 MDS，以細化其內(nèi)的圖像排列。該方法利用了分級樹的效率方面，以減 少計算MDS的計算負擔(迭代優(yōu)化算法)。Trepess和Thorpe (EP 1 426 882)的方法使用SOM來創(chuàng)建數(shù)據(jù)的映 射表示法。然后構造分級聚類以便于導航和顯示。可以通過從聚類結構自動得到的各種表征信息(標記)來區(qū)分各聚類。該應用主要對于文本 文檔，但是該方法自身是通用的。在某種意義上說，它反映了 Rising的 工作該方法將每個級別的數(shù)據(jù)聚類，然后執(zhí)行映射，而Trepess和Thorpe 首先(全局地)計算映射，然后使用它來構造層次。Jain和Santini (US 6,121,969)提出了一種對圖像數(shù)據(jù)庫中的査詢結 果進行可視化的方法。其在三維空間中顯示結果，該三維空間的軸從N 維的集合中任意選擇。這些對應于查詢圖像和數(shù)據(jù)庫圖像之間的各種相 似度度量。提出了通過穿過該空間的視覺導航，給用戶動態(tài)和視覺的體 驗。該方法與之前兩個示例不同，因為其不是嘗試最優(yōu)地捕獲圖像集合 的相似度結構，而是給出集合針對用戶選擇的査詢圖像的相似度。從該 相似度的多個測量，而不是從圖像的多個相互相似度產(chǎn)生多個維。如很快就能看到的，本發(fā)明蘊含的關鍵構思之一在于序次(rank) 結構(而不是相似度結構)是當表現(xiàn)和組織圖像數(shù)據(jù)庫時要保留的重要 特性。使用序次來引導聚類己經(jīng)在例如在Novak等人(J. Novak, P. Raghavan禾卩A. Tomkins, "Anti-aliasing on the web"， Proc. International World Wide Web Conference, pages 30-39, 2004)和Fang, (F. M. Fang, "An Analytical Study on Image Databases", Master's Thesis, MIT, 1997年6月) 的文獻中簡短地提及。這兩個論著都把對象i和j的互序次(mutual rank) 定義為i相對于j的序次和j相對于i的序次的和。然而，還沒有利用該類型的測量的全部潛力。特別地，前述論著僅 考慮了聚類，然后僅僅孤立地處理每個逐對互序次的比較，在局部以"貪 婪(greedy)"方式做出決定。用新穎的全局的基于序次的測量來引導表 示法，被證明是顯現(xiàn)結構的有力手段?，F(xiàn)有技術的每個方法都具有本發(fā)明所要解決的缺陷簡單的瀏覽方法既沒有利用圖像集合的結構也沒有很好地表示它?；诜诸惖姆椒赡懿糠值亟鉀Q該問題。它們開始利用可用的特征 信息，但是由于離散的、經(jīng)常是排他的類別標簽的指派而不靈活?？煽?的自動分類也是出名地難以實現(xiàn)。更復雜的方法可以考慮并表示相似度，但是到目前為止，僅僅捕獲 絕對的比較。本方法將在整個集合的范圍中捕獲各圖像之間相對關系。現(xiàn)有技術中還沒有計算并在表示中嵌入時間上和視覺上的相似度的 聯(lián)合度量的構思。以這種方式結合時間和外觀對可視化給出有利的屬性， 包括使得用戶更易于解釋作為結果的安排。發(fā)明內(nèi)容在權利要求書中提出了本發(fā)明的各方面。本發(fā)明涉及數(shù)據(jù)項，利用 裝置來處理與數(shù)據(jù)項相對應的信號。本發(fā)明主要涉及圖像。本發(fā)明的應用的進一步細節(jié)可以在共同未決歐洲專利申請No.05255033中找到。本發(fā)明的一個方面是當緊湊地表示圖像集合的結構時，相對關系 而非相似度的絕對度量是要保留的重要特性。因此定義了互序次矩陣作 為以能夠進行數(shù)學分析的形式對數(shù)據(jù)結構進行編碼的適當方式。該矩陣 中的項表示在更寬集合的范圍內(nèi)圖像對的比較。數(shù)學分析可以包括基于 該信息對圖像進行分組(聚類)，或?qū)⒃撔畔⑼渡涑杀Ａ袅嗽摻Y構的最重 要方面的緊湊表示。第二相關的方面是當整體而非孤立地考慮所述互序次度量時最有效地捕獲該結構。即，當采取全局而非局部(逐對)的角度進行處理時。第三方面是時間和視覺信息在確定集合中各圖像的前后關系中同 等有用。這意味著，在度量所述比較時，時間不被當作單獨的或獨立的 量。因此所得到的聚類或視覺表示在能夠共同表示視覺相似度和時間接 近性的空間中形成。


本發(fā)明的實施例將參考附圖描述，附圖中 圖1是第一實施例的流程圖； 圖2是第二實施例的流程圖； 圖3是第三實施例的流程圖； 圖4示出了瀏覽裝置。
具體實施方式
在圖像檢索任務的環(huán)境中， 一個共同的方法是給出按其相似度(一 定程度上)排序的、針對査詢結果的排序列表。這很好地捕獲了數(shù)據(jù)庫 中的圖像和查詢圖像的關系。其構思在于，希望用戶將在排序列表的頂部附近找到感興趣的圖像，不相關的圖像被推到底部。本發(fā)明將該概念 延伸到試圖捕獲并可視化數(shù)據(jù)庫中的圖像之間的所有相互關系。本方法的一個實施例是一種系統(tǒng)，該系統(tǒng)分析圖像、比較其特征、 產(chǎn)生一組互序次矩陣、將其組合并通過求解特征值問題來計算映射表示。 該過程在圖1的流程圖中圖示。圖2中示出另一個實施例。這里，在第一實施例中對互序次矩陣執(zhí) 行的組合步驟現(xiàn)在對特征相似度執(zhí)行。圖3示出第三實施例，其中一些 組合在較早的階段執(zhí)行，而剩余部分在較晚的階段執(zhí)行。選擇何時根據(jù) 各種特征值融合數(shù)據(jù)與本發(fā)明構思無關。更正確地說它是特定實現(xiàn)的細 節(jié)。如將對本領域技術人員明顯的，該選擇可以通過諸如復雜性、特征 數(shù)量(維度)和其獨立程度的因素來確定。在本說明書的剩余部分，我 們不失一般性地集中于圖1中示出的順序。該系統(tǒng)中的第一步驟是從圖像和任何相關聯(lián)的元數(shù)據(jù)提取一些描述性特征。該特征例如可以是MPEG—7可視描述符，該描述符描述顏色、 紋理和結構屬性或圖像的任何其他可視屬性，如在MPEG — 7標準 ISO/IEC 15938-3 "Information technology-Multimedia content description interface~~Part 3: Visual"中提出的。例如，第一圖像的顏色描述符可以 表示在給定顏色空間中圖像的平均顏色的位置。第二圖像的對應顏色描 述符進而可與第一圖像的顏色描述符比較，給出在給定顏色空間中的相 隔距離，以及因此的第一和第二圖像之間相似度的定量評估。換句話說，例如，用簡單的距離測量或相似度值S，將第一平均顏 色值(al， bl， cl)與第二平均顏色值(a2， b2， c2)進行比較，其中S^a廣a2] + [b廣b2] + [c「C2]時間是元數(shù)據(jù)最重要的元素，但是其他信息，不論是用戶提供的還 是自動產(chǎn)生的，都可以并入。以這種和其他方式組合時間和視覺信息的 示例可以在Cooper等人的"Temporal event clustering for digital photo collections " (Proc. 11th ACM International conference on Multimedia, PR364 一373， 2003)中找到。對描述性特征唯一的限制在于，這些特征允許一個圖像與另一個進行比較以產(chǎn)生相似度值。US-B-6240423公開了圖像之間的相似度值計算 的示例。MPEG-7標準自身定義了描述符和相關聯(lián)的相似度度量。然而， 優(yōu)選地，這些特征還可以捕獲圖像內(nèi)容的一些對人有意義的品質(zhì)。第二步驟是使用描述性特征執(zhí)行圖像的交叉匹配。描述性特征和其 相關聯(lián)的相似度度量的許多示例是公知的一例如，參見EP-A-1173827， EP畫A-1183624、 GB 2351826、 GB 2352075、 GB 2352076。類似地，存在用于得到描述性標量或向量值(即，特征向量)的許 多公知的技術，可以利用很多公知的技術對該值進行比較以確定該標量 或向量值的相似度，如簡單的距離度量。這對每個特征F產(chǎn)生逐對相似度的矩陣SF。每項SF (i， j)是針對 所述特征F、在圖像i和圖像j之間的相似度。矩陣因此典型地是對稱的。 如果例如使用相似度的非對稱度量，則各矩陣可以不是對稱的。所有圖 像可以包括在交叉匹配或子集中。例如，圖像可以預先聚類，并且僅處 理來自每個聚類的一個圖像，以減少復雜度和冗余。這可以以多個現(xiàn)有 技術算法(例如，k最近鄰(k-Nearest Neighbours )、合并融合(agglomerative merging)等)中的任何一種技術來實現(xiàn)。第三步驟是將相似度矩陣SF轉(zhuǎn)換為序次矩陣RF。用一些序次序數(shù)值 (rankordinal value)代替相似度值獨立地處理每列。換句話說，對于每個i， 例如用N (其中，N是集合中圖像的數(shù)量)代替最大相似度Sf (i， j)， 第二大的用N—1代替，第三大的用N—2代替，等等。在該步驟后，矩 陣不再對稱，因為圖像i相對于j的序次與j相對于i的序次不相同。該 步驟的副作用在于，我們已經(jīng)預先計算了對于查詢?nèi)魏螆D像的檢索結果。 注意到，這并不是保留序次序數(shù)信息的唯一方法。 一般而言，該步驟可 以視為相似度的依賴于數(shù)據(jù)的、非線性的、單調(diào)變換。任何這樣的變換 可以視為在本發(fā)明的范圍內(nèi)。序次矩陣的進一步處理是有利的，盡管不是必須的。例如，可以應 用閾值來去除虛假信息一對于很多特征，超過一些截止點的序次值變得 沒有意義圖像是簡單的"不相似"，并且保留正在減小的序次值是沒有 意義的。然而，時間則不是這種情況的一個特征。時間差和序次對所有圖像一致，因此，該特征的序次矩陣典型地是沒有閾值的。第四步驟是對于每個特征使序次矩陣對稱化。對序次矩陣進行操作 的任何線性或非線性、代數(shù)或統(tǒng)計函數(shù)可以用于此目的。在一個實施例 中，將序次矩陣與其轉(zhuǎn)置相加，給出互序次矩陣的一個實施例MF=RF+RFT在該矩陣中，在圖像集合的更寬的范圍中，每個項對圖像i和j之間 的相對相似度進行編碼。注意Mf是対稱的。適當對稱化的另一個示例是 簡單地選擇最大值MF (0')=max{RF(z》.),RF(/,/)}第五步驟是將矩陣MF組合為互序次分數(shù)的單個全局矩陣M。存在 許多可能的方法來實現(xiàn)它。在一個實施例中，MF被加權并求和。該系統(tǒng) 可以包括一些確定權重的手段，或者權重可以在設計中被固定。當要在 系統(tǒng)中的早期階段對特征進行組合時，同樣可以有寬范圍的各種組合方 法(在前面討論過并由圖2和3例示)。在該階段，作為關于數(shù)據(jù)庫結構的信息的豐富資源的矩陣M，可以 通過多個用于聚類和/或表示的現(xiàn)有技術算法來分析。例如，可以在合并 聚類(agglomerative clustering)過程中迭代地并入存在低互序次的圖像 對。更有用的，矩陣M可以以"全局"方式分析，以便同時考慮若干(或 也許是所有的)互序次度量。這減少了在單個度量(矩陣項)中所述表 示對噪聲的敏感度，并且更好地捕獲了數(shù)據(jù)的體積性質(zhì)。從文獻獲知的 譜聚類方法是該類處理的一個示例，但是對本領域技術人員將清楚的是， 任何其他的非局部的方法是合適的。在優(yōu)選實施例中，互序次矩陣通過拉普拉斯特征映射方法被嵌入低 維空間中。為可視化目的，維數(shù)優(yōu)選地為二，但是可以更多或更少?；?者，任何數(shù)量的維數(shù)可以用于聚類。其他方法也可以執(zhí)行嵌入。拉普拉 斯特征映射方法試圖將圖像作為點嵌入到空間中，使得空間中的距離對 應M中的各項。S卩，具有大互序次值的圖像對彼此靠近，而具有小互序 次值的圖像距離遠。于是可以得到作為特征值問題的以下方程(D—M) x= JDx其中D是通過對M的行求和而形成的對角矩陣Z)(i， i《M(i' j)j方程的求解得出N個特征向量，該特征向量是圖像在互序次相似 度空間中的坐標。各個向量(維)在捕獲集合的結構中的重要性由相應 的特征值指示。這使得可以選擇幾個最不重要的維來進行可視化、導航 和聚類。圖4中示出使用上述方法得到的2維空間中的一組數(shù)據(jù)項的映射圖 像的示例。更具體地，圖4示出了顯示器120上的符號表示空間，其中 符號(點)對應各數(shù)據(jù)項，在這里是圖像。在顯示器中符號的排列(即，符號之間相對位置和距離)反映了基 于數(shù)據(jù)項的一個或更多特性(如平均顏色)的、相應數(shù)據(jù)項的相似度。用戶可以使用點擊設備(pointing device)130在表示空間10上移動光 標250。根據(jù)光標的位置，基于各個符號260對于光標的鄰近程度來顯示 一個或更多圖像(縮略圖)270。其進一步細節(jié)和相關的方法和裝置在我 們的通過引用結合于此的共同未決歐洲專利申請No.05255033 (題為 "Method and apparatus for accessing data using a symbolic representation ")中描述。下面討論各改進和替代。當計算互序次矩陣時，可以選擇圖像的子集。這減少了矩陣的大小 并減小了計算負擔。進而希望確定在原始子集中沒有出現(xiàn)的圖像在輸出 空間中的位置。這些可以是更大集合的剩余部分或添加的新圖像。根據(jù) 上述實施例，將需要添加額外的行和列到互序次矩陣中并修改現(xiàn)有的項， 因為當出現(xiàn)新的圖像時，圖像的相對序次將改變。然后，映射將被完全 重新計算。然而，可以對該過程進行近似而不修改輸出空間中現(xiàn)有圖像 的位置。Bengio等人(Y. Bengio, P. Vincent, J.-F. Paiement, O. Delalleau， M. Ouimet禾口 N. Le Roux， "Spectral Clustering and Kernel PC A are Learning EigenfUnctions"， Technical Report 1239， D6partement d,Informatique et14Recherche Op6rationnelle, Centre de Recherches Math6matiques, Universit6 de Montreal)給出了這樣的方法，用于將額外的點添加到拉普拉斯特征映 射中，將新的數(shù)據(jù)投射到由原始分解給出的維上。這將促進欠采樣的互 序次相似度空間的有效實現(xiàn)。其次，數(shù)學框架的結構是，其易于想象將額外信息并入表示。例如， 可以使用用戶注釋或其他標簽信息來創(chuàng)建不同的表示(通過例如LDA或 廣義判別分析(Generalized Discriminant Analysis, GDA))。這些將更好 地表示加標簽的類之間和之內(nèi)的結構和關系。其還可以用于建議添加到 數(shù)據(jù)庫中的新圖像的類別指派。該改進僅對數(shù)學分析一互序次矩陣結構 保持不變。該改進系統(tǒng)的輸出(嵌入)將包含關于圖像之間的視覺和時 間關系的組合信息，以及其類屬性。用戶可能希望導航的、圖像或視頻的任何集合(典型的經(jīng)由關鍵幀 (key-frame)或其他)受該方法的影響。同樣地，數(shù)據(jù)庫記錄/數(shù)據(jù)項可以 不屬于圖像和視覺相似度測量，而是任何其他的域，如音頻剪輯(audio clip) 和相應的相似度度量。例如，MPEG-7標準提出用于音頻的描述符 (ISO/IEC 15938-4 "Information technology-Multimedia content description interface-Part 4: Audio")?？梢员容^兩個剪輯的音頻元數(shù)據(jù)以給出定量相 似度度量。只要有相似度的適當度量，就可以對文本文檔進行處理。用 于測量文本文檔相似度的方法由Novak等人(如上)公開。已經(jīng)存在該 領域的專門技術，如潛在語義索引(Latent Semantic Indexing, LSI),這 是本領域公知的方法。用于提取圖像以外的數(shù)據(jù)項的描述值、并用于比 較這些描述值以獲得相似度度量的各種技術是公知的，在此將不再進一 步詳細描述。本發(fā)明不限于任何特定描述值或相似度度量，并且可以使用任何適 當?shù)拿枋鲋祷蛳嗨贫榷攘?，例如現(xiàn)有技術中描述的或上面提到的。純粹 作為示例，描述性特征可以是顏色值和相應的相似度度量(例如在 EP-A-1173827中所述)，或物體輪廓和相應的相似度度量(例如在GB 2351826或GB 2352075中所述)。在本說明書中，"圖像" 一詞用于描述圖像單元，包括后處理，如濾波、改變分辨率、上釆樣(upsampling)、下釆樣(downsampling)，但是該 詞也適用于其他類似術語，如幀、場、畫面、或圖像、幀的子單元或區(qū) 域等。術語像素和像素塊或組適當時可以相互交換使用。在本說明書中， 術語"圖像"意味整個圖像或圖像的一個區(qū)域，除了從上下文明顯可見 的。類似地，圖像的區(qū)域可以意味整個圖像。圖像包括幀或場，并且涉 及靜態(tài)圖像和諸如電影或視頻的圖像序列中的圖像，或相關的圖像組中 的圖像。圖像可以是灰度或彩色圖像，或其他類型的多譜圖像(例如，IR、 UV) 或其他電磁圖像或聲學圖像等。術語"選擇裝置"可以是指例如由用戶控制的、用于選擇的設備， 如包括導航和選擇按鈕的控制器，和/或諸如通過指針或光標實現(xiàn)的顯示 器上的控制器表示。本發(fā)明優(yōu)選地通過處理以電子形式表示的數(shù)據(jù)項、并且通過利用適 當裝置處理電信號而實現(xiàn)。本發(fā)明可以例如在計算機系統(tǒng)中利用適當?shù)?軟件和/或硬件改進來實現(xiàn)。例如，本發(fā)明可以利用具有控制或處理裝置 (如處理器或控制設備)、包括圖像存儲裝置的數(shù)據(jù)存儲裝置(如存儲器、 磁存儲器、CD、 DVD等)、數(shù)據(jù)輸出裝置(如顯示器或監(jiān)視器或打印機)、 數(shù)據(jù)輸入裝置(如鍵盤)、以及圖像輸入裝置(如掃描儀)、或這些組件 與附加部件一起的任何組合的計算機等實現(xiàn)。本發(fā)明的各方面可以以軟 件和/或硬件形式提供，或可以提供專用的裝置或?qū)Ｓ玫哪K，如芯片。 在根據(jù)本發(fā)明的實施例的裝置中，例如可以在互聯(lián)網(wǎng)上從其他組件遠程 地提供系統(tǒng)的組件。
權利要求
1.一種表示一組數(shù)據(jù)項的方法，該方法包括針對該組中多個數(shù)據(jù)項中的每一個，確定所述數(shù)據(jù)項與該組中多個其他數(shù)據(jù)項中的每個數(shù)據(jù)項之間的相似度，并且基于相似度為每個對指定序次，其中所述多個數(shù)據(jù)項中的每個數(shù)據(jù)項的排序相似度值被關聯(lián)起來以反映該組中數(shù)據(jù)項的總體相對相似度。
2. —種基于組中數(shù)據(jù)項之間的總體排序相對相似度表示一組數(shù)據(jù) 項的方法。
3. 如權利要求2所述的方法，所述方法包括通過確定數(shù)據(jù)項與多 個其他數(shù)據(jù)項之間的相似度，并且確定至少兩個額外數(shù)據(jù)項中的每個數(shù) 據(jù)項與多個其他數(shù)據(jù)項之間的相似度、對所述相似度值進行排序來確定 所述組中數(shù)據(jù)項的排序相對相似度，并且基于對所述至少兩個數(shù)據(jù)項的 相似度來利用所述總體序次相似度值。
4. 如任一前述權利要求所述的方法，其中所述排序相似度值被布置 成反映所述組中數(shù)據(jù)項的所述總體相對相似度的陣列。
5. 如任一前述權利要求所述的方法，所述方法包括得到矩陣陣列，其中所述矩陣中的項對應于數(shù)據(jù)項之間的排序相似度值。
6. 如權利要求5所述的方法，其中第i列和第j行處的矩陣項對應 于第i數(shù)據(jù)項和第j數(shù)據(jù)項的排序相似度值。
7. 如任一前述權利要求所述的方法，所述方法包括得到矩陣陣列， 其中第i列和第j行處的項對應于第i數(shù)據(jù)項和第j數(shù)據(jù)項之間的相似度。
8. 如權利要求7所述的方法，所述方法包括按行或按列對所述相似 度值進行排序。
9. 如權利要求5、 6或8所述的方法，所述方法包括使所述序次矩 陣對稱化。
10. 如權利要求5到9中的任何一項所述的方法，所述方法包括對 矩陣項設定閾值。
11. 如任一前述權利要求所述的方法，其中基于數(shù)據(jù)項的特性而確定數(shù)據(jù)項的相似度。
12. 如權利要求11所述的方法，其中數(shù)據(jù)項的特性包括元數(shù)據(jù)，例如時間或用戶分配的數(shù)據(jù)，和/或固有特性，例如顏色、紋理等。
13. 如任一前述權利要求所述的方法，所述方法包括針對多個特性 中的每個特性確定相似度。
14. 如權利要求13所述的方法，所述方法包括使用多個特性的相似 度的組合。
15. 如權利要求13或權利要求14所述的方法，所述方法使用時間 和視覺特性。
16. 如權利要求13到15中的任何一項所述的方法，所述方法包括 得出并組合多個特性的序次矩陣。
17. 如權利要求13到15中的任何一項所述的方法，所述方法包括 得出并組合多個特性的相似度矩陣。
18. 如任一前述權利要求所述的方法，所述方法包括例如通過選擇 子集、聚類或?qū)?shù)據(jù)項進行欠采樣而對數(shù)據(jù)項進行預處理。
19. 一種表示數(shù)據(jù)項的方法，所述方法包括確定數(shù)據(jù)項之間的相似 度并對所述相似度進行排序，包括利用三個或更多數(shù)據(jù)項的相對序次一 起來進行進一步處理。
20. 如任一前述權利要求所述的方法，其中所述數(shù)據(jù)項包括圖像。
21. 如任一前述權利要求所述的方法，所述方法包括諸如數(shù)據(jù)項的 嵌入、可視化和聚類的進一步處理。
22. 如權利要求21所述的方法，所述方法包括將數(shù)據(jù)項映射為基于 總體排序相似度值的空間中的點。
23. 如權利要求22所述的方法，所述方法包括將數(shù)據(jù)項映射到例如 低于所述數(shù)據(jù)項的表示維數(shù)的低維空間。
24. 如權利要求23所述的方法，所述方法包括映射到二維空間。
25. 如權利要求23到26的任何一項所述的方法，其中在所述空間 中映射數(shù)據(jù)項之間的距離對應于所述數(shù)據(jù)項的相對相似度。
26. 如權利要求22到25的任何一項所述的方法，所述方法包括使用拉普拉斯特征映射技術。
27. 如任一前述權利要求所述的方法，所述方法包括顯示對應于數(shù) 據(jù)項的符號。
28. 如權利要求27所述的方法，其中顯示器中符號的相對排列和/ 或位置對應于各數(shù)據(jù)項的相對相似度。
29. 如任一前述權利要求所述的方法，所述方法包括將新的數(shù)據(jù)項 加到或投射到所述總體表示中。
30. —種表示數(shù)據(jù)項的方法，所述方法包括基于時間和視覺特性確 定數(shù)據(jù)項之間的相似度。
31. —種對圖像對之間的相似度進行排序的方法，該方法包括 計算圖像對之間的相似度值；構造相似度矩陣，該相似度矩陣的元素表示逐對相似度值；以及通過對相似度矩陣值進行分析來計算序次矩 陣。
32. 如權利要求31所述的方法，所述方法還包括通過相似度矩陣值 的逐列分析來計算所述序次矩陣。
33. 如權利要求31或權利要求32所述的方法，所述方法還包括使 所述序次矩陣對稱。
34. 如權利要求33所述的方法，包括將所述序次矩陣與其轉(zhuǎn)置相加， 或計算相對于主對角線對稱排列的序次元素之間的最大值。
35. 如權利要求31到34的任何一項所述的方法，還包括通過所述 序次矩陣的低維嵌入，對所述序次矩陣執(zhí)行降維。
36. 如權利要求35所述的方法，其中使用拉普拉斯特征映射技術來 執(zhí)行所述降維。
37. —種確定數(shù)據(jù)項組中數(shù)據(jù)項之間的關系的方法，包括任一前述 權利要求的方法。
38. 例如在嵌入、可視化、聚類、搜索和瀏覽中，前述任何一項所 述的方法的使用。
39. —種控制設備，該控制設備被編程為執(zhí)行前述任何一項的方法。
40. —種裝置，該裝置適于執(zhí)行權利要求1到38中的任何一項所述的方法。
41. 一種裝置，該裝置包括設置為執(zhí)行權利要求1到38的任何一項 所述的方法的處理器、顯示裝置、選擇裝置和存儲數(shù)據(jù)項的存儲裝置。
42. —種用于執(zhí)行權利要求1到38的任何一項所述的方法的計算機 程序，或存儲有這樣的計算機程序的計算機可讀存儲介質(zhì)。
全文摘要
一種表示一組數(shù)據(jù)項的方法，該方法包括對于該組中多個數(shù)據(jù)項的每個數(shù)據(jù)項，確定所述數(shù)據(jù)項與該組中多個其他數(shù)據(jù)項的每個數(shù)據(jù)項之間的相似度，基于相似度對每一對數(shù)據(jù)項指定序次，其中所述多個數(shù)據(jù)項中的每個數(shù)據(jù)項的排序相似度值被關聯(lián)起來，以反映該組中數(shù)據(jù)項的總體相對相似度。
文檔編號G06F17/30GK101263514SQ200680033224
公開日2008年9月10日 申請日期2006年8月14日 優(yōu)先權日2005年8月15日
發(fā)明者米羅斯瓦夫·博貝爾, 羅伯特·J·奧卡拉漢 申請人:三菱電機株式會社