專利名稱：用于識別運動模式的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于將運動模式轉(zhuǎn)換為控制信號的設(shè)備和方法，而且更具體 但非排它地，涉及用于利用圖像處理將運動模式轉(zhuǎn)換為控制信號的設(shè)備和方 法。
背景技術(shù)：
復(fù)雜電子電路的迅速微型化以及高分辨率顯示設(shè)備的出現(xiàn)極大地增加 了基于便攜式處理器的設(shè)備的數(shù)量和多樣性。這樣的基于便攜式處理器的設(shè) 備包括手持計算機、移動電話、尋呼機、以及其它便攜式通信和計算解決方 案。另外，基于便攜式處理器的設(shè)備的處理能力、數(shù)據(jù)存儲能力、通信速度、 以及電池壽命正以加速的步調(diào)繼續(xù)發(fā)展。前述的基于便攜式處理器的設(shè)備中的每一種通常集成有允許用戶控制其運作的人機界面(MMI)。然而，需要將MMI調(diào)整為便攜式自治設(shè)備的小 尺寸。這樣的基于便攜式處理器的設(shè)備中的傳統(tǒng)MMI是微型化鍵盤或小鍵 盤，其允許用戶輸入具有諸如電話號碼、聯(lián)系人名稱、字處理器內(nèi)容等等的 文本表示的數(shù)據(jù)。典型地用于在個人數(shù)字助理(PDA)中輸入文本數(shù)據(jù)的另一種MMI是 觸摸屏。這樣的設(shè)備通常集成有常常存放在PDA附近或其上的筆形定點設(shè) 備。在使用中，將筆形定點設(shè)備作用于PDA上的觸摸屏以使得用戶能夠作 選擇并與PDA設(shè)備交互。移動電話和基于便攜式處理器的設(shè)備中可以使用 高分辨率LCD觸摸屏。為了確定顯示屏被觸碰的位置，普遍使用電容式和 電阻式觸碰敏感層。它們基于諸如銦-錫氧化物膜的透明導(dǎo)體。然而，使用 這樣的MMI的不足是它們高昂的價格和有限的透明度(其降低了圖像質(zhì) 量)，特別是對現(xiàn)代高分辨率LCD顯示屏。前述的MMI允許用戶通過諸如輸入諸如字符的簡短符號或按下仿真或 真實鍵盤上的期望的圖標或字母來控制相關(guān)設(shè)備的不同功能。因為每個MMI 被調(diào)整為微型化設(shè)備的尺寸，用戶可能不得不全神貫注以找到相關(guān)的小開關(guān)或用筆形定點設(shè)備草草寫下期望的字符。更進一步，由于物理的限制，將 MMI配置為使得一次動作或按鍵按下就產(chǎn)生結(jié)果或事件的能力有限。復(fù)雜電子電路的迅速微型化最近已經(jīng)導(dǎo)致將圖像傳感器集成到基于便攜式處理器的設(shè)備中。PDA、移動電話、以及膝上計算機集成有用于捕獲靜 止和視頻圖像的攝像頭。這樣的產(chǎn)品流行的原因之一是諸如互補金屬氧化物 半導(dǎo)體(CMOS )或電荷耦合器件(CDD )的圖像傳感器價格和尺寸的減低。 圖像傳感器的集成開拓了允許用戶與基于便攜式處理器的設(shè)備交互的 另外的可能性。已知的集成攝像頭的移動電話例如使用運動界面引擎，其通 過例如經(jīng)由圖像傳感器向設(shè)備輸入方向或運動指令以控制諸如滾動菜單的 功.能來使設(shè)備的控制便利化。光標的對象指示器的顯示。方向指令不能被用作為輸入通常使用小鍵盤或鍵 盤來輸入的字符或其它預(yù)定義符號的基礎(chǔ)。另外，無法輸入由方向指令序列 組成的輸入作為單個指令。因此，廣泛認識到需要有全無上述限制的MMI的設(shè)備和方法，而且其 將是非常有優(yōu)勢的。發(fā)明內(nèi)容根據(jù)本發(fā)明的一個方面，提供一種用于識別預(yù)定義復(fù)雜自身運動的具有 到圖像傳感器的連接的設(shè)備。所述設(shè)備包括運動向量檢測模塊，其被適配為 接收在所述圖像傳感器的位移期間捕獲的數(shù)字圖像。所述運動向量檢測模塊 被配置用于根據(jù)所述數(shù)字圖像產(chǎn)生所述圖像傳感器的當前運動向量。所述設(shè) 備進一步包括混合模塊，其被配置為接收當前運動向量。所述混合模塊被配 置為將當前運動向量與所述位移期間的連續(xù)運動向量序列混合。所述設(shè)備進 一步包括運動模式知識庫，其被適配為存儲模式樣本記錄，每個記錄代表 一種預(yù)定義運動模式；以及運動模式匹配模塊，其被適配為在所述模式樣本 記錄之一與所述連續(xù)運動向量序列之間進行匹配。優(yōu)選地，所述預(yù)定義運動模式是非線性運動模式。優(yōu)選地，所述運動模式匹配模塊被配置為根據(jù)所述匹配來確定所述數(shù)字 圖像是否是近似地沿各個預(yù)定義運動模式拍攝的。優(yōu)選地，所述混合模塊被適配為用于將新記錄添加到所述模式樣本記錄，根據(jù)所述數(shù)字圖像來產(chǎn)生所述新記錄。優(yōu)選地，所述設(shè)備進一步包括用戶界面，所述用戶界面被配置為允許用戶啟動和終止所述數(shù)字圖像的捕獲。優(yōu)選地，所述設(shè)備進一步包括輸出設(shè)備，其被適配為輸出控制信號。 更優(yōu)選地，所述控制信號代表以下組至少其中之一用于文本輸入的字符、啟動所述設(shè)備的至少一種功能、具有平面模式的安全簽名、具有空間模式的安全簽名、以及終止所述設(shè)備的至少一種功能。更優(yōu)選地，所述模式樣本記錄中的每一個包括運動向量陣列。 更優(yōu)選地，所述混合模塊被適配為將所述連續(xù)運動向量序列轉(zhuǎn)換為歸一化連續(xù)運動向量序列，所述歸 一化序列的每個歸 一化運動向量以及所述運動向量陣列的每個向量具有統(tǒng)一的長度。優(yōu)選地，所述設(shè)備是以下組其中之一移動電話、個人數(shù)字助理(PDA)、 以及膝上計算機。優(yōu)選地，所述圖像傳感器是以下組其中之一互補金屬氧化物半導(dǎo)體 (CMOS)傳感器、以及電荷耦合器件(CCD)傳感器。優(yōu)選地，所述數(shù)字圖像由以下組其中之一表示色度-飽和度-純度(HSV ) 彩色坐標、C正L*a*b* (CIELAB)彩色坐標、YCbCr彩色坐標、以及紅-綠-藍(RGB)彩色坐標。優(yōu)選地，所述連接被配置為允許用戶與所述設(shè)備分開地操控所述圖像傳 感器運動。更優(yōu)選地，所述連接包括以下連接至少其中之一RS-232連接、以太 網(wǎng)連接、通用串行總線(USB)連接、蜂窩收發(fā)器連接、1394火線連接、 USB2連接、藍牙⑧連接、以及IR連接。優(yōu)選地，將所述圖像傳感器穩(wěn)固耦接到所述設(shè)備。更優(yōu)選地，所述設(shè)備進一步包括通信接口模塊，所述通信接口模塊被適 配為向遠程設(shè)備發(fā)送所述控制信號。根據(jù)本發(fā)明的另 一個方面，提供一種用于將在圖像傳感器的位移期間拍 攝的數(shù)字圖像轉(zhuǎn)換為控制信號的設(shè)備。所述設(shè)備包括具有到圖像傳感器的連 接的圖像輸入設(shè)備。所述圖像輸入設(shè)備被適配為接收在所述圖像傳感器的位 移期間捕獲的數(shù)字圖像。所述設(shè)備進一步包括預(yù)定義運動模式的知識庫； 以及運動模式轉(zhuǎn)換器，與所述知識庫和所述圖像輸入設(shè)備相關(guān)聯(lián)，而且被適配為根據(jù)所述位移與所述預(yù)定義運動模式之一之間的匹配將所述數(shù)字圖像 轉(zhuǎn)換為所述控制信號。根據(jù)本發(fā)明的另一個方面，提供一種用于識別自身運動模式的方法。所述方法包括以下步驟a)接收在集成圖像傳感器的設(shè)備的位移期間捕獲的 數(shù)字圖像；b)根據(jù)所述數(shù)字圖像識別運動數(shù)據(jù)序列；以及c)將所述運動數(shù) 據(jù)序列與存儲的預(yù)定運動模式進行匹配。優(yōu)選地，所述方法進一步包括根據(jù)所述匹配產(chǎn)生控制信號的步驟d)。優(yōu)選地，通過將所述運動數(shù)據(jù)序列與模式樣本記錄進行匹配來執(zhí)行步驟 c)的匹配，所述模式樣本記錄中的每個記錄與不同的預(yù)定義運動模式關(guān)聯(lián)。優(yōu)選地，所述預(yù)定義運動模式是以下組其中之一字符、符號、手勢的 預(yù)定義輪廓、具有平面模式的安全簽名、以及具有空間模式的安全簽名。優(yōu)選地，所述運動數(shù)據(jù)包括關(guān)于所述集成圖像傳感器的設(shè)備在連續(xù)時間 片段期間的運動的信息。優(yōu)選地，所述運動數(shù)據(jù)序列是運動向量陣列。更優(yōu)選地，所述模式樣本中的每個記錄包括運動向量陣列，其中在所述 匹配期間將所述運動數(shù)據(jù)序列中的每個運動向量與所述模式樣本記錄中的 相應(yīng)的運動向量進行匹配。更優(yōu)選地，在所述匹配期間根據(jù)存儲在已匹配預(yù)定義運動模式中的運動 向量的數(shù)量將所述運動數(shù)據(jù)序列中的運動向量分段。更優(yōu)選地，所述方法進一步包括在步驟a)與步驟b)之間通過將所述 運動向量陣列中的每一個除以其長度來歸一化所述運動數(shù)據(jù)序列的步驟。更優(yōu)選地，所述方法進一步包括將所述運動向量序列劃分為預(yù)定數(shù)量的 等長度片段的步驟，所述片段中的每一個代表所述序列中的相應(yīng)的數(shù)字圖像 的方向數(shù)據(jù)。優(yōu)選地，所述方法進一步包括在步驟a)與步驟b)之間將所述數(shù)字圖 像的像素的彩色坐標轉(zhuǎn)換為灰度顏色坐標的步驟。號的步驟。更優(yōu)選地，所述應(yīng)用程序在所述設(shè)備上。 更優(yōu)選地，所述應(yīng)用程序在遠程設(shè)備上。優(yōu)選地，所述方法進一步包括在步驟a)之前存儲至少一種預(yù)定義運動模式的步驟。更優(yōu)選地，所述存儲包括接收在所述集成圖像傳感器的設(shè)備近似地沿所 述至少 一種預(yù)定義運動模式其中之一的位移期間捕獲的數(shù)字圖像的步驟。更優(yōu)選地，所述存儲包括從外部源接收所述至少 一種預(yù)定義運動模式的 步驟。更優(yōu)選地，所述外部源是個人計算機。根據(jù)本發(fā)明的另一個方面，提供一種用于識別預(yù)定義復(fù)雜自身運動的具 有圖像傳感器的移動電話。所述移動電話包括運動向量檢測模塊，其被適 配為接收在所述圖像傳感器的位移期間捕獲的數(shù)字圖像，所述運動向量檢測模塊被配置用于根據(jù)所述數(shù)字圖像產(chǎn)生所述圖像傳感器的當前運動向量；以及運動模式知識庫，用于存儲多個用戶定義運動模式。所述移動電話進一步 包括運動模式匹配模塊，其被適配為在所述多個用戶定義運動模式記錄之一 與連續(xù)運動向量序列之間進行匹配。優(yōu)選地，由所述移動電話的用戶定義所述運動模式。根據(jù)本發(fā)明的另 一個方面，提供一種用于執(zhí)行移動手持設(shè)備的功能的方法。所述方法包括a)接收在所述移動手持設(shè)備近似地沿用戶定義運動模 式的位移期間捕獲的數(shù)字圖像；b)根據(jù)所述數(shù)字圖像識別所述用戶定義運 動模式；以及c)根據(jù)所述用戶定義運動模式執(zhí)行功能。優(yōu)選地，所述方法進一步包括在步驟b)與步驟c)之間將所述用戶定 義運動模式與存儲的預(yù)定義運動模式進行匹配的步驟，其中根據(jù)所述匹配來 完成步驟c)的執(zhí)行。普通技術(shù)人員一般理解的相同的意義。這里提供的資料、方法、以及示例僅 僅是解釋性的，無意用于限制。本發(fā)明的方法和系統(tǒng)的實現(xiàn)涉及手動地、自動地、或以其結(jié)合來執(zhí)行或 完成某些選定的任務(wù)或步驟。另外，根據(jù)本發(fā)明的方法和設(shè)備的優(yōu)選實施例 的實際器材和裝置，可以通過硬件或通過任何固件的任何操作系統(tǒng)上的軟件 或其結(jié)合來實現(xiàn)幾個選定步驟。例如，作為硬件，可以將本發(fā)明的選定步驟 實現(xiàn)為芯片或電路。作為軟件，可以將本發(fā)明的選定步驟實現(xiàn)為由計算機利 用任何適當?shù)牟僮飨到y(tǒng)執(zhí)行的多個軟件指令。在任何情況下，可以將本發(fā)明 的方法和設(shè)備的選定步驟描述為由諸如用于執(zhí)行多個指令的計算平臺的數(shù)據(jù)處理器來執(zhí)行。


這里參照附圖描述本發(fā)明僅作為例示?，F(xiàn)在詳細地具體參照附圖，需要論述的目的，給出這些細節(jié)是為了提供相信是對本發(fā)明的原理和概念的最有 幫助和易于理解的描述。為此，不試圖展示比本發(fā)明的基本理解所需的細節(jié) 更詳細的結(jié)構(gòu)細節(jié)，結(jié)合附圖的描述使得本領(lǐng)域技術(shù)人員明了怎樣可以將本 發(fā)明的幾種形式在實踐中具體化。附圖中圖1是根據(jù)本發(fā)明的優(yōu)選實施例的用于將沿路徑拍攝的數(shù)字圖像序列轉(zhuǎn)換為控制信號的設(shè)備的示意圖；圖2是根據(jù)本發(fā)明的優(yōu)選實施例的被組合以形成運動模式的 一組連續(xù)運 動向量的示范性圖形表示；圖3是根據(jù)本發(fā)明的優(yōu)選實施例的用于將數(shù)字圖像序列轉(zhuǎn)換為控制信號 的四步過程的簡化流程圖；圖4A是根據(jù)本發(fā)明的優(yōu)選實施例的由轉(zhuǎn)換設(shè)備捕獲的兩個連續(xù)數(shù)字圖 像的圖形表示；圖4B是圖4A的兩個數(shù)字圖像中的第一個的圖形表示；圖4C是圖4A的兩個數(shù)字圖像中的第二個的圖形表示；圖4D是圖4A的第一數(shù)字圖像處以及第二數(shù)字圖像處的匹配區(qū)域的像 素的位置之間的偏差的示范性示意圖；圖4E是示出根據(jù)本發(fā)明的優(yōu)選實施例的運動向量序列的產(chǎn)生的流程圖；圖5A是代表某運動模式的運動向量序列的示范性圖形表示； 圖5B是根據(jù)圖5A的運動向量序列產(chǎn)生的歸一化運動向量序列的示范 性圖形表示；圖5C是具有圖5A的運動向量序列和圖5B的歸一化運動向量序列共同的模式的示范性字符的圖形表示；圖6A是根據(jù)本發(fā)明的優(yōu)選實施例的用于產(chǎn)生歸一化運動向量序列的過 程的簡化流程圖；圖6B是根據(jù)本發(fā)明的優(yōu)選實施例的用于產(chǎn)生歸一化運動向量序列的過程的另一個簡化流程圖；圖7是一組示范性歸一化運動向量和一組相應(yīng)的運動向量的示范性圖形表示；圖8A是根據(jù)沿形如數(shù)字"3"的運動模式拍攝的數(shù)字圖像序列產(chǎn)生的歸 一化運動向量序列、以及被配置為分別與形如"3"和"6"的運動模式匹配 的 一對模式樣本記錄的圖形表示；圖8B描述各自均包含與圖8A中所示的運動模式有關(guān)的不同模式樣本 記錄的相似度等級值的兩個表；以及圖9描述根據(jù)本發(fā)明的優(yōu)選實施例的移動電話以及其在將運動模式記錄 在模式樣本知識庫(repository)期間和在利用已記錄的運動模式期間的一些 顯示。
具體實施方式
當前實施例包括用于在識別出預(yù)定運動路徑時將數(shù)字圖像轉(zhuǎn)換為相應(yīng) 的控制信號的設(shè)備和方法。通過參照附圖和所附說明，可以更好地理解根據(jù)本發(fā)明的裝置和方法的 原理和操作。在詳細解釋本發(fā)明的至少一個實施例之前，應(yīng)當理解，本發(fā)明不限于應(yīng) 用到在以下說明中闡述或在附圖中示出的結(jié)構(gòu)的細節(jié)以及組件的布置。本發(fā) 明可以有其它實施例或以多種方式實踐或完成。而且，應(yīng)當理解，這里采用 的措詞和術(shù)語是用于描述的目的，不應(yīng)當被當作是限制。本發(fā)明的 一個實施例是一種用于將當前數(shù)字圖像序列轉(zhuǎn)換為控制信號 的設(shè)備。該設(shè)備包括具有到圖像傳感器的連接的圖像輸入轉(zhuǎn)換設(shè)備。該圖像 輸入轉(zhuǎn)換設(shè)備被適配為接收在圖像傳感器的位移期間捕獲的數(shù)字圖像序列 以識別任何運動模式。該轉(zhuǎn)換設(shè)備進一步包括運動模式轉(zhuǎn)換器，其被適配為 將所識別的運動模式轉(zhuǎn)換為控制信號。本發(fā)明的另一個實施例是一種用于將運動模式轉(zhuǎn)換為控制信號的方法。 該方法包括幾個步驟。第一步，在集成圖像傳感器的設(shè)備的位移期間捕獲數(shù) 字圖像序列。該設(shè)備可以近似地根據(jù)姿勢或隨機運動而位移。分析在集成圖 像傳感器的設(shè)備的運動期間捕獲的數(shù)字圖像序列以識別已完成的運動模式。將所識別的預(yù)定義運動模式與多個預(yù)先存儲的姿勢記錄之一進行匹配，其中 每個記錄包括不同的預(yù)定義運動模式的樣本。在找到匹配之后，產(chǎn)生相應(yīng)的 控制信號。轉(zhuǎn)換設(shè)備可以理解為集成或連接到圖像傳感器的任何基于處理器的設(shè)備，諸如PDA、移動電話、無線手持設(shè)備、或膝上計算機?？刂菩盘柨梢岳斫鉃閱幽硠幼鞯拇碳ぁ⑤斎?、或符號，諸如輸入到諸 如電信設(shè)備、處理器、或計算機程序的功能單元的信號或干擾。符號形狀、線條形狀、空間形狀、或物體上的形狀的某形狀的輪廓的軌跡的 任何運動。運動模式也可以理解為物體沿已知手勢的軌跡的任何運動、或肢 體在進行已知活動期間的典型運動?，F(xiàn)在參照圖1，其描述根據(jù)本發(fā)明的實施例的示范性設(shè)備1,其用于轉(zhuǎn) 換隨著攝像頭運動而拍攝的數(shù)字圖像序列，以確定攝像頭是否已沿預(yù)定義運動模式或姿勢運動。轉(zhuǎn)換設(shè)備1被適配為經(jīng)由指定的圖像輸入模塊4從圖像 傳感器3接收數(shù)字圖像序列2。優(yōu)選地，圖像傳感器3是CMOS傳感器或 CCD傳感器。優(yōu)選地，將圖像傳感器3耦接到轉(zhuǎn)換設(shè)備。在這樣的實施例 中，在轉(zhuǎn)換設(shè)備沿預(yù)定義運動模式位移期間拍攝數(shù)字圖像序列。集成攝像頭 的移動電話是這樣的實施例的示例。在本發(fā)明的另 一個實施例中，經(jīng)由無線連接或延長線纜將圖像輸入轉(zhuǎn)換 設(shè)備連接到圖像傳感器。在這樣的實施例中，在圖像傳感器沿預(yù)定義運動模 式的候選者位移期間與轉(zhuǎn)換設(shè)備分離地拍攝數(shù)字圖像序列。這樣的實施例的 一類示例是與包括耦接到藍牙⑧發(fā)送器的圖像傳感器的單獨單元通信的移動 電話或PDA。在這樣的實施例中，經(jīng)由已調(diào)整的無線連接將數(shù)字圖像序列傳 送到轉(zhuǎn)換設(shè)備。優(yōu)選地，該單獨單元具有筆形或環(huán)形形狀，以便于由用戶將 其位移。優(yōu)選地，該轉(zhuǎn)換設(shè)備包括用戶接口，其被配置為允許用戶啟動和終止數(shù) 字圖像序列的捕獲。例如，在移動電話中，可以通過借助按下小鍵盤上的指 定按鍵、或借助按下移動電話的外殼上的指定按鈕發(fā)出的簡單命令組來啟動 捕獲。為了啟動和終止數(shù)字圖像序列的捕獲，用戶可以按住按鈕，或者可選 擇地，他可以按下按鈕一次以啟動捕獲并再次按下按鈕以終止捕獲。也就是 說，由用戶定義姿勢的開始和結(jié)束。13將數(shù)字圖像序列2傳送到運動向量生成器7。連續(xù)的數(shù)字圖像序列2可 以沿、或者不沿預(yù)定義運動模式拍攝，如下所述。運動向量生成器7用于將 數(shù)字圖像轉(zhuǎn)換為運動向量序列，其在稍后由運動模式轉(zhuǎn)換器5收集并轉(zhuǎn)換為 控制信號6，如下所述。該轉(zhuǎn)換使得轉(zhuǎn)換設(shè)備1的用戶能夠通過沿預(yù)定義運 動模式移動圖像傳感器3來控制轉(zhuǎn)換設(shè)備1或相關(guān)設(shè)備的不同的功能。該轉(zhuǎn) 換進一步使得轉(zhuǎn)換設(shè)備的用戶能夠以同樣的方式輸入代表已經(jīng)在之前定義 的不同的字符或記號的信號?？刂菩盘?被傳送到相關(guān)應(yīng)用，如下所述?，F(xiàn)在參照圖2，其是被組合以形成運動模式101的一組相繼的運動向量 100的圖形表示。運動模式101的每個運動向量100代表轉(zhuǎn)換設(shè)備在某一時 間片段期間的運動。如上所述，運動向量生成器7和運動模式轉(zhuǎn)換器5用于將數(shù)字圖像序列 2轉(zhuǎn)換為控制信號6。優(yōu)選地，轉(zhuǎn)換設(shè)備1被配置為將多個不同的預(yù)定義運 動模式轉(zhuǎn)換為不同的各個控制信號。在這樣的實施例中，用戶近似地沿跟隨 預(yù)定義運動模式的輪廓的軌跡102操控轉(zhuǎn)換設(shè)備1運動，以向運動模式轉(zhuǎn)換 器5發(fā)送關(guān)于某一關(guān)聯(lián)的控制信號序列的信息。優(yōu)選地，為了識別預(yù)定義運 動模式并將其與某控制信號關(guān)聯(lián)，運動向量生成器7利用圖像處理?，F(xiàn)在參照圖3，其是示出根據(jù)本發(fā)明的優(yōu)選實施例的用于將數(shù)字圖像序 列轉(zhuǎn)換為控制信號的四步過程的流程圖。在第一個步驟20，運動模式轉(zhuǎn)換 器接收數(shù)字圖像序列。在本發(fā)明的一個實施例中，每個數(shù)字圖像包含多個彩 色像素，每個像素包含顏色信息。每個像素的顏色信息被用于圖像處理。在步驟202,由運動模式轉(zhuǎn)換器產(chǎn)生運動向量序列。如上所述，該數(shù)字 圖像序列是沿預(yù)定義運動模式拍攝的。為了識別該數(shù)字圖像序列是沿何種預(yù) 定義運動模式拍攝的，需要單獨地計算組成預(yù)定義運動模式的運動向量。優(yōu) 選地，由運動向量生成器基于兩個相繼的數(shù)字圖像之間的差異來計算運動向 量序列中的每個運動向量?，F(xiàn)在參照圖4A、 4B、 4C、和4D，其描述部分地捕獲的區(qū)域，該區(qū)域由 兩個相繼的數(shù)字圖像300、 301描述。圖4A描述用于計算轉(zhuǎn)換設(shè)備確定運動 模式所用的運動向量之一的兩個相繼的數(shù)字圖像，如上所述?；诘谝粩?shù)字 圖像300與第二數(shù)字圖像301的位置之間的偏差估計轉(zhuǎn)換設(shè)備302的運動向 量。圖4A描述由具有如數(shù)字303所示的運動方向的轉(zhuǎn)換設(shè)備捕獲的第一數(shù) 字圖像300和第二數(shù)字圖像301 。由于所述數(shù)字圖像屬于同 一個數(shù)字圖像序列，它們具有相同的尺寸而且可以利用同一個坐標系參照。優(yōu)選地，使用原 點位于幀的左下角的坐標系。為了計算數(shù)字圖像300與301的位置之間的偏差，優(yōu)選地在兩個圖像中 均識別描述相似的模式或區(qū)域的基準區(qū)域。圖4B描述第一數(shù)字圖像300和 相應(yīng)的基準區(qū)域305。圖4C描述第二數(shù)字圖像301和相應(yīng)的基準區(qū)域306。 基準區(qū)域305和306描述圖像300和301中捕獲的圖像的同 一個部分。優(yōu)選地，為了識別與第 一數(shù)字圖像300的區(qū)域匹配的第二數(shù)字圖像301 的區(qū)域，使用塊匹配算法。在本發(fā)明的一個實施例中，使用示范性絕對差求 和(SAD)算法來選擇數(shù)字圖像301的邊界內(nèi)的匹配區(qū)域。使用SAD處理 來量化第 一數(shù)字圖像300的某區(qū)域與第二數(shù)字圖像301中不同的匹配區(qū)域候 選者之間的相似度。利用量化的結(jié)果來確定匹配區(qū)域。也可以使用已經(jīng)開發(fā) 用于降低塊匹配處理的計算復(fù)雜度的其它算法。例如，可以使用絕對差部分 求和(PSAD)、絕對差平均(MAD)、三步搜索(TSS)、改進運動估計算法 (MMEA )、或獨立正交搜索算法(IOSA)來選擇第二數(shù)字圖像的匹配區(qū)域。 SAD、 PSAD、 MAD、 TSS、 MMEA、和IOSA算法是公知的，因而這里不 作更詳細的描述。圖4D描述第 一數(shù)字圖像的某區(qū)域的像素307與第二數(shù)字圖像的匹配區(qū) 域中相應(yīng)的像素308的位置之間的偏差。該偏差反映其方向與轉(zhuǎn)換設(shè)備的運 動方向相反的運動向量。優(yōu)選地，將該偏差表示為一組兩個數(shù)值(即，Mx 和My ),其代表第 一數(shù)字圖像中的某像素307的與第二數(shù)字圖像中相應(yīng)的像 素308的坐標之間的改變。應(yīng)當注意，圖4中描述的運動向量檢測處理僅僅是示范性處理。也可以 使用包括非SAD方法在內(nèi)的許多其它運動向量檢測處理和計算，以根據(jù)兩 個相繼的數(shù)字圖像產(chǎn)生運動向量。優(yōu)選地，為數(shù)字圖像序列中的每個連續(xù)圖像對估計運動向量。從而，序 列中除第一個和最后一個之外的每個數(shù)字圖像被用于估計兩個相繼的運動 向量。除第一個和最后一個數(shù)字圖像之外，其它每個數(shù)字圖像被用于作為在 其中尋找匹配區(qū)域的第二數(shù)字圖像，并接著作為在其中使用已匹配區(qū)域作為 塊匹配處理的基準的第一數(shù)字圖像，如上所述。優(yōu)選地，計算并存儲包含全 部已估計的運動向量的陣列作為運動模式。優(yōu)選地，該陣列中的每個記錄是 一組兩個數(shù)值(即，Mx和My )，其代表兩個相繼的數(shù)字圖像的匹配區(qū)域的像素之間的偏差?，F(xiàn)在參照圖4E，其是示出根據(jù)本發(fā)明的優(yōu)選實施例的運動向量序列的產(chǎn)生的流程圖。在產(chǎn)生運動向量序列的第一個步驟中，如351所示，設(shè)置質(zhì) 量閾值。該質(zhì)量閾值反映這樣的估計的質(zhì)量，將高于其的某運動向量定義為 有效運動向量。該能力有利于集成用于估計運動向量值(優(yōu)選地關(guān)于之前的 運動向量的運動向量值)的有效性的許多已知算法。在該處理的稍后步驟中 使用質(zhì)量閾值，如356所示。在隨后的步驟中，如352所示，初始化運動向量陣列。將運動向量陣列 配置為存儲不定數(shù)量的運動向量。優(yōu)選地，以保證靈活性的方式動態(tài)地定義 陣列。接著，該處理進入等待階段，在其中不記錄運動向量直到接收到啟動 信號為止，如353所示。優(yōu)選地，用戶需要按下預(yù)定義按鈕以產(chǎn)生這樣的啟 動信號。在已經(jīng)接收到啟動信號之后，如360和361所示，檢索當前幀和下 一個捕獲的幀以允許計算運動向量。優(yōu)選地使用當前幀和下一個捕獲的幀如 根據(jù)圖4A-4D所述計算運動向量。如上所述，由于該過程是反復(fù)迭代的， 優(yōu)選地由運動向量生成器為每兩個相繼的幀計算運動向量，如354所示。在355，現(xiàn)在使用已經(jīng)在之前的步驟中計算的質(zhì)量閾值。如果計算得到 的運動向量的質(zhì)量等級低于質(zhì)量閾值，或者計算得到的運動向量指示轉(zhuǎn)換設(shè) 備沒有位移，如356所示，則計算另一個運動向量。然而，如果計算得到的 運動向量的質(zhì)量等級高于質(zhì)量閾值，而且計算得到的運動向量指示轉(zhuǎn)換設(shè)備 有位移，則將計算得到的運動向量添加到運動向量陣列，如357所示。在隨 后的步驟358中，探測是否接收到終止信號。在本發(fā)明的一個實施例中，用 戶可以通過按下指定按鈕來產(chǎn)生終止信號。如果未接收到終止信號，則計算 另一個運動向量。如上所述，優(yōu)選地根據(jù)兩個當前幀中的后一個與用作為稍后的幀的附加 的幀之間的差來計算附加的運動向量。因而，如361所示，如果未探測到終 止信號的接收，則轉(zhuǎn)交兩個當前幀中的后一個用于與下一個捕獲的幀計算下 一個運動向量。如圖4E進一步所示，運動向量序列的獲取是以重復(fù)方式計 算的循環(huán)過程。如圖4E中所述，在接收啟動信號與終止信號之間的時間期間，以循環(huán) 的方式將運動向量添加到運動向量陣列。由于用戶優(yōu)選地具有產(chǎn)生這些信號 的能力，如上所述，所以用戶可以界定用于記錄某運動模式的某時間期間。當產(chǎn)生包含連續(xù)運動向量序列的運動向量陣列時該過程結(jié)束，如359所示。所產(chǎn)生的序列代表在轉(zhuǎn)換設(shè)備的位移期間執(zhí)行的某運動模式，如上所述?，F(xiàn)在再次參照圖2,其描述基于沿預(yù)定軌跡102拍攝的實時數(shù)字圖像的 運動向量序列100。兩個相繼的點103之間的每條線104代表與轉(zhuǎn)換設(shè)備在 某時間片段期間的運動關(guān)聯(lián)的計算得到的運動向量。圖2描述本發(fā)明的優(yōu)選 實施例，其中已經(jīng)沿具有字符'S，形狀的預(yù)定義軌跡拍攝運動模式101?，F(xiàn)在再次參照圖3。如上所述，根據(jù)數(shù)字圖像序列產(chǎn)生運動向量序列。 下一步，如203所示，是將運動向量序列與多個預(yù)定義運動模式之一進行匹 配。根據(jù)已經(jīng)沿某運動模式拍攝的數(shù)字圖像序列產(chǎn)生運動向量序列。用戶可 以利用轉(zhuǎn)換設(shè)備輸入多種運動模式。每種運動模式用于產(chǎn)生不同的控制信 號。在本發(fā)明的一個實施例中，運動模式轉(zhuǎn)換器包括模式樣本知識庫，其包 含模式樣本記錄，每個模式樣本記錄與相應(yīng)的控制信號關(guān)聯(lián)。優(yōu)選地，模式 樣本記錄的數(shù)量可變而且可以由用戶調(diào)整。每個模式樣本記錄優(yōu)選地包括預(yù) 定義數(shù)量(優(yōu)選地，24)個的運動向量的陣列。優(yōu)選地，如果獲取空間運動 向量序列，如上所述，則每個模式樣本記錄包括空間運動向量序列。運動向 量優(yōu)選地具有統(tǒng)一的長度，其優(yōu)選地可以作為單位。從而，運動向量僅反映 沿相關(guān)運動模式的方向改變。根據(jù)某預(yù)定義運動模式連續(xù)地排列每個陣列的 運動向量。這樣的運動模式可以形如常見字符、常見記號、常見符號、或諸 如簽名的個別地配置的標記，如下所述。現(xiàn)在參照圖5A、 5B、和5C,其分別描述確定某運動模式101的運動向 量序列、具有統(tǒng)一長度的歸一化運動向量序列500、以及示范性字符501。 圖5A的運動向量序列的圖形表示與上面圖2中一樣。如上所述，在本發(fā)明的一個實施例中，運動模式轉(zhuǎn)換器包括模式樣本知 識庫。這樣的實施例允許運動模式轉(zhuǎn)換器將獲取的運動向量序列與多個模式 樣本記錄進行匹配，其中每個模式樣本記錄包含不同的預(yù)定義運動模式。然 而，與包含具有統(tǒng)一長度的預(yù)定義運動向量序列的模式樣本記錄不同，獲得 的運動向量序列包含不定數(shù)量的具有不同長度的運動向量，如圖2中所示。 在本發(fā)明的一個實施例中，在將序列與模式樣本知識庫的記錄進行比較之 前，收集獲取的序列的運動向量并對其操作以形成優(yōu)選地具有統(tǒng)一長度的歸 一化向量。現(xiàn)在參照圖6A，其是示出根據(jù)本發(fā)明的示范性實施例的用于產(chǎn)生歸一化運動向量序列的五步過程的流程圖。如下面進一步所述，將運動向量序列 與存儲代表某些運動模式的運動向量序列的記錄進行匹配。這些記錄具有預(yù) 定義數(shù)量的包含某運動模式的運動向量。為了將運動向量序列與存儲的記錄 進行匹配，需要根據(jù)存儲在這些記錄中的預(yù)定義數(shù)量的運動向量將運動向量 序列分段。這樣的分段允許匹配處理，如下面更詳細地描述的。在第一步驟601,接收如上所述描述運動模式的運動向量序列。優(yōu)選地， 獲取的序列是具有多個記錄的陣列，每個記錄包括具有特定長度的運動向 量。在隨后的步驟602，估計運動模式的長度。通過將組成獲取的序列的運 動向量的長度求和來完成該估計。通過估計運動模式的長度，可以確定長度 統(tǒng)一的運動向量的長度，如603所示。優(yōu)選地將獲取的序列的總長度除以代 表所需運動向量的數(shù)量的預(yù)定義數(shù)值。如上所述，模式樣本的每個記錄包括 具有預(yù)定義數(shù)量的運動向量的陣列，例如如所示的24。在接下來的步驟，如 604所示，在將其與每個模式樣本進行匹配之前，將獲得的運動向量序列劃 分為稍后被歸一化的運動向量的長度統(tǒng)一的片段。長度統(tǒng)一的運動向量的數(shù) 量與存儲在模式樣本中的運動向量的數(shù)量相當。在處理期間，將獲取的序列 劃分為類似數(shù)量的長度統(tǒng)一的運動向量。優(yōu)選地，通過將運動模式的長度劃 分為表示為運動向量的預(yù)定義數(shù)量的片段來計算每個長度統(tǒng)一的運動向量 的長度，如上所述。存儲計算得到的長度以允許將運動向量序列的分段為具 有相等長度的組，如上所述。如上所述，在步驟604,在已經(jīng)根據(jù)序列的總長度估計獲取的序列運動 向量的總長度之后，可以將獲取的運動向量序列劃分為連續(xù)的歸 一化運動向 量的片段?，F(xiàn)在參照圖6B，其是更詳細地示出根據(jù)本發(fā)明的示范性實施例的圖6A 中所述的歸一化運動向量產(chǎn)生過程的流程圖。圖6B中，y'代表當前歸一化運 動向量的序號(consecutive order )， M戈表當前運動向量的序號，五^f弋表當前 運動向量的數(shù)量，L代表當前運動向量的總長度，M代表歸一化運動向量的 數(shù)量(例如，24)， iV代表歸一化運動向量，K代表當前運動向量，j代表長 度統(tǒng)一的運動向量的統(tǒng)一長度，C代表形成當前長度統(tǒng)一的運動向量的運動 向量片段的當前長度，而F代表統(tǒng)一長度(J)與當前處理的歸一化運動向 量(A^))的長度之間的差。如651所示，最初接收優(yōu)選地存儲在陣列(rW)中的描述運動模式的運動向量序列。優(yōu)選地，獲取的序列是具有多個記錄的陣列，每個記錄包括 具有特定長度的運動向量。在已經(jīng)接收運動向量序列之后，估計運動模式的長度。如步驟652至657所述，通過將組成獲取的序列的運動向量的長度求 和來完成長度估計。如步驟654至656所示，以反復(fù)迭代的過程來完成求和， 其中將全部運動向量的長度一起求和到單個變量(丄)中。如657所示，在 已經(jīng)估計運動模式的長度之后，將獲取的序列的總長度(￡)除以代表所需 運動向量數(shù)的預(yù)定義數(shù)值(M)。該推導(dǎo)的結(jié)果(A)是根據(jù)其如步驟662至 669所述將運動向量序列分段以形成歸一化運動向量的統(tǒng)一長度?，F(xiàn)在，如 步驟658至659所示，重置在歸一化運動向量產(chǎn)生過程中使用的不同的變量。 接著，如步驟660至671所示，子處理中根據(jù)在步驟657中確定的統(tǒng)一長度 (爿)產(chǎn)生歸一化運動向量。該子處理是反復(fù)迭代的，而且允許產(chǎn)生連續(xù)的 歸一化運動向量，如下所述。在該子處理的每次迭代期間，初始化代表當前 處理的運動向量的變量。優(yōu)選地，初始化當前處理的歸一化向量A^卩以及代 表其當前長度的變量C,如661和660分別所示。接著，如步驟662至665 所示，添加多個連續(xù)的運動向量以形成當前處理的歸一化運動向量A^)。持 續(xù)地添加連續(xù)的運動向量，只要它們的長度之和不超過統(tǒng)一長度^，如662 所示。因而，若連接隨后的連續(xù)運動向量，則當前處理的片段被擴展超過估 計的統(tǒng)一長度(j )。為了不超過估計的統(tǒng)一長度(^ )，利用連續(xù)運動向量^ K(^j之間的缺口 (J-C)，如步驟666和667所示。如668所示，將隨后的連續(xù)運 動向量的剩余部分添加為組成隨后的歸一化向量的第一個向量D,其在 隨后的迭代過程(y+7)期間纟皮處理。優(yōu)選地，如669所示，在添加最后一個運動向量的長度或其一部分之后，將新的片段(wo;;)歸一化為統(tǒng)一單位尺寸(A^NA^/丄e"g/^iV(》")，如下面進一步描述的。如671所示，步驟660 至671所示的迭代子處理持續(xù)直到已經(jīng)將最后一個運動向量分配給最后一個 片段為止。從而，如672所示，在歸一化運動向量產(chǎn)生過程期間，產(chǎn)生歸一 化向量序列，優(yōu)選地為陣列。與獲取的運動向量序列的運動向量不同，歸一 化運動向量序列的歸一化運動向量具有統(tǒng)一長度。在歸一化運動向量產(chǎn)生過 程已經(jīng)結(jié)束之后，可以將歸 一化運動向量序列直接與多個有潛在可能的模式 樣本記錄進行比較。圖5B描述這樣的歸一化運動向量序列的圖形表示。在歸 一化運動向量產(chǎn)生過程期間，將每個運動向量通過除以運動向量長度(N(j)=N(j)/Length(N(j))來歸一化。具體地，優(yōu)選地根據(jù)以下等式定義歸 一化的這部分<formula>formula see original document page 20</formula><formula>formula see original document page 20</formula>其中(x',y')代表歸一化運動向量，而(x,y)代表在其被歸一化之前長度統(tǒng) 一的運動向量。在運動向量如上所述被歸一化之后，它們與模式樣本記錄的 運動向量之間的差優(yōu)選地僅反映為角度偏差。該示例中如以下和圖4E中所 述將向量歸一化為單位長度(1 )?，F(xiàn)在參照圖8A和8B,其分別描述根據(jù)本發(fā)明的優(yōu)選實施例的三個歸一 化運動向量序列的圖形和數(shù)值表示。如上所述，該運動向量序列已經(jīng)被歸一 化，可以將歸一化運動向量序列直接與多個有潛在可能的模式樣本記錄直接 進行比較。如上所述，每個模式樣本記錄包括預(yù)定義數(shù)量的歸一化運動向量。優(yōu)選地，為了評估某模式樣本記錄是否與歸一化運動向量序列匹配，計 算一組相關(guān)度值。該組中的每個相關(guān)度值代表反映歸一化運動向量(x'，y') 與所評估的模式樣本記錄(px,Py)的相應(yīng)的運動向量之間的相似度的相似 度等級值。由于優(yōu)選地以相同的方式將雙方面的運動向量歸一化，運動向量 之間的差僅反映它們之間的角度偏差。優(yōu)選地計算相似度等級值(SLV)作 為相關(guān)度值。優(yōu)選地根據(jù)以下等式定義SLV:<formula>formula see original document page 20</formula>由于運動向量(x', y')和模式樣本記錄(px，py)均被歸一化，相似度 等級值在-X與X之間，其中X代表最高相似度等級，而-X代表最低相似度 等級。X優(yōu)選地等于l。圖7是一組示范性歸一化運動向量800和相應(yīng)的運 動向量801的圖形表示。如所描述的，相似度等級值802與每個歸一化運動 向量800與其各自相應(yīng)的運動向量801之間的角度偏差對應(yīng)。如上所述，運動向量序列定義特定的模式運動。以反映在轉(zhuǎn)換設(shè)備沿某 軌跡的位移期間拍攝的數(shù)字圖像序列的相繼次序來安排運動向量。任何運動 模式軌跡順著一條或多條線，如圖2的引用數(shù)字102所示。因而，為了產(chǎn)生 跟隨某運動模式的數(shù)字圖像序列流，可以沿該運動模式的軌跡來位移所述轉(zhuǎn) 換設(shè)備。優(yōu)選地，將定義某模式樣本記錄的全部運動向量的相似度等級值求和， 以給出反映與歸一化運動向量序列相關(guān)的模式樣本記錄的相似度等級的匹 配得分。圖8A描述已經(jīng)根據(jù)沿形如"3"的運動模式702拍攝的數(shù)字圖像序列產(chǎn) 生的歸 一化運動向量序列。該圖進一步描述被配置為與歸 一化運動向量序列 匹配的兩個示范性模式樣本記錄。 一個示范性模式樣本記錄被配置用于形如 "3"的運動模式701,而另一個示范性模式樣本記錄被配置用于形如"6" 的運動模式700。圖8B描述各自均包含與歸一化運動向量運動模式702有關(guān)不同的模式 樣本的的相似度等級值的兩個表703和704。左邊的表704包括配置用于形 如"6"的運動模式700的模式樣本記錄的相似度等級值，而右邊的表703 包括配置用于形如"3"的運動模式701的模式樣本記錄的相似度等級值。 顯然，由于該歸一化運動向量序列代表形如"3"的運動模式，其向量與配 置用于運動模式701的模式樣本記錄的向量類似。配置用于運動模式的模式 樣本記錄703的匹配得分充分高于用于運動模式的另 一個模式樣本記錄704 的匹配得分。在本發(fā)明的一個實施例中，計算全部模式樣本記錄的全部匹配得分?；?于匹配得分的計算，選擇具有最高匹配得分的模式樣本記錄作為對該歸 一化 運動向量序列的匹配。在另一個實施例中，預(yù)定義匹配閾值。如果模式樣本 記錄具有高于匹配閾值的匹配得分，則選擇該模式樣本記錄，而不再計算其 它模式樣本記錄的匹配得分。也可以將匹配閾值用于作為避免錯誤匹配的手段。如上所述，選擇具有 最高匹配得分的模式樣本記錄作為對該歸 一化運動向量序列的匹配。通過實 現(xiàn)這樣的實施例，可能會僅僅因為其具有最高匹配得分而選擇未定義的、或與任何模式樣本近似地定義的隨機運動模式作為對所述歸一化運動向量序 列的匹配。因而，為了避免這樣的錯誤匹配，可以使用確定最低匹配得分的匹配閾值。優(yōu)選地，運動模式轉(zhuǎn)換器輸出指示已發(fā)生錯誤的錯誤消息，而且 優(yōu)選地輸出匹配得分或出錯類型。如上所述，運動模式轉(zhuǎn)換器包括模式樣本知識庫。每個模式樣本記錄如 上所述被配置為與相應(yīng)的運動模式匹配。將每個模式樣本記錄與控制信號相 關(guān)聯(lián)。在本發(fā)明的一個實施例中，模式樣本知識庫包括被配置為與常用鍵盤上可用的全部字符的運動模式匹配的模式樣本記錄。在這樣的實施例中，可 以使用模式樣本的控制信號作為轉(zhuǎn)換設(shè)備的小鍵盤或鍵盤的控制信號。轉(zhuǎn)換 設(shè)備沿運動模式軌跡的位移產(chǎn)生事件的通知，其被發(fā)送到轉(zhuǎn)換設(shè)備的存儲器 上當前活躍的程序。當計算空間運動向量序列時，如上所述，可以匹配空間運動模式以產(chǎn)生 控制信號。在這樣的實施例中，每個模式樣本記錄被配置為如上所述與空間 運動才莫式匹配。在本發(fā)明的一個實施例中，轉(zhuǎn)換設(shè)備進一步包括通信接口模塊，其有利 于向指定目的地發(fā)送所述控制信號。例如，可以使用蜂窩發(fā)送器向遠程設(shè)備發(fā)送控制信號。也可以使用諸如射頻(RF)發(fā)送器的其它發(fā)送器來發(fā)送控制 信號。例如，可以使用Wi-Fi或其它基于IEEE 802.11規(guī)范的無線局域網(wǎng) (WLAN)標準的發(fā)送器來發(fā)送控制信號?？梢允褂糜糜诙叹鄶?shù)字傳輸?shù)乃{ 牙⑧標準作為RF通信的通信協(xié)議。也可以將轉(zhuǎn)換設(shè)備有線連接到另一個遠 程設(shè)備。該有線連接優(yōu)選地提供有線串行通信。串行通信可以包括RS-232 連接、以太網(wǎng)連接、通用串行總線(USB)連接、蜂窩收發(fā)器連接、火線連 接、USB2連接、藍牙⑧連接或IR連接。優(yōu)選地，可以使用USB或USB2 連接作為電源，向轉(zhuǎn)換設(shè)備提供電流。然而，由于根據(jù)歸 一化運動向量序列與預(yù)定義模式樣本之間的匹配來選 擇控制信號，轉(zhuǎn)換設(shè)備無法識別不能由模式樣本記錄之一來表示的運動模 式?，F(xiàn)在參照圖9,其描述移動電話以及其在學(xué)習(xí)模式期間的一些顯示的示 意圖，其是涉及將運動模式記錄到模式樣本知識庫中、以及利用已記錄的運 動模式的處理。在本發(fā)明的一個實施例中，運動模式轉(zhuǎn)換器包括運動模式學(xué) 習(xí)單元。該運動模式學(xué)習(xí)單元被配置為允許用戶在學(xué)習(xí)模式期間配置模式樣 本知識庫的記錄。該學(xué)習(xí)模式在許多方面與姿勢識別過程類似。模式樣本記 錄被配置為與已經(jīng)沿個別地配置的運動模式拍攝的數(shù)字圖像序列匹配。以與 產(chǎn)生歸一化運動向量序列相同的方式來完成學(xué)習(xí)模式期間對模式樣本記錄 的配置。該產(chǎn)生過程與圖4E、圖6A和圖6B相關(guān)地描述。優(yōu)選地，用戶通過捕獲借助沿新的運動模式位移轉(zhuǎn)換設(shè)備而拍攝的數(shù)字 圖像序列、或通過將模式樣本記錄與不同的電話功能重新關(guān)聯(lián)來配置模式樣 本記錄之一。在學(xué)習(xí)模式期間，通過將捕獲的數(shù)字圖像序列轉(zhuǎn)換為被存儲在模式樣本 記錄中的相應(yīng)的運動向量序列來完成配置。如上所述，以與產(chǎn)生歸一化運動 向量序列相同的方式來產(chǎn)生相應(yīng)的運動向量序列。用戶進一步將有關(guān)的控制 信號與模式樣本記錄相關(guān)聯(lián)。圖9描述示范性學(xué)習(xí)過程，其中轉(zhuǎn)換設(shè)備是處于學(xué)習(xí)模式中的具有集成攝像頭的移動電話900。圖9中，用戶使用運動模 式學(xué)習(xí)單元為'C'形運動模式901配置促使移動電話啟動計算器會話的控 制信號。如902所示，為了指派'C'形運動模式901，用戶操控移動電話 沿'C，形運動路徑運動。接著，如903所示，移動電話屏幕904顯示允許 用戶為該運動模式指派某功能的菜單。該步驟中，新的模式樣本記錄被指派 并與'C，形運動模式關(guān)聯(lián)。在隨后的步驟中，如905所示，移動電話屏幕 904顯示指示接收新的模式樣本記錄的確認消息。該新的模式樣本記錄允許 用戶如905和卯6所示通過重復(fù)C姿勢并如以上所述比較存儲的樣本姿勢， 使用'C，形運動模式901作為用于訪問移動電話的計算器功能的快捷方式。 優(yōu)選地將代表運動模式的記錄的運動向量序列轉(zhuǎn)換為具有統(tǒng)一長度的歸一 化運動向量序列。該轉(zhuǎn)換過程優(yōu)選地與前述的轉(zhuǎn)換過程相同。應(yīng)當注意，也 可以將任何其它電話功能與任何模式樣本記錄相關(guān)聯(lián)。例如，將命令電話呼 叫某號碼的控制信號與模式樣本記錄之一相關(guān)聯(lián)。如上所述，運動向量序列的接收可以伴隨有識別姿勢的命令。其啟動匹 配過程以匹配模式樣本記錄?？梢詫⒛Ｊ綐颖居涗浥c電話的任何功能相關(guān) 聯(lián)。從而，可以執(zhí)行電話的任何功能作為與姿勢的完成相關(guān)的反應(yīng)。在前述 的學(xué)習(xí)模式期間，可以將這樣的運動向量序列或姿勢與電話的任何功能相關(guān) 聯(lián)。優(yōu)選地，使用運動模式學(xué)習(xí)單元重新關(guān)聯(lián)某模式樣本記錄的預(yù)定義運動 模式。用戶例如可以將用于指示打字輸入字母'S'的'S，形預(yù)定義運動模 式重新關(guān)聯(lián)為指示轉(zhuǎn)換設(shè)備關(guān)機的關(guān)機指令。優(yōu)選地，將轉(zhuǎn)換設(shè)備耦接到顯示設(shè)備和觀察模塊。該觀察模塊被配置為 向顯示用戶輸入界面的顯示設(shè)備輸出圖像用戶界面(GUI)。優(yōu)選地，該用戶 輸入界面允許用戶將新的模式樣本記錄與某控制信號相關(guān)聯(lián)。通過利用用戶 輸入界面輸入或選擇轉(zhuǎn)換設(shè)備、或位于其上的應(yīng)用程序之一的功能來選擇關(guān) 聯(lián)的控制信號。優(yōu)選地，用戶輸入界面允許用戶通過使用與轉(zhuǎn)換設(shè)備集成的 MMI來輸入運動模式，從而與運動模式轉(zhuǎn)換器進行接口連接。用戶可以使用MMI來繪制新的運動模式并將其存儲為模式樣本記錄。眾所周知，連接 到轉(zhuǎn)換設(shè)備的諸如滾輪的常用定點設(shè)備、以及諸如小鍵盤的常用文本輸入設(shè) 備允許用戶輸入信息并作出選擇。基于圖形用戶界面顯示界面的手段是公知 的，因而這里將不作詳細描述。優(yōu)選地，可以從外部源更新或添加才莫式樣本記錄。在一個優(yōu)選示例中， 專門應(yīng)用程序允許用戶利用諸如個人計算機的主機計算單元來產(chǎn)生或編輯 模式樣本記錄。該專門應(yīng)用程序優(yōu)選地包括繪圖編輯器，其被配置為允許用 戶繪制運動模式并將其存儲為模式樣本記錄。優(yōu)選地利用常規(guī)鼠標完成繪 圖。優(yōu)選地將存儲的模式樣本記錄發(fā)送到移動電話，以更新如上所述存儲在 其本地知識庫中的模式樣本記錄。在本發(fā)明的一個實施例中，用戶使用運動模式學(xué)習(xí)單元來輸入安全簽 名?？梢詫⑦@樣的安全簽名用于檢驗個人接收特定類別信息的資格。優(yōu)選地 將安全簽名與有利于存取某些數(shù)據(jù)或允許某些限制功能的控制信號相關(guān)聯(lián)。 例如，在本發(fā)明的一個實施例中，轉(zhuǎn)換設(shè)備是具有集成攝像頭的移動電話， 并將安全簽名用于驗證用戶撥出或接聽呼叫的資格。該安全簽名可以是空間 或平面運動模式。不難預(yù)料，在本專利的有效期期間將會開發(fā)出許多相關(guān)的設(shè)備和系統(tǒng)， 而這里的術(shù)語的(特別是術(shù)語控制信號、無線、以及圖像傳感器的)范圍意 在先驗地包括全部這樣的新興技術(shù)。應(yīng)當理解，為了清楚而在分開的實施例的背景下描述的本發(fā)明的某些特 征也可以組合在單個實施例中提供。相反地，為了簡潔而在單個實施例的背 景下描述的本發(fā)明的各種特征也可以分開地、或以任何適當?shù)淖咏M合提供。雖然已經(jīng)結(jié)合其具體實施例描述了本發(fā)明，但是不難看出，許多其它選 擇、修改、以及變體對本領(lǐng)域技術(shù)人員將是顯而易見的。從而，意在包含落 入所附權(quán)利要求書的精神和寬廣范圍之內(nèi)的全部這樣的其它選擇、修改、以 及變體。通過引用而將本說明書中提及的全部出版物、專利、以及專利申請 的全部合并于此，即達到如同將每個單獨的出版物、專利或?qū)＠暾埦唧w地 和單獨地指示為通過引用而合并于此。此外，本申請中對任何參考文獻的引 用或確認不應(yīng)當解讀為承認這樣的參考文獻可以作為本發(fā)明的現(xiàn)有技術(shù)。
權(quán)利要求
1.一種用于識別預(yù)定義復(fù)雜自身運動的具有到圖像傳感器的連接的設(shè)備，包括運動向量檢測模塊，其被適配為接收在所述圖像傳感器的位移期間捕獲的數(shù)字圖像，所述運動向量檢測模塊被配置用于根據(jù)所述數(shù)字圖像產(chǎn)生所述圖像傳感器的當前運動向量；混合模塊，其被配置為接收當前運動向量。所述混合模塊被配置為將當前運動向量與所述位移期間的連續(xù)運動向量序列混合；運動模式知識庫，其被適配為存儲多個模式樣本記錄，每個記錄代表一種預(yù)定義運動模式；以及運動模式匹配模塊，其被適配為在所述多個模式樣本記錄之一與所述連續(xù)運動向量序列之間進行匹配。
2. 如權(quán)利要求1所述的設(shè)備，其中所述預(yù)定義運動模式是非線性運動 模式。
3. 如權(quán)利要求1所述的設(shè)備，其中所述運動模式匹配模塊被配置為根 據(jù)所述匹配來確定所述數(shù)字圖像是否是近似地沿各個預(yù)定義運動模式拍攝 的。
4. 如權(quán)利要求1所述的設(shè)備，其中所述混合模塊被適配為用于將新記 錄添加到所述多個模式樣本記錄，所述新記錄是根據(jù)所述數(shù)字圖像來產(chǎn)生 的。
5. 如權(quán)利要求1所述的設(shè)備，進一步包括用戶界面，所述用戶界面被 配置為允許用戶啟動和終止所述數(shù)字圖像的捕獲。
6. 如權(quán)利要求1所述的設(shè)備，進一步包括輸出設(shè)備，其被適配為輸出 基于所述匹配的控制信號。
7. 如權(quán)利要求5所述的設(shè)備，其中所述控制信號代表以下組至少其中 之一電話功能、用于文本輸入的字符、啟動所述設(shè)備的至少一種功能、具 有平面模式的安全簽名、具有空間模式的安全簽名、以及終止所述圖像輸入 設(shè)備的至少一種功能。
8. 如權(quán)利要求3所述的設(shè)備，其中所述多個模式樣本記錄中的每一個 包括運動向量陣列。
9. 如權(quán)利要求7所述的設(shè)備，其中所述混合模塊被適配為將所述連續(xù)運動向量序列轉(zhuǎn)換為歸 一化連續(xù)運動向量序列，所述歸 一化序列的每個歸一 化運動向量以及所述運動向量陣列的每個向量具有統(tǒng)一的長度。
10. 如權(quán)利要求1所述的設(shè)備，其中所述設(shè)備是以下組其中之一移動 電話、個人數(shù)字助理PDA、以及膝上計算機。
11. 如權(quán)利要求1所述的設(shè)備，其中所述圖像傳感器是以下組其中之一 互補金屬氧化物半導(dǎo)體CMOS傳感器、以及電荷耦合器件CCD傳感器。
12. 如權(quán)利要求1所述的設(shè)備，其中所述數(shù)字圖像由以下組其中之一表 示色度-飽和度-純度HSV彩色坐標、CIE L*a*b* CIELAB彩色坐標、YCbCr 彩色坐標、以及紅-綠-藍RGB彩色坐標。
13. 如權(quán)利要求l所述的設(shè)備，其中所述連接被配置為允許用戶與所述 設(shè)備分開地操控所述圖像傳感器運動。
14. 如權(quán)利要求12所述的設(shè)備，其中所述連接包括以下連接至少其中 之一RS-232連接、以太網(wǎng)連接、通用串行總線USB連接、蜂窩收發(fā)器連 接、火線連接、USB2連接、藍牙⑧連接、以及IR連接。
15. 如權(quán)利要求l所述的設(shè)備，其中將所述圖像傳感器穩(wěn)固耦接到所述 設(shè)備。
16. 如權(quán)利要求5所述的設(shè)備，進一步包括通信接口模塊，所述通信接 口模塊被適配為向遠程設(shè)備發(fā)送所述控制信號。
17. —種用于將在圖像傳感器的位移期間拍攝的數(shù)字圖像轉(zhuǎn)換為控制信 號的設(shè)備，包括具有到圖像傳感器的連接的圖像輸入設(shè)備，所述圖像輸入設(shè)備被適配為 接收在所述圖像傳感器的位移期間捕獲的數(shù)字圖像； 預(yù)定義運動模式的知識庫；以及運動模式轉(zhuǎn)換器，與所述知識庫和所述圖像輸入設(shè)備相關(guān)聯(lián)，而且被適 配為根據(jù)所述位移與所述預(yù)定義運動模式之一之間的匹配將所述數(shù)字圖像 轉(zhuǎn)換為所述控制信號。
18. —種用于識別自身運動模式的方法，包括a) 接收在集成圖像傳感器的設(shè)備的位移期間捕獲的數(shù)字圖像；b) 根據(jù)所述數(shù)字圖像識別運動數(shù)據(jù)序列；以及c) 將所述運動數(shù)據(jù)序列與存儲的預(yù)定運動模式進行匹配。
19. 如權(quán)利要求17所述的方法，進一步包括根據(jù)所述匹配產(chǎn)生控制信號的步驟d)。
20. 如權(quán)利要求17所述的方法，其中通過將所述運動數(shù)據(jù)序列與多個 模式樣本記錄進行匹配來執(zhí)行步驟c)的匹配，所述模式樣本記錄中的每個 記錄與不同的預(yù)定義運動模式關(guān)聯(lián)。
21. 如權(quán)利要求17所述的方法，其中所述預(yù)定義運動模式是以下組其 中之一字符、符號、手勢的預(yù)定義輪廓、具有平面模式的安全簽名、以及 具有空間模式的安全簽名。
22. 如權(quán)利要求17所述的方法，其中所述運動數(shù)據(jù)包括關(guān)于所述集成 圖像傳感器的設(shè)備在連續(xù)時間片段期間的運動的信息。
23. 如權(quán)利要求17所述的方法，其中所述運動數(shù)據(jù)序列是運動向量陣列。
24. 如權(quán)利要求22所述的方法，其中所述多個模式樣本中的每個記錄 包括運動向量陣列，其中在所述匹配期間將所述運動數(shù)據(jù)序列中的每個運動 向量與所述才莫式樣本記錄中的相應(yīng)的運動向量進行匹配。
25. 如權(quán)利要求23所述的方法，其中在所述匹配期間根據(jù)存儲在已匹 配預(yù)定義運動模式中的運動向量的數(shù)量將所述運動數(shù)據(jù)序列中的運動向量 分段。
26. 如權(quán)利要求22所述的方法，進一步包括在步驟a)與步驟b)之間 通過將所述運動向量陣列中的每一個除以其長度來歸一化所述運動數(shù)據(jù)序 列的步驟。
27. 如權(quán)利要求25所述的方法，進一步包括將所述運動數(shù)據(jù)向量序列 劃分為預(yù)定數(shù)量的等長度片段的步驟，所述片段中的每一個代表所述序列中 的相應(yīng)的數(shù)字圖像的方向數(shù)據(jù)。
28. 如權(quán)利要求17所述的方法，進一步包括在步驟a)與步驟b)之間 將所述數(shù)字圖像的像素的彩色坐標轉(zhuǎn)換為灰度顏色坐標的步驟。
29. 如權(quán)利要求18所述的方法，進一步包括向所述設(shè)備的應(yīng)用程序發(fā) 送所述控制信號的步驟。
30. 如權(quán)利要求28所述的方法，其中所述應(yīng)用程序在所述設(shè)備上。
31. 如權(quán)利要求28所述的方法，其中所述應(yīng)用程序在遠程設(shè)備上。
32. 如權(quán)利要求17所述的方法，進一步包括在步驟a)之前存儲至少一種預(yù)定義運動模式的步驟。
33. 如權(quán)利要求31所述的方法，其中所述存儲包括接收在所述集成圖 像傳感器的設(shè)備近似地沿所述至少一種預(yù)定義運動模式其中之一的位移期 間捕獲的數(shù)字圖像的步驟。
34. 如權(quán)利要求31所述的方法，其中所述存儲包括從外部源接收所述 至少一種預(yù)定義運動模式的步驟。
35. 如權(quán)利要求33所述的方法，其中所述外部源是個人計算機。
36. —種用于識別預(yù)定義復(fù)雜自身運動的具有圖像傳感器的移動電話， 包括運動向量檢測模塊，其被適配為接收在所述圖像傳感器的位移期間捕獲 的數(shù)字圖像，所述運動向量檢測模塊被配置用于根據(jù)所述數(shù)字圖像產(chǎn)生所述 圖像傳感器的當前運動向量；運動模式知識庫，用于存儲多個用戶定義運動模式；以及 運動模式匹配模塊，其被適配為在所述多個用戶定義運動模式記錄之一 與連續(xù)運動向量序列之間進行匹配。
37. 如權(quán)利要求35所述的移動電話，其中由所述移動電話的用戶定義 所述運動模式。
38. —種用于執(zhí)行移動手持設(shè)備的功能的方法，包括a) 接收在所述移動手持設(shè)備位移期間捕獲的數(shù)字圖像；b) 根據(jù)所述數(shù)字圖像識別所述用戶定義運動模式；以及c) 根據(jù)所述用戶定義運動模式執(zhí)行所述功能。
39. 如權(quán)利要求37所述的方法，進一步包括在步驟b)與步驟c)之間 將所述用戶定義運動模式與存儲的預(yù)定義運動模式進行匹配的步驟，其中根 據(jù)所述匹配來完成步驟c)的執(zhí)行。
40. —種用于識別預(yù)定義復(fù)雜自身運動的具有到圖像傳感器的連接的設(shè) 備，包括運動檢測模塊，與所述圖像傳感器相關(guān)聯(lián)，用于根據(jù)來自所述圖像傳感 器的輸出來檢測和識別復(fù)雜自身運動；輸出模塊，用于輸出基于所述識別的控制信號；以及 所述設(shè)備的功能模塊，用于利用所述控制信號來操作所述設(shè)備的功能。
全文摘要
一種用于將沿預(yù)定義運動模式拍攝的數(shù)字圖像轉(zhuǎn)換為控制信號的設(shè)備。所述設(shè)備包括具有到圖像傳感器的連接的圖像輸入設(shè)備。所述圖像輸入設(shè)備被適配為接收在所述圖像傳感器的位移期間捕獲的數(shù)字圖像，并確定其中測量得到的運動是否與任何預(yù)先存儲的運動模式(即，與預(yù)定義姿勢)對應(yīng)。所述設(shè)備進一步包括運動模式轉(zhuǎn)換器，用于將識別得到的模式轉(zhuǎn)換為所述控制信號。
文檔編號G06F3/033GK101248410SQ200680030785
公開日2008年8月20日 申請日期2006年8月22日 優(yōu)先權(quán)日2005年8月22日
發(fā)明者伊斯雷爾·迪薩特尼克, 伊萊·本-阿米 申請人:三星電子株式會社