移動裝置上的深度傳感器的功率有效使用
【專利說明】移動裝置上的深度傳感器的功率有效使用
[0001 ] 相關(guān)申請案的交叉參考
[0002]本申請案主張2014年11月24日申請的名為“移動裝置上的深度傳感器的功率有效使用(Power efficient use of a depth sensor on a mobile device)，，的美國申請案第14/552，183號的權(quán)益和優(yōu)先權(quán)，所述美國申請案主張2013年11月25日申請的名為“移動裝置上的深度傳感器的功率有效使用(Power efficient use of a depth sensor on amobile device)”的美國臨時(shí)申請案第61/908，443號的35U.S.C.§119(e)下的權(quán)益和優(yōu)先權(quán)，所述美國申請案和所述美國臨時(shí)申請案的全文以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003]本發(fā)明大體上涉及用于最小化移動裝置上的深度傳感器的功率消耗的系統(tǒng)、設(shè)備和方法，且更具體地說涉及僅在傳感器測量指示圖像對于姿勢計(jì)算不適當(dāng)時(shí)啟用深度傳感器。
【背景技術(shù)】
[0004]使用可供使用的傳感器的移動裝置的運(yùn)動估計(jì)及軌跡估計(jì)具有廣泛范圍的重要應(yīng)用。短周期(例如，若干毫秒)內(nèi)的運(yùn)動估計(jì)在去模糊和超分辯率方面為重要的。經(jīng)擴(kuò)展的周期(例如，若干秒)內(nèi)的軌跡估計(jì)適用于增強(qiáng)現(xiàn)實(shí)(AR)、近程導(dǎo)航及地點(diǎn)估計(jì)。低光情形影響運(yùn)動估計(jì)和軌跡估計(jì)兩者。
[0005]針對這些情形應(yīng)用常常使用慣性傳感器，這是因?yàn)閼T性傳感器以比相機(jī)高的速率測量運(yùn)動。然而，慣性傳感器具有固有的偏差和其它誤差源，當(dāng)在不具有常規(guī)偏差校正的情況下執(zhí)行“航位推測”時(shí)所述偏差和誤差源增加挑戰(zhàn)性。也就是說，慣性測量單元(MU)的偏差狀態(tài)的更新需要連續(xù)姿勢估計(jì)。移動裝置可使用慣性傳感器測量計(jì)算六個(gè)自由度(6DoF)姿勢軌跡。6DoF姿勢計(jì)算考慮上到下(起伏)、右邊到左邊(搖擺)和向前到向后(浪涌)平移移動以及向前傾斜到向后傾斜(俯仰)、左邊回轉(zhuǎn)到右邊回轉(zhuǎn)(偏航)和邊到邊樞轉(zhuǎn)(橫搖)旋轉(zhuǎn)移動。移動裝置可歷時(shí)若干100毫秒整合此移動。
[0006]在一實(shí)例中，假定移動裝置不包含對MU的姿勢校正，因此提供經(jīng)偏差的慣性傳感器測量。在短期和長期內(nèi)整合此慣性傳感器測量導(dǎo)致不利地影響結(jié)果的誤差。舉例來說，假定視頻的每秒10巾貞(fps)巾貞率針對視頻中的每一圖像導(dǎo)致100暈秒(ms)的曝光時(shí)間。進(jìn)一步假定僅使用慣性傳感器測量且在不校正來自MU的慣性傳感器測量的情況下計(jì)算移動裝置的6DoF姿勢。此計(jì)算對于頂U(kuò)將引起姿勢誤差和過期偏差估計(jì)兩者。
[0007]如果通過來自非MU裝置(例如，相機(jī))的測量來周期性地校正慣性傳感器誤差狀態(tài)，那么移動裝置可做出較佳運(yùn)動估計(jì)和軌跡估計(jì)兩者。此外，可通過此類裝置校正慣性傳感器誤差狀態(tài)。然而，此類非MU裝置不連續(xù)地可供使用。舉例來說，在視覺慣性跟蹤系統(tǒng)中的相機(jī)中斷或長圖像曝光的周期期間，相機(jī)不可足夠頻繁地提供姿勢校正和慣性狀態(tài)校正。另一非相機(jī)裝置可填充此間隔以較佳地維持姿勢和慣性狀態(tài)校正。此類姿勢和慣性狀態(tài)校正還可增強(qiáng)通常用于維持姿勢和慣性狀態(tài)的估計(jì)的遞歸濾波器的操作，例如擴(kuò)展卡爾曼(Kalman)濾波器(EKF) ο
[0008]包含跟蹤應(yīng)用的一些視覺慣性跟蹤系統(tǒng)使用來自慣性傳感器的慣性傳感器測量和來自相機(jī)的圖像兩者。然而，不頻繁的相機(jī)更新可導(dǎo)致被破壞的慣性誤差狀態(tài)。反過來，被破壞的慣性誤差狀態(tài)可導(dǎo)致歸因于不準(zhǔn)確的運(yùn)動預(yù)測的相機(jī)跟蹤中斷的周期。在這些中斷期間不具有來自另一裝置的輔助的情況下，從慣性傳感器測量整合的運(yùn)動可易受偏差浮動影響。此外，整體的濾波器狀態(tài)可以無界的方式從其正確值偏離。
[0009]舉例來說，如果相機(jī)姿勢不可用于在30fps視頻流中更新6幀慣性狀態(tài)，那么200毫秒(ms)可在可不出現(xiàn)校正來自非相機(jī)裝置的狀態(tài)的情況下流逝。在此200ms周期期間，EKF姿勢估計(jì)和慣性狀態(tài)估計(jì)可浮動遠(yuǎn)離其正確值，從而導(dǎo)致EKF的故障。伴隨此故障，取決于EKF慣性狀態(tài)估計(jì)的用戶應(yīng)用可相似地發(fā)生故障。
[0010]為了減輕視覺慣性跟蹤系統(tǒng)中普遍的這些缺點(diǎn)，當(dāng)基于圖像的姿勢測量不可用于長于I OOms (例如，> 150ms)時(shí)，實(shí)施例在相機(jī)中斷的周期期間將提供對EKF的姿勢校正。來自非相機(jī)裝置的此姿勢估計(jì)可通過將校正性測量提供到EKF而顯著地改進(jìn)視覺慣性跟蹤系統(tǒng)的穩(wěn)定性。本文中所描述的實(shí)施例將來自深度傳感器的校正機(jī)構(gòu)提供作為非相機(jī)裝置。

【發(fā)明內(nèi)容】

[0011]揭示用于僅在其它模態(tài)對于維持用于運(yùn)動和跟蹤算法中的姿勢計(jì)算不適當(dāng)時(shí)對深度傳感器供電的系統(tǒng)、設(shè)備和方法。
[0012]根據(jù)一些方面，揭示一種在移動裝置中用于跟蹤所述移動裝置的姿勢的方法，所述方法包括:從圖像捕獲裝置接收多個(gè)圖像;至少部分地基于所述多個(gè)圖像中的一者計(jì)算姿勢;將所述姿勢發(fā)送到姿勢跟蹤濾波器模塊；比較第一測量與第一閾值以確定所述第一測量超過所述第一閾值;至少部分地基于比較所述第一測量來啟用深度傳感器;接收第一深度圖；部分地基于所述第一深度圖計(jì)算深度傳感器姿勢；以及將所述深度傳感器姿勢提供到所述姿勢跟蹤濾波器模塊。
[0013]根據(jù)一些方面，揭示一種用于跟蹤姿勢的移動裝置，所述移動裝置包括:圖像捕獲裝置，其經(jīng)配置以捕獲多個(gè)圖像;姿勢模塊，其耦合到所述圖像捕獲裝置且經(jīng)配置以至少部分地基于所述多個(gè)圖像中的一者計(jì)算姿勢;深度傳感器，其經(jīng)配置以發(fā)送第一深度圖；比較器模塊，其經(jīng)配置以比較第一測量與第一閾值以確定所述第一測量超過所述第一閾值;深度傳感器觸發(fā)模塊，其耦合到所述深度傳感器和所述比較器模塊且經(jīng)配置以至少部分地基于比較所述第一測量來啟用所述深度傳感器;深度傳感器姿勢模塊，其耦合到所述深度傳感器且經(jīng)配置以部分地基于所述第一深度圖計(jì)算深度傳感器姿勢；和姿勢跟蹤濾波器模塊:耦合到所述姿勢模塊和所述深度傳感器姿勢模塊;且經(jīng)配置以接收所述姿勢和所述深度傳感器姿勢;且提供經(jīng)估計(jì)的姿勢。
[0014]根據(jù)一些方面，揭示一種移動裝置，其用于跟蹤所述移動裝置的姿勢，所述移動裝置包括:用于從圖像捕獲裝置接收多個(gè)圖像的裝置；用于至少部分地基于所述多個(gè)圖像中的一者計(jì)算姿勢的裝置;用于將所述姿勢發(fā)送到姿勢跟蹤濾波器模塊的裝置；用于比較第一測量與第一閾值以確定所述第一測量超過所述第一閾值的裝置；用于至少部分地基于比較所述第一測量來啟用深度傳感器的裝置；用于接收第一深度圖的裝置；用于部分地基于所述第一深度圖計(jì)算深度傳感器姿勢的裝置;和用于將所述深度傳感器姿勢提供到所述姿勢跟蹤濾波器模塊的裝置。
[0015]根據(jù)一些方面，揭示一種非暫時(shí)性計(jì)算機(jī)可讀存儲媒體，其包含存儲于其上的程序代碼，包括用于移動裝置的程序代碼，所述移動裝置用于跟蹤所述移動裝置的姿勢，所述程序代碼包括用于以下操作的代碼:從圖像捕獲裝置接收多個(gè)圖像;至少部分地基于所述多個(gè)圖像中的一者計(jì)算姿勢;將所述姿勢發(fā)送到姿勢跟蹤濾波器模塊；比較第一測量與第一閾值以確定所述第一測量超過所述第一閾值;至少部分地基于比較所述第一測量來啟用深度傳感器;接收第一深度圖；部分地基于所述第一深度圖計(jì)算深度傳感器姿勢；以及將所述深度傳感器姿勢提供到所述姿勢跟蹤濾波器模塊。
[0016]應(yīng)理解，所屬領(lǐng)域的技術(shù)人員將從以下詳細(xì)描述而容易地明了其它方面，其中借助于說明展示且描述各個(gè)方面。圖式和詳細(xì)描述應(yīng)被視為本質(zhì)上是說明性的而非限制性的。
【附圖說明】
[0017]將參考圖式僅借助于實(shí)例來描述本發(fā)明的實(shí)施例。
[0018]圖1展示不具有深度傳感器的移動裝置中的處理的框圖。
[0019]圖2展示具有深度傳感器的移動裝置上的處理的框圖。
[0020]圖3A和3B說明根據(jù)本發(fā)明的一些實(shí)施例的用以最小化深度傳感器的使用的移動裝置的功能模塊。
[0021]圖4說明根據(jù)本發(fā)明的一些實(shí)施例的觸發(fā)深度傳感器的原因。
[0022]圖5展示根據(jù)本發(fā)明的一些實(shí)施例的移動裝置。
[0023]圖6到8展示根據(jù)本發(fā)明的一些實(shí)施例的用以最小化深度傳感器的使用同時(shí)填充由其它傳感器留下的間隔的移動裝置中的方法。
[0024]圖9展示根據(jù)本發(fā)明的一些實(shí)施例的使用經(jīng)估計(jì)的姿勢的對慣性傳感器的校正。
[0025]圖10展示根據(jù)本發(fā)明的一些實(shí)施例的時(shí)間線。
【具體實(shí)施方式】
[0026]以下結(jié)合附圖而闡述的詳細(xì)描述意圖作為對本發(fā)明的各個(gè)方面的描述，而并非意圖表示其中可實(shí)踐本發(fā)明的僅有方面。提供本發(fā)明中所描述的每一方面僅作為本發(fā)明的實(shí)例或說明，且其不一定解釋為比其它方面優(yōu)選或有利。出于提供對本發(fā)明的透徹理解的目的，詳細(xì)描述包含特定細(xì)節(jié)。然而，所屬領(lǐng)域的技術(shù)人員將明了，可在沒有這些特定細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在一些情況下，以框圖的形式展示眾所周知的結(jié)構(gòu)和裝置以便避免混淆本發(fā)明的概念。首字母縮寫詞和其它描述性術(shù)語可僅出于方便和清楚的目的而使用，且不意圖限制本發(fā)明的范圍。
[0027]本文中所描述的位置確定技術(shù)可結(jié)合各種無線通信網(wǎng)絡(luò)來實(shí)施，例如無線廣域網(wǎng)(ffffAN)、無線局域網(wǎng)(WLAN)、無線個(gè)人局域網(wǎng)(WPAN)等等。術(shù)語“網(wǎng)絡(luò)”和“系統(tǒng)”常?？苫Q地使用。WWAN可為碼分多址接入(CDMA)網(wǎng)絡(luò)、時(shí)分多址接入(TD