專利名稱：根據(jù)觀看者的位置對顯示器進(jìn)行的自動定位的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及顯示器，例如計(jì)算機(jī)監(jiān)視器，電視和家庭影院系統(tǒng)。具體地說，本發(fā)明涉及用于調(diào)節(jié)該顯示器的屏幕相對于一個或幾個觀看者的位置的系統(tǒng)和方法。
用于根據(jù)觀看者的位置調(diào)節(jié)視頻顯示器的方位的特定的系統(tǒng)是公知的。例如04290019(公開號06141309)日本專利申請的摘要描述了一種系統(tǒng)，其利用兩個麥克風(fēng)，每個麥克風(fēng)采樣說話者的聲音。該系統(tǒng)比較來自每個麥克風(fēng)的采樣，從而確定哪一個采樣較大。據(jù)稱該系統(tǒng)使用該比較使顯示器根據(jù)人的方向定位。其缺點(diǎn)包括，該系統(tǒng)只根據(jù)哪一個麥克風(fēng)檢測到較大的說話音量不能精確地按照使用者的方向使顯示器定位。此外，例如，該系統(tǒng)將把其自身定位在說話聲大的方位，或者定位在附近的其它噪聲源的方位，而不管其是否是顯示器的實(shí)際觀看者的方位，或者不管觀看者是否想要顯示器重新定位。
在Yu的美國專利申請5250888中披露了另一種使顯示器按照觀看者的方向定位的系統(tǒng)。Yu的該專利旨在使用光檢測器陣列檢測觀看者相對于顯示器的位置。通過檢測哪個光檢測器檢測到最大的由觀看者使用的遙控器發(fā)出的光信號，計(jì)算觀看者的相對位置，并調(diào)節(jié)支撐著顯示器的桌子，使得顯示器面向觀看者的方向。同樣，光檢測器陣列只給出觀看者的大致位置，此外，該系統(tǒng)不能對于多個觀看者進(jìn)行調(diào)節(jié)。
現(xiàn)有技術(shù)的系統(tǒng)的一個顯然的困難是，它們需要觀看者使用遙控器(例如在Yu的專利中)來調(diào)節(jié)顯示器的位置。此外，Yu的系統(tǒng)只根據(jù)有限的光檢測器陣列提供近似的定位。日本專利申請04290019的摘要描述的基于麥克風(fēng)的調(diào)節(jié)系統(tǒng)提供了一種更粗糙的、甚至識別能力更小的調(diào)節(jié)。
特別是，因而，本發(fā)明的目的是提供一種高精度的系統(tǒng)，用于自動地調(diào)節(jié)顯示器屏幕的方位，使得該屏幕面向觀看者。本發(fā)明的另一個目的在于，當(dāng)一個觀看者被識別作為觀看顯示器的方位時，該系統(tǒng)對于該特定的觀看者進(jìn)行自動的調(diào)節(jié)。此外，該系統(tǒng)能夠根據(jù)被識別為觀看者的兩個或幾個人的位置對于中值的或平均的觀看位置自動地進(jìn)行調(diào)節(jié)。
因而，本發(fā)明提供一種顯示系統(tǒng)，其能夠?qū)τ谙到y(tǒng)的使用者或觀看者的位置，包括使用者位置的改變，進(jìn)行自動地調(diào)節(jié)。一般地說，本發(fā)明包括一個顯示器，其通過平的或者適當(dāng)彎曲的表面顯示視頻。該表面一般是作為顯示器例如電視機(jī)的一部分的屏幕。不過，其還包括，例如家庭影院投影屏幕。該顯示器的方位是可以調(diào)節(jié)的。例如，當(dāng)顯示器和屏幕是一個單元時，顯示器可以安裝在或支撐在桌子上，該桌子的方位可以在相應(yīng)地調(diào)節(jié)屏幕的方位的同時按照一個或幾個自由度進(jìn)行調(diào)節(jié)。當(dāng)顯示器是投影顯示器時，該屏幕和投影器可以安裝在一個結(jié)構(gòu)上，該結(jié)構(gòu)的方位可以按照一個或幾個自由度被調(diào)節(jié)。此外，該屏幕和投影器可以具有方位可調(diào)的單獨(dú)的支撐或安裝裝置。使顯示器(或者顯示系統(tǒng)的元件)的支撐和安裝裝置運(yùn)動的驅(qū)動器一般包括馬達(dá)(例如步進(jìn)馬達(dá))或類似的機(jī)電裝置(例如壓電驅(qū)動器)。
該系統(tǒng)包括至少一個圖像捕獲裝置(例如視頻攝像機(jī))，其在一個觀看區(qū)域上是可以訓(xùn)練的，并且和具有圖像識別軟件的處理部分相連。該處理部分使用圖像識別軟件識別由圖像捕獲裝置產(chǎn)生的圖像中的使用者。該軟件可被編程用于檢測特定的觀看者，例如PC或者電視機(jī)的主要的使用者。使用由圖像處理軟件接收的數(shù)據(jù)，處理部分確定顯示器屏幕的方位的度量值，使得顯示器面向觀看者。處理部分的軟件對驅(qū)動器提供相應(yīng)的輸出，該驅(qū)動器和顯示器屏幕相連，因而使屏幕的方位面向觀看者。
在一個特定的情況下，在檢測到圖像中的觀看者之后，圖像處理軟件確定圖像中的觀看者的姿勢，使用該姿勢確定顯示器屏幕應(yīng)當(dāng)如何相對于觀看者被定位，并且該處理部分產(chǎn)生一個使驅(qū)動器進(jìn)行合適的調(diào)節(jié)的輸出，使得該屏幕面向觀看者。
如上所述，處理部分的圖像識別軟件可以檢測特定觀看者的圖像(其圖像可以在該軟件中被預(yù)先編程)，并提供相應(yīng)的調(diào)節(jié)。此外，該軟件可以檢測圖像中的任何人，并按照該檢測到的人調(diào)節(jié)顯示屏幕。如果具有一個以上的人，則可以確定相對于這些觀看者的集合的顯示器屏幕的平均位置或者最好的觀看位置，并按此確定顯示器屏幕的方位。
作為識別觀看者的面部的另一個方案，圖像識別軟件可以識別使用者已知的某個手勢，并按照該手勢調(diào)節(jié)顯示器屏幕的方位。作為另一個方案，該系統(tǒng)可以具有音頻捕獲裝置(例如麥克風(fēng))，并且處理部分可以使用語音或話音識別軟件。當(dāng)捕獲到并識別出某個指令時(例如“上”、“下”、“左”、“右”)，處理部分可以對合適的驅(qū)動器提供相應(yīng)的指令，使顯示器屏幕沿指令中指示的方向運(yùn)動一個預(yù)定的量。
圖1是按照本發(fā)明的實(shí)施例的用于顯示器屏幕方位自動調(diào)節(jié)的顯示系統(tǒng)的透視圖；圖1a是圖1的顯示系統(tǒng)的再現(xiàn)，用于說明在自動調(diào)節(jié)中使用的一個參考坐標(biāo)系統(tǒng)和突出的幾何特征；圖2表示由圖1的攝像機(jī)捕獲的圖像；以及圖2a是和圖2一樣的第二個表示，包括在本發(fā)明的一個改型的實(shí)施例中用于自動調(diào)節(jié)的參數(shù)的表示。
參見圖1，所示的觀看者10位于包括本發(fā)明的實(shí)施例的系統(tǒng)20的觀看區(qū)域內(nèi)。系統(tǒng)20包括顯示器24，其具有可以由使用者10觀看的顯示屏24a(因而使用者處于系統(tǒng)20的“觀看區(qū)域”內(nèi)，如上所述)。顯示器24被基座28支撐著，該基座包括下部和上部垂直支撐32和40，在它們之間設(shè)置有步進(jìn)馬達(dá)36?；?8、下垂直支撐32和步進(jìn)馬達(dá)36相互之間具有固定的關(guān)系。上垂直支撐40可以借助于步進(jìn)馬達(dá)36的驅(qū)動軸沿著其軸線轉(zhuǎn)動(如圖1中上垂直支撐40附近的箭頭所示)。因而，如下面進(jìn)一步說明的那樣，顯示器可以借助于步進(jìn)馬達(dá)36圍繞軸線Y(由垂直支撐40限定的)轉(zhuǎn)動，從而使顯示屏24a處于面向觀看者10的方位。
系統(tǒng)20還包括控制單元52，其位于顯示器24的頂部，如圖1所示。當(dāng)然，控制單元52可以位于其它的位置，或者被包括在顯示器24中。系統(tǒng)20還包括攝像機(jī)48，其通過單獨(dú)的垂直支撐44和基座28以固定的關(guān)系安裝。垂直支撐44被這樣定位，使得攝像機(jī)48不干擾顯示器24的運(yùn)動。控制單元52，步進(jìn)馬達(dá)36和攝像機(jī)48都通過電線和連接器(圖1中未示出)電氣相連，例如，通過沿著顯示器24的后面并在基座28和垂直支撐32，40，44附近(或內(nèi)部)引下的導(dǎo)線電氣相連。
圖1的系統(tǒng)20的顯示器24包括用于產(chǎn)生從顯示屏24a輸出的視頻的電氣元件，以及從相關(guān)的揚(yáng)聲器(未示出)輸出的相應(yīng)的音頻的電氣元件。顯示器24的音頻和視頻的處理可以在控制單元52中進(jìn)行，或者在顯示器內(nèi)的單獨(dú)的控制單元內(nèi)進(jìn)行(或者在其它的地方進(jìn)行)。用于該音頻和視頻的處理元件是公知的，并且可以以各種形式在市場上買到。因?yàn)樗鼈儗τ诒景l(fā)明的操作不重要，所以除去為說明本發(fā)明所需之外，省略其細(xì)節(jié)的說明。
圖1a以虛像的形式表示圖1的顯示器24和使用者10，以便說明由系統(tǒng)20實(shí)現(xiàn)的顯示器24的定位和運(yùn)動。如圖1a所示，參考坐標(biāo)系統(tǒng)O位于基座28的中點(diǎn)，軸線Y處于垂直的位置，借助于步進(jìn)馬達(dá)36，顯示器圍繞該軸線轉(zhuǎn)動(如上面參照圖1所述)，并且軸線X和Y限定底板的平面。顯示器24的初始位置相對于參考方向，例如軸線X；因而，當(dāng)顯示器處于初始位置時，對顯示屏24a的法向矢量(圖1a中所示的矢量Nx)和軸線X對準(zhǔn)。所示的使用者10的位置在地板平面內(nèi)(XZ平面)相對于軸線X呈角度3。因而，使用者10在地板平面內(nèi)的位置在圖1a中由矢量R限定。
除圖1a之外，參看圖1，在顯示器圍繞軸線Y轉(zhuǎn)動的特定角度是已知的或者由控制單元52確定的情況下，控制單元52被編程，使得向步進(jìn)馬達(dá)36輸出相應(yīng)的控制信號。該控制信號使步進(jìn)馬達(dá)52(以及顯示器24，由于其連附于垂直支撐40上)的驅(qū)動軸轉(zhuǎn)動一個特定的角度。步進(jìn)馬達(dá)的驅(qū)動軸(其也平行于Y軸)具有一個參考位置，在此位置顯示屏的法向矢量Nx平行于軸線X，如上所述。控制單元52例如通過保持跟蹤由于控制單元52發(fā)出的控制信號或者由于向控制單元52反饋的轉(zhuǎn)動位置的信號而引起的步進(jìn)馬達(dá)36的驅(qū)動軸的轉(zhuǎn)動，保持跟蹤驅(qū)動軸和顯示器相對于軸線X的轉(zhuǎn)動。
當(dāng)驅(qū)動軸和顯示器相對于軸線Y轉(zhuǎn)動時，顯示屏的法向矢量也圍繞軸線Y轉(zhuǎn)動相同的角度。因而，再次參看圖1a可見，當(dāng)控制單元52收到或者確定使用者10的角度位置3時，其向步進(jìn)馬達(dá)36發(fā)出合適的控制信號，使得步進(jìn)馬達(dá)的驅(qū)動軸從其參考位置轉(zhuǎn)動，從而位于相對于軸線X成一個角度3的位置。這使得顯示器以及顯示屏的法向矢量相對于X軸轉(zhuǎn)動一個角度3，如圖1a中的法向矢量NR所示。因而顯示屏的法向矢量NR轉(zhuǎn)動而和矢量R平行，從而顯示屏24a直接指向使用者10(即，顯示屏24a的平面被這樣轉(zhuǎn)動，使得其和觀看者10觀看屏幕的矢量V正交，其平行于矢量R)。如果顯示屏24a的初始方位并未使得其法向矢量沿X軸放置，則控制單元52(其保持跟蹤顯示器的方位)則使顯示器24從其另一個初始位置這樣轉(zhuǎn)動，使得顯示屏的法向矢量相對于X軸成一個3角度。
在上面的說明中，假定使用者10的角度位置3是已知的，或者由控制單元52確定，并且顯示器24被這樣轉(zhuǎn)動，使得顯示屏24a面向使用者10。在一個簡單的實(shí)施例中，控制單元52可以手動地接收和存儲使用者10在按照圖1a所述的公共參考系統(tǒng)中的位置?？刂茊卧?2可以接收和存儲使用者10的X和Z坐標(biāo)，并計(jì)算角度3，或者，控制單元52可以接收和存儲角度3。(當(dāng)然，公共參考坐標(biāo)系統(tǒng)可以位于不同于圖1a所示的位置。在這種情況下，控制單元52可以首先變換使用者的坐標(biāo)(例如圖1a所示的一個使用者)，以便確定顯示器轉(zhuǎn)動的程度。)圖1的系統(tǒng)20還可以自動地識別使用者和使用者在參考坐標(biāo)系統(tǒng)中的角度位置。一旦使用者的位置被系統(tǒng)自動地確定，如在下面更詳細(xì)地說明的，控制單元52便使顯示器轉(zhuǎn)動到面向使用者的位置，如前所述。
為了自動地檢測圖1中的使用者10的存在，以及，如果使用者存在，檢測使用者的位置，系統(tǒng)20依賴于由攝像機(jī)48捕獲的并由控制單元52處理的圖像。如上所述，攝像機(jī)48位于顯示器24的上方，并指向顯示屏24a的正常觀看區(qū)域，例如，使得攝像機(jī)透鏡的中心軸線和X軸平行。圖2的圖像被傳遞給控制單元52，在控制單元52，例如使用裝在其中的圖像識別軟件處理?？梢允褂脠D像識別算法識別人體例如使用者10的輪廓。此外，可以使用識別面部的或者可被編程用于識別一個特定的面部或者用于識別幾個面部例如使用者10的面部的圖像識別軟件。具體地說，已有的圖像識別技術(shù)可被編程用于識別在一個相對靜止的位置(例如在圖2的椅子上的位置)的使用者的面部。根據(jù)檢測的圖像，控制單元還確定為了面向使用者必須使顯示器圍繞軸線Y轉(zhuǎn)動的角度。例如，圖像識別軟件也可以通過檢測使用者的姿勢或者使用者面部的角度來識別該必須轉(zhuǎn)動的角度。此外，控制單元的軟件可以使用圖像中的使用者的面部的位置來使用幾何計(jì)算確定該角度。一旦圍繞Y轉(zhuǎn)動的角度被確定(例如圖1中的3)，控制單元52便向步進(jìn)馬達(dá)36發(fā)出控制信號，使顯示器轉(zhuǎn)動，如上所述。
圖像識別軟件被裝在控制單元52中，并由其中的處理器用來處理從攝像機(jī)52接收的圖像。根據(jù)攝像機(jī)的情況，該圖像可以是一系列離散圖像或者是視頻幀。由控制單元52處理的圖像例如可以是由數(shù)字?jǐn)z像機(jī)或數(shù)字視頻攝像機(jī)的CCD陣列中的像素陣列捕獲并被傳遞到控制單元52的強(qiáng)度數(shù)據(jù)。用于圖像識別的控制單元52的包括存儲器在內(nèi)的元件可以是單獨(dú)的，或者是和顯示器24的其它功能共用的。
圖2中的使用者10的實(shí)線表示說明當(dāng)使用者在圖1所示的位置時由攝像機(jī)48捕獲的使用者10的圖像。如圖所示，可以由攝像機(jī)48捕獲一系列圖像，并傳遞給控制單元52進(jìn)行處理。最典型的情況是，觀看顯示屏的使用者10是相對靜止的，例如坐在躺椅或沙發(fā)上，如圖2的實(shí)線表示所示。在這種情況下，相應(yīng)的捕獲的和被處理的一系列圖像一起看起來近似圖2的使用者10的實(shí)線圖像。
不過，當(dāng)使用者第一次進(jìn)入攝像機(jī)48的視野時，使用者將是運(yùn)動的。例如，如圖2中以虛像表示的，連續(xù)的圖像最初表示步入(在這種情況下從右方步入)攝像機(jī)48的視野中并坐在椅子中的使用者10。雖然此時使用者10可以停留在靜止?fàn)顟B(tài)一個延長的時間間隔(在捕獲與處理的相繼的圖像之間具有很小的運(yùn)動或者沒有運(yùn)動)，使用者可以定期地運(yùn)動，例如從躺椅上移動到沙發(fā)上。
在一個實(shí)施例中，控制單元52的圖像處理軟件使用接收的系列圖像首先檢測在攝像機(jī)48的使野中使用者10的存在。如同剛才所述，當(dāng)使用者10第一次出現(xiàn)在視野中時，其一般是運(yùn)動的，例如，朝向椅子運(yùn)動，如圖2的虛像所示。因而，圖像處理軟件首先比較相繼的圖像，以便檢測和跟蹤運(yùn)動著的對象。在這種檢測和跟蹤的已知技術(shù)中，例如，對于一個圖像的圖像陣列中的每個象素(x，y)計(jì)算函數(shù)S(x，y，t)的值，每個相繼的圖像由時間t確定S(x,y,t)=∂2G(t)∂t2*I(x,y,t)]]>其中G(t)是高斯函數(shù)，I(x，y，t)是在圖像t中的每個象素的強(qiáng)度。圖像中的邊緣的運(yùn)動由在S(x，y，t)中的暫時的零交叉識別。該零交叉在圖像中是群集的，并且這種運(yùn)動邊緣的群集將提供運(yùn)動中的物體的輪廓。
根據(jù)群集的位置、運(yùn)動和形狀跟蹤在相繼圖像中的群集。在一個群集被跟蹤少數(shù)的相繼幀之后，其可以被模擬成例如具有恒定的高度和寬度(“邊界框”)，并且可以監(jiān)視和定量(例如通過持續(xù)參數(shù))在相繼圖像中的有邊界的框的重復(fù)出現(xiàn)。如果假定在圖像中運(yùn)動的物體是人，則對于該運(yùn)動物體，可以通過軟件估算頭的位置在有邊界的框的上方。
用這種方式，控制單元52可以檢測和跟蹤進(jìn)入攝像機(jī)48的視野中的使用者，并且，可以檢測和跟蹤使用者的頭部的大概位置。上述的檢測和跟蹤技術(shù)在“Tracking Faces”，McKenna&Gong，Proceedingsof the Second International Conference on Automatic Face andGesture Recognition，Killington，Vt，October 14-16，1996，pp.271-276中描述了，這篇文獻(xiàn)的內(nèi)容在此引為參考。(上述的論文的第2部分論述多個運(yùn)動的跟蹤)。
一旦使用者靜止時，例如，當(dāng)使用者10坐在圖1和圖2所示的椅子中時，身體(和頭部)的運(yùn)動將是相對靜止的，如上所述。因而，持續(xù)參數(shù)將減少。不過，當(dāng)持續(xù)參數(shù)減少到一個特定的門限之下時(表示檢測的物體已經(jīng)成為靜止的)，則控制單元52由檢測和跟蹤程序確定了使用者頭部的大概位置。因而，控制單元52可以啟動面部識別的分離或輔助技術(shù)，集中處理從攝像機(jī)48接收的隨后的圖像的部分。
因而，控制單元52可以使用已知的技術(shù)來識別圖像中的靜止的面部，這些技術(shù)應(yīng)用和圖像中的輪廓相符的簡單的形狀信息(例如橢圓擬合或本征側(cè)影)。在該識別中可以使用面部的其它結(jié)構(gòu)(例如鼻子、眼睛等)、面部的對稱性和典型的皮膚色調(diào)。一種更復(fù)雜的模擬技術(shù)使用光度表示，其在大的多維的超空間內(nèi)把面部模擬成許多點(diǎn)，其中面部特征的空間排列在面部的內(nèi)部結(jié)構(gòu)的整體的表示內(nèi)被編碼。通過把圖像中的碎片分類成“面部”或“非面部”矢量，例如，對于圖像超空間的一個特定的子空間，通過比較該碎片和面部的模型來確定一個概率密度估算，來實(shí)現(xiàn)面部檢測。
面部檢測也可以這樣實(shí)現(xiàn)訓(xùn)練一個在控制單元52內(nèi)支持的神經(jīng)網(wǎng)絡(luò)，用于檢測前額的或前額附近的圖像。該網(wǎng)絡(luò)可以利用許多面部圖像來訓(xùn)練。訓(xùn)練的圖像被縮放和掩蓋，以便例如在其中心在面部圖像上的一個標(biāo)準(zhǔn)的卵形部分上聚焦?？梢詰?yīng)用若干個已知的用于平衡訓(xùn)練圖像的光強(qiáng)度的技術(shù)。可以通過調(diào)整訓(xùn)練的面部圖像的比例并使面部圖像旋轉(zhuǎn)來擴(kuò)展所述的訓(xùn)練(這樣訓(xùn)練該網(wǎng)絡(luò)以便適應(yīng)圖像的姿勢)。該訓(xùn)練可能還涉及到假正像的非面部圖形的反向傳輸。
控制單元52可以由(以前)運(yùn)動的圖像對控制單元52中的一個這種經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)程序提供相應(yīng)于該頭部(在上述的運(yùn)動檢測和跟蹤技術(shù)中識別的)的估算的部分。神經(jīng)網(wǎng)絡(luò)處理該圖像部分，并確定其是否是基于其圖像訓(xùn)練的面部圖像。
如上所述，面部檢測程序(神經(jīng)網(wǎng)絡(luò)或其它的)可以用在相對靜止的圖像上。通過神經(jīng)網(wǎng)絡(luò)(或其它的面部檢測技術(shù))進(jìn)行的正面部檢測也可以和控制單元52的檢測和跟蹤程序結(jié)合使用，以便支持運(yùn)動物體的跟蹤。多種面部檢測技術(shù)是已知的，并且神經(jīng)網(wǎng)絡(luò)技術(shù)在上述的論文“Tracking Faces”中具有較詳細(xì)的說明。使用神經(jīng)網(wǎng)絡(luò)進(jìn)行面部檢測(以及其它的面部的子分類的檢測，例如性別、種族和姿勢)的其它的細(xì)節(jié)在“Mixture of Experts for Classification ofGender，Ethnic Origin and Pose of Human Faces”，Gutta，Huang，Jonathon and Wechsler，IEEE Transactions on Neural Networks，vol.11，no.4，pp.948-960(July2000)中論述了，這篇論文的內(nèi)容作為本發(fā)明的參考，并作為下面所述的論文“Mixture of Experts”。
如上所述，神經(jīng)網(wǎng)絡(luò)程序(或者其它的面部檢測技術(shù))可被擴(kuò)展，從而包括利用有代表性的姿勢組估算檢測的面部的姿勢的姿勢分類。論文Mixture of Experts對包括姿勢分類的神經(jīng)網(wǎng)絡(luò)程序提供了詳細(xì)的解釋。對于觀看顯示器的使用者例如圖1所示的使用者，因?yàn)槭褂谜呦鄬τ跀z像機(jī)的光軸的角位移，在攝像機(jī)48的圖像中檢測的面部具有和其相關(guān)的姿勢。因而，對于在控制單元52中存儲的每個典型的姿勢，控制單元52也可以存儲反映使用者10的角位移的相關(guān)的角度。再次參看圖1a，攝像機(jī)48的光軸和參考軸X對準(zhǔn)，因而，相應(yīng)于使用者10的檢測的姿勢的角度將等于角度3。因而，在控制單元52由圖像檢測出使用者10的姿勢，并且相應(yīng)于該姿勢的角度也從控制單元52的存儲器中取回(其等于圖1的角度3)之后，控制單元52向步進(jìn)馬達(dá)36發(fā)出合適的信號，以便使顯示器24旋轉(zhuǎn)一個角度3，如上所述。因而顯示屏24a根據(jù)檢測的面部和姿勢自動地轉(zhuǎn)向面向使用者10。
上述的控制單元52進(jìn)行的自動(面部)圖像檢測的示例的實(shí)施例依賴于包括跟蹤運(yùn)動的物體和面部檢測的圖像檢測，其中包括姿勢檢測。在一種典型的情況下，使用者10將進(jìn)入房間并坐下在相當(dāng)長的時間觀看顯示屏，例如TV。一般地說，在檢測到使用者靜止達(dá)到一個門限時間間隔之前，顯示器不會運(yùn)動，以便避免在使用者在室內(nèi)散步時也引起顯示器運(yùn)動。因而，控制單元52可被編程用于檢測和跟蹤運(yùn)動的物體(也識別相應(yīng)于物體頭部的圖像的估算的區(qū)域)。一旦物體被確定在一個門限時間間隔內(nèi)處于相對靜止位置，便可以對估算的區(qū)域應(yīng)用面部和姿勢檢測程序，以便證實(shí)其是面部，并且如果證實(shí)是面部，則證實(shí)相應(yīng)的姿勢。然后，控制單元52使用和該姿勢相應(yīng)的角度以使顯示器24轉(zhuǎn)動，使得其面向(現(xiàn)在靜止的)使用者10。如果使用者10再次運(yùn)動，則該運(yùn)動被跟蹤，并且如果使用者再次在一個門限時間間隔內(nèi)成為靜止的，則顯示器根據(jù)新確定的姿勢和相應(yīng)的角度再次被調(diào)整。
如上所述，可以使用面部檢測程序補(bǔ)充運(yùn)動物體的檢測和跟蹤，例如，通過在物體仍然在運(yùn)動的同時進(jìn)行檢測，確定物體的估算的區(qū)域是否實(shí)際上是面部。不過，如上所述，在使用者10成為相對靜止之前，顯示器一般不會運(yùn)動，雖然在某些應(yīng)用中，顯示器可以轉(zhuǎn)動，以便跟蹤使用者的運(yùn)動。如上所述，控制單元52保持跟蹤顯示器24從參考位置(例如，其中Nx沿著X軸)轉(zhuǎn)動的數(shù)量。當(dāng)顯示器被預(yù)先從該初始位置轉(zhuǎn)動時，控制單元52則考慮以前的旋轉(zhuǎn)，此時則轉(zhuǎn)動到一個和檢測的姿勢相應(yīng)的不同的角度。此外，上述的面部和姿勢檢測程序可以直接應(yīng)用于一系列圖像，而沒有檢測和跟蹤程序。這需要由神經(jīng)網(wǎng)絡(luò)(或者其它的圖像檢測和處理技術(shù))處理整個的圖像，至少在開始時。一旦檢測到面部圖像，則可以使處理集中于相繼的圖像部分上。
此外，圖像識別軟件可被編程用于識別特定的面部，因而只調(diào)整顯示器使其朝向識別出的面部。特定的面部可以是家庭成員或者是使用特定計(jì)算機(jī)顯示器的人員。在面部識別的神經(jīng)網(wǎng)絡(luò)技術(shù)中，可以使用這些特定使用者的圖像訓(xùn)練網(wǎng)絡(luò)。在訓(xùn)練中可以使用其它人的面部作為負(fù)的匹配(例如假的正指示)。圖像檢測軟件還可以檢測在從攝像機(jī)48接收的圖像中的多個使用者(觀眾)。在這種情況下，檢測軟件可以確定圖像中的中間觀看位置(例如，根據(jù)觀眾位置的空間平均值，或者根據(jù)特定的識別出的觀眾的加權(quán)的平均值)，然后，調(diào)整顯示器使其朝向該位置?？刂茊卧?2可以通過由和最近的觀眾的姿勢相關(guān)的角度進(jìn)行外推，或者通過使用下面所述的幾何確定方法確定平均位置本身的角度位置來確定該平均位置的角度方向。
此外，控制單元52的軟件可以隨著時間的過去存儲檢測的一個或幾個使用者的靜止位置(例如角度位置)。當(dāng)控制單元52發(fā)現(xiàn)使用者的一個(或幾個)位置隨時間而重復(fù)時，控制單元則確定該位置是一個缺省位置。例如，控制單元52可以確定這樣一個角度是缺省位置在確定數(shù)量的檢測當(dāng)中，具有一個門限次數(shù)，其中檢測到使用者處于那個角度(或者以該角度為中心的一個小的角度范圍)。該缺省位置或幾個缺省位置可以由控制單元52用于把圖像識別處理集中在接收的圖像的相應(yīng)的部分上，以便幫助識別圖像中的使用者。因而該缺省位置可以由控制單元52用來輔助圖像檢測和跟蹤程序，如上所述。如果不使用檢測和跟蹤程序，則該缺省位置可以給予該軟件在接收的圖像中的一個開始點(diǎn)，以便應(yīng)用上述的面部識別程序。
此外，對于頻繁檢測到的一個缺省位置，控制單元52可以調(diào)整步進(jìn)馬達(dá)26的驅(qū)動軸的參考位置，使得顯示屏24a的法向矢量處于這個角度上。因而，參看圖1a，如果使用者10的位置被確定經(jīng)常位于角度3，則控制單元52可以重新校準(zhǔn)，使得法向矢量(NR)沿著R時的位置是參考位置。在這種情況下，系統(tǒng)可以具有由控制單元52控制的第二個步進(jìn)馬達(dá)，用于使攝像機(jī)48轉(zhuǎn)動，使得其光軸平行于R。如果攝像機(jī)48被這樣旋轉(zhuǎn)，則由控制單元52從由攝像機(jī)接收的圖像檢測到的使用者的角度位置將相應(yīng)于顯示器24的重新調(diào)整的參考位置。不過，如果攝像機(jī)48的光軸不能相對于X軸運(yùn)動，則在使顯示器24朝向使用者的檢測位置轉(zhuǎn)動之前，控制單元52必須變換檢測到的使用者的角度位置(相對于X軸)到顯示器24的新的參考位置(沿著R)。
在另一個實(shí)施例中，檢測被檢測使用者的姿勢由這樣的方式代替，即通過幾何方法由攝像機(jī)48捕獲的使用者10的圖像確定使用者的角度2。由攝像機(jī)48捕獲的圖像被傳遞到處理單元52，該處理單元包括圖像識別軟件，用于檢測身體、特定的面部等的輪廓，如上面的實(shí)施例中所述。因而，該軟件可以包括運(yùn)動檢測和處理程序，以及上述的神經(jīng)網(wǎng)絡(luò)面部識別程序，或者其它的已知的面部識別程序。在圖像中檢測到的身體或面部的位置被控制單元用于確定相應(yīng)于在圖1的參考坐標(biāo)系統(tǒng)中使用者10的位置的角度2。例如，參見圖2a，角度2的一階確定是2＝(x/W)(P)，其中x是控制單元52從圖像的中心C測量的水平圖像距離，W是由控制單元52確定的(或在其中預(yù)編程的)圖像的總的水平寬度，P是視野，或者是由攝像機(jī)確定的場景的角寬度，其借助于程序被編入控制單元52中。如上所述，一旦角度2被確定，控制單元52就向步進(jìn)馬達(dá)36發(fā)送控制信號，使得顯示器24轉(zhuǎn)動一個角度2，因而面向使用者10。
可以使圖1的系統(tǒng)適用于顯示器表面在3維的運(yùn)動，即，使得顯示器也圍繞圖1a的H軸轉(zhuǎn)動。可以容易地修改顯示器的支撐，使得利用一個萬向節(jié)支撐，并利用單獨(dú)的用于轉(zhuǎn)動的步進(jìn)馬達(dá)，能夠圍繞Y軸和H軸轉(zhuǎn)動。例如上面所述的圖像檢測和處理軟件可以適于檢測需要圍繞H軸轉(zhuǎn)動的角度。因而，對于觀看顯示器的使用者，例如圖1所示的使用者，在攝像機(jī)48的圖像中檢測的面部也具有一個和其相關(guān)的姿勢，這是因?yàn)槭褂谜叩拿娌靠梢韵鄬τ谖挥跀z像機(jī)的正前方的面部上下移動。因而，在控制單元52中存儲的每個典型的姿勢可以具有反映在攝像機(jī)48的光軸上下的角位移的第二個相應(yīng)的角度。當(dāng)?shù)湫偷淖藙荼淮_定時，控制單元52則使用相應(yīng)的第二角度控制第二個步進(jìn)馬達(dá)，從而使顯示器圍繞H軸轉(zhuǎn)動一個等于第二角度的角度。和典型姿勢相關(guān)的第一角度被控制單元52用來實(shí)現(xiàn)使顯示器圍繞Y軸的轉(zhuǎn)動(即，2)，如上所述。
雖然上面的實(shí)施例集中在顯示器和顯示屏是一個整體的系統(tǒng)上，本發(fā)明可以被容易地修改以便適用于顯示屏和顯示系統(tǒng)其它元件分開的顯示系統(tǒng)，例如家庭影院系統(tǒng)。在這種情況下，顯示器的投影元件的運(yùn)動可以與顯示屏的運(yùn)動相關(guān)聯(lián)。投影元件和顯示屏可以具有一個公共的支撐結(jié)構(gòu)和使它們作為一個單元運(yùn)動從而被調(diào)節(jié)朝向使用者的步進(jìn)馬達(dá)(或其它驅(qū)動器)。此外，投影元件和顯示屏可以具有單獨(dú)的支撐結(jié)構(gòu)和單獨(dú)的步進(jìn)馬達(dá)(或其它驅(qū)動器)，該步進(jìn)馬達(dá)根據(jù)由控制單元52向每個馬達(dá)發(fā)出的控制信號協(xié)同地運(yùn)動，以便向著使用者進(jìn)行調(diào)整。
在另一個實(shí)施例中，控制單元52可以利用識別手勢的圖像檢測軟件編程。手勢識別技術(shù)是已知的，并例如在“Hand GestureRecognition Using Ensembles Of Radial Basis Function(RBF)Networks And Decision Trees”，Gutta，Imam and Wechsler，International Journal of Pattern Recognition and ArtificialIntelligence，vol.11，no.6，pp.845-872(1997)中描述了。該論文的內(nèi)容在此作為參考。圖1的控制單元52可以包括這種用于識別手勢的圖像識別軟件，其中某個手勢是使顯示器沿不同方向轉(zhuǎn)動的指令。使用者10的圖像再次被攝像機(jī)48捕獲，并發(fā)送給控制單元52，用于進(jìn)行圖像識別分析。如果控制單元52檢測到相應(yīng)于使顯示器24運(yùn)動的預(yù)定指令的使用者10的手勢，則控制單元52向步進(jìn)馬達(dá)36發(fā)送合適的控制信號，從而使顯示器24運(yùn)動。例如，由攝像機(jī)48捕獲的并在控制單元52中被識別的沿水平方向伸出的平的手的檢測圖像可以指示沿手所指的方向的顯示器轉(zhuǎn)動?？刂茊卧?2可以對步進(jìn)馬達(dá)36發(fā)出一系列控制信號，每個信號使顯示器沿合適的方向運(yùn)動2％。當(dāng)控制單元52確定圖像中的手勢由使用者10撤回時，則轉(zhuǎn)動停止。使用者知道手勢信號，因而可以控制顯示器，使其運(yùn)動一個所需的量。
此外，可以設(shè)置具體的手勢和顯示屏的特定的角度位置相應(yīng)。使用者可以從顯示屏上的菜單中選擇手勢，例如，當(dāng)顯示器24處于所需位置時。然后，控制單元52使選擇的手勢和角度位置相關(guān)，因而，當(dāng)后來檢測到該手勢時，顯示器便轉(zhuǎn)動到所述的位置。其它的手勢可以相應(yīng)于其它的觀看位置。可以使用在控制單元中設(shè)置特定手勢的角度的其它方法。
在另一個實(shí)施例中，圖1的攝像機(jī)48被音頻拾取器例如麥克風(fēng)代替?？刂茊卧?2包括語音識別軟件，用于識別從麥克風(fēng)傳遞的特定的指令字，例如“左轉(zhuǎn)”和“右轉(zhuǎn)”。當(dāng)識別出這種指令時，控制單元52則使顯示器圍繞Y軸沿特定的方向轉(zhuǎn)動一個預(yù)定的量(例如2％)。使用者10可以重復(fù)該指令，以便使顯示器沿相同方向繼續(xù)運(yùn)動，另外的指令可以相應(yīng)于反向轉(zhuǎn)動，或者當(dāng)調(diào)整到其喜歡的角度時使運(yùn)動停止。此外，一旦收到運(yùn)動開始指令時，例如“左轉(zhuǎn)”，控制單元52可以使顯示器沿指令方向連續(xù)轉(zhuǎn)動，直到收到終止指令(例如“停止”)，或者達(dá)到顯示器的最大角度移動范圍為止。
一旦顯示器24處于面向使用者經(jīng)常所在的觀看位置，使用者也可以給出一個語音識別軟件可以識別的缺省設(shè)置指令(例如“設(shè)置缺省位置A”)。控制單元52使用該缺省設(shè)置指令，把使用者的語音指令和顯示器的角度位置相關(guān)聯(lián)。當(dāng)語音識別程序接著識別出相關(guān)的使用者指令時(例如“向位置A運(yùn)動”)，控制單元52則使顯示器轉(zhuǎn)動到那個角度。在控制單元52中可以用其它方式例如使用屏幕上的菜單設(shè)置對于特定的語音指令的缺省位置(或多個缺省位置，例如位置B，C等)。
此外，在手勢和語音識別的情況下，控制單元52可以根據(jù)經(jīng)常檢測到的使用者的位置調(diào)整顯示器24的參考位置，如在上述的圖像檢測情況下所述。
已經(jīng)提出了許多用于檢測和跟蹤活動的輪廓例如人體的其它方法，這些方法可以用和上述方式類似的方式適用于本發(fā)明。例如，用于在視頻圖像中查找和跟隨人體(例如或者頭部，或者手部)的“個人查找器”在“PfinderReal-Time Tracking Of the Human Body”，Wren et al.，M.I.T.Media Laboratory Perceptual ComputingSection Technical Report No.353，IEEE Transaction on PatternAhalysis and Machine Intelligence，vol.19，no.7，pp780-85(July1997)中描述了，這篇論文的內(nèi)容在此作為參考。使用模板匹配檢測圖像內(nèi)的個人(步行者)的方法在“Pedestrian Detection FromA Moving Vehicle”，D.M.Gavrila(Image Understanding Systems，DaimlerChrysler Research)，Proceedings of the EuropeanConference on Computer Vision，2000(www.gravila.net)中描述了，這篇論文的內(nèi)容在此作為參考。使用統(tǒng)計(jì)采樣算法檢測圖像中的靜止的物體和用于檢測物體運(yùn)動的隨機(jī)模型在“Condensation-Conditional Density Propagation For Visual Tracking”，Isardand Black(Oxford Univ.Dept.of Eng ineering Science)，Int.J.Computer Vision，vol.29，1998(www.dai.ed.ac.uk/CVonline/LOCAL COPIES/ISARD1/condensation.html，along withthe“Condensation”source code)中描述了，這篇論文的內(nèi)容在此作為參考。用于識別圖像(包括數(shù)字圖像)中的面部的軟件可以在市場上買到，例如由Visionics出售的和在www.faceit.com描述的“FaceIt”軟件。
雖然參照


了本發(fā)明的實(shí)施例，但是應(yīng)當(dāng)理解，本發(fā)明不限于這些精確的實(shí)施例，而是，本發(fā)明的范圍應(yīng)當(dāng)由所附的權(quán)利要求限定。
權(quán)利要求
1.一種具有向使用者(10)提供視頻的視頻顯示屏(24a)的系統(tǒng)(20)，該顯示屏(24a)的位置可以根據(jù)使用者(10)相對于顯示屏(24a)的位置進(jìn)行調(diào)整，該系統(tǒng)(20)包括至少一個圖像捕獲裝置(48)，該裝置可以在顯示屏(24a)的視區(qū)內(nèi)訓(xùn)練，并和具有圖像識別軟件的控制單元(52)相連，該圖像識別軟件識別在由圖像捕獲裝置(48)產(chǎn)生的圖像中的使用者(10)，該控制單元(52)的軟件還根據(jù)圖像中的使用者(10)的檢測產(chǎn)生使用者(10)的位置的至少一個測量值。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，顯示屏(24a)是集成的顯示單元(24)的一部分，該顯示單元還結(jié)合有顯示投影元件。
3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，該顯示屏是家庭影院系統(tǒng)中的屏幕。
4.如權(quán)利要求1所述的系統(tǒng)，其特征在于，控制單元(52)調(diào)節(jié)顯示屏(24a)的位置，使得顯示屏(24a)的法向矢量面向使用者(10)，控制單元(52)使用使用者(10)的位置的至少一個測量值來調(diào)節(jié)該顯示屏(24a)的位置。
5.如權(quán)利要求4所述的系統(tǒng)，其特征在于，該使用者(10)的位置的至少一個測量值由圖像識別軟件在圖像中檢測到的使用者面部的姿勢確定。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，使用者(10)的位置的該至少一個測量值是使用者(10)相對于參考軸線X的角位移h，該檢測的姿勢和使用者離開軸線X的角位移h相關(guān)。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，控制單元(52)使顯示屏(24a)轉(zhuǎn)動，使得顯示屏(24a)的法向矢量N具有使用者(10)相對于參考軸線X的角位移h。
8.如權(quán)利要求4所述的系統(tǒng)，其特征在于，使用者(10)的位置的該至少一個測量值由圖像識別軟件按照圖像中的使用者(10)的位置確定。
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，使用者(10)的位置的該至少一個測量值是使用者(10)相對于參考軸線X的角位移h，該控制單元使用圖像中的檢測的使用者的位置以確定該角位移。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，控制單元(52)使顯示屏(24a)轉(zhuǎn)動，使得顯示屏(24a)的法向矢量N具有使用者(10)相對于參考軸線X的角位移h。
11.如權(quán)利要求1所述的系統(tǒng)，其特征在于，控制單元(52)在由圖像捕獲裝置(48)產(chǎn)生的圖像中識別兩個或更多個使用者的圖像，控制單元(52)根據(jù)圖像中的使用者的檢測，產(chǎn)生使用者的平均位置。
12.如權(quán)利要求11所述的系統(tǒng)，其特征在于，控制單元(52)根據(jù)使用者的平均位置調(diào)節(jié)顯示屏(24a)的位置。
13.一種具有向使用者10提供視頻的視頻顯示屏(24a)的系統(tǒng)(20)，該系統(tǒng)包括至少一個圖像捕獲裝置(48)，該裝置可以在顯示屏(24a)的視區(qū)內(nèi)訓(xùn)練，并和具有圖像識別軟件的控制單元(52)相連，該圖像識別軟件識別在由圖像捕獲裝置(48)產(chǎn)生的圖像中的一個或幾個使用者(10)的姿態(tài)，該控制單元(52)根據(jù)識別的圖像中使用者(10)的姿態(tài)，進(jìn)行顯示屏(24a)的方位調(diào)整。
14.如權(quán)利要求13所述的系統(tǒng)，其特征在于，該檢測的使用者(10)的一個或幾個姿態(tài)是手勢。
15.如權(quán)利要求14所述的系統(tǒng)，其特征在于，該一個或幾個手勢中的每一個和顯示屏(24a)沿一預(yù)定方向的運(yùn)動相關(guān)。
16.一種具有向使用者提供視頻的視頻顯示屏的系統(tǒng)，該系統(tǒng)包括至少一個音頻捕獲裝置，該捕獲裝置從顯示屏的視區(qū)中捕獲音頻輸入，并和一控制單元相連，該控制單元具有語音識別軟件，該軟件識別在該視區(qū)中由使用者說出的一個或幾個聲音指令，該控制單元根據(jù)識別的從使用者接收的聲音指令進(jìn)行該顯示屏的方位的調(diào)節(jié)。
17.如權(quán)利要求16所述的系統(tǒng)，其特征在于，該一個或幾個聲音指令中的每一個和沿預(yù)定方向的顯示屏的運(yùn)動相關(guān)。
全文摘要
一種具有向使用者提供視頻的視頻顯示屏的系統(tǒng)。該顯示屏的位置可以根據(jù)使用者相對于顯示屏的位置被調(diào)節(jié)。該系統(tǒng)包括至少一個圖像捕獲裝置，其可以在顯示屏的視區(qū)內(nèi)訓(xùn)練，并和具有圖像識別軟件的控制單元相連，該圖像識別軟件識別在由圖像捕獲裝置產(chǎn)生的圖像中的使用者，該控制單元的軟件還根據(jù)在圖像中的使用者的檢測產(chǎn)生使用者的位置的至少一個測量。
文檔編號H04N5/64GK1457468SQ02800513
公開日2003年11月19日 申請日期2002年2月21日 優(yōu)先權(quán)日2001年3月5日
發(fā)明者S·古塔, K·庫拉帕蒂, A·科爾梅納雷茲 申請人:皇家菲利浦電子有限公司