0使用存儲(chǔ)在存儲(chǔ)器140中的各種程序來(lái)控制顯示裝置100的總體操作。
[0153]具體地，控制器130可以包括隨機(jī)存取存儲(chǔ)器(RAM) 131、只讀存儲(chǔ)器(ROM) 132、主中央處理單元(CPU) 133、圖形處理器134、第一接口 135-1至第η接口 135_η以及總線136。
[0154]RAM 13UR0M 132、主 CPU 133、圖形處理器 134、第一接口 135-1 至第 η 接口 135_η等可以通過(guò)總線136彼此電連接。
[0155]第一接口 135-1至第η接口 135_η連接到上述組件。接口之一可以是通過(guò)網(wǎng)絡(luò)連接到外部裝置的網(wǎng)絡(luò)接口。
[0156]主CPU 133訪問(wèn)存儲(chǔ)器140以使用存儲(chǔ)在存儲(chǔ)器140中的操作系統(tǒng)(0/S)執(zhí)行啟動(dòng)。主CPU 133使用存儲(chǔ)在存儲(chǔ)器140中的各種程序、內(nèi)容、數(shù)據(jù)等執(zhí)行各種操作。
[0157]用于系統(tǒng)啟動(dòng)的命令集等被存儲(chǔ)在ROM132中。當(dāng)輸入了開(kāi)啟指令以供電時(shí)，主CPU 133根據(jù)存儲(chǔ)在ROM 132中的指令將存儲(chǔ)在存儲(chǔ)器140中的0/S拷貝到RAM 131中，并執(zhí)行該0/S以啟動(dòng)系統(tǒng)。當(dāng)啟動(dòng)完成時(shí)，主CPU 133將存儲(chǔ)在存儲(chǔ)器140中的各種應(yīng)用程序拷貝到RAM131中，并且執(zhí)行拷貝到RAM 131中的應(yīng)用程序以執(zhí)行各種操作。
[0158]圖形處理器134使用運(yùn)算單元(未示出)和渲染單元(非單元)產(chǎn)生包括各種對(duì)象(諸如圖標(biāo)、圖像、文本等)的屏幕。運(yùn)算單元基于接收到的控制命令計(jì)算對(duì)象根據(jù)屏幕的布局、對(duì)象的形狀、尺寸和顏色而顯示的屬性值，諸如坐標(biāo)值。渲染單元基于在運(yùn)算單元中計(jì)算的屬性值產(chǎn)生具有包括對(duì)象的各種布局的屏幕。在渲染單元中產(chǎn)生的屏幕被顯示在顯示器110的顯示區(qū)域中。
[0159]上述控制器130的操作可以通過(guò)存儲(chǔ)在存儲(chǔ)器140中的程序來(lái)執(zhí)行。
[0160]存儲(chǔ)器140存儲(chǔ)各種數(shù)據(jù)，諸如用于驅(qū)動(dòng)顯示裝置100的0/S軟件模塊、各種多媒體內(nèi)容、各種應(yīng)用、以及在應(yīng)用執(zhí)行期間設(shè)置或輸入的各種內(nèi)容。
[0161]具體地，存儲(chǔ)器140可以存儲(chǔ)根據(jù)示例性實(shí)施例的用于構(gòu)建包括在顯示器110上提供的立方體GUI的各種UI屏幕的數(shù)據(jù)。
[0162]此外，存儲(chǔ)器140可以存儲(chǔ)關(guān)于各種用戶(hù)交互類(lèi)型及其功能的數(shù)據(jù)、提供的信息等。
[0163]將參照?qǐng)D3描述存儲(chǔ)在存儲(chǔ)器140中的各種軟件模塊。
[0164]參照?qǐng)D3，包括基礎(chǔ)模塊141、感測(cè)模塊142、通信模塊143、呈現(xiàn)模塊144、web瀏覽器模塊145和服務(wù)模塊146的軟件可以存儲(chǔ)在存儲(chǔ)器140中。
[0165]基礎(chǔ)模塊141是被配置為處理從包括在顯示裝置100中的硬件發(fā)送的信號(hào)并將處理的信號(hào)發(fā)送到上層模塊的模塊?；A(chǔ)模塊141包括存儲(chǔ)模塊141-1、安全模塊141-2、網(wǎng)絡(luò)模塊141-3等。存儲(chǔ)模塊141-1是被配置為管理數(shù)據(jù)庫(kù)(DB)或注冊(cè)表的程序模塊。主CPU 133使用存儲(chǔ)模塊141-1訪問(wèn)存儲(chǔ)器140中的數(shù)據(jù)庫(kù)以讀取各種數(shù)據(jù)。安全模塊131-2是被配置為支持硬件認(rèn)證、許可、安全存儲(chǔ)等的程序模塊，和網(wǎng)絡(luò)模塊141-3是被配置為支持網(wǎng)絡(luò)連接的模塊，并且可以包括設(shè)備網(wǎng)絡(luò)(DNET)模塊、通用即插即用(UPnP)模塊等。
[0166]感測(cè)模塊142是被配置為收集來(lái)自各種傳感器的信息，并分析和管理所收集的信息的t旲塊。感測(cè)t旲塊142可以包括頭方向識(shí)別t旲塊、面部識(shí)別t旲塊、語(yǔ)首識(shí)別t旲塊、動(dòng)作識(shí)別模塊、近場(chǎng)通信(NFC)識(shí)別模塊等。
[0167]通信模塊143是被配置為與外部裝置執(zhí)行通信的模塊。通信模塊143可以包括消息收發(fā)模塊143-1(諸如信使程序、短消息服務(wù)(SMS)和多媒體消息服務(wù)(MMS)程序、和電子郵件程序)；包括呼叫信息聚合程序模塊、互聯(lián)網(wǎng)協(xié)議語(yǔ)音(VoIP)模塊等的呼叫模塊
143-2。
[0168]呈現(xiàn)模塊144是被配置為構(gòu)建顯示屏幕的模塊。呈現(xiàn)模塊144包括被配置為再現(xiàn)和輸出多媒體內(nèi)容的多媒體模塊144-1、以及被配置為執(zhí)行UI和圖形處理的UI渲染模塊
144-2ο多媒體模塊144-1可以包括例如播放器模塊(未不出)、攝像機(jī)模塊(未不出)、聲音處理模塊(未示出)等。因此，多媒體模塊144-1操作以再現(xiàn)各種多媒體內(nèi)容，并產(chǎn)生屏幕和聲音。UI再現(xiàn)模塊144-2可以包括被配置為合成圖像的圖像合成模塊、被配置為組合和產(chǎn)生屏幕上將顯示圖像的坐標(biāo)的坐標(biāo)組合模塊、被配置為從硬件接收各種事件的Xll模塊、以及被配置為提供用于形成2D類(lèi)型或3D類(lèi)型UI的工具的2D/3D UI工具包。
[0169]web瀏覽器模塊145是被配置為執(zhí)行web瀏覽以訪問(wèn)web服務(wù)器的模塊。web瀏覽器模塊145可以包括例如各種模塊，諸如配置為形成網(wǎng)頁(yè)的web視圖模塊(未示出)、配置為執(zhí)行下載的下載代理模塊(未示出)、書(shū)簽?zāi)K(未示出)和web工具包模塊(未示出)。
[0170]服務(wù)模塊146是包括用于提供各種服務(wù)的各種應(yīng)用的模塊。具體地，服務(wù)模塊146可以包括用于執(zhí)行各種程序的各種程序模塊(未示出)，諸如SNS節(jié)目、內(nèi)容再現(xiàn)程序、游戲程序、電子書(shū)程序、日歷程序、警報(bào)管理程序以及其他小控件。
[0171]各個(gè)程序模塊在圖3中示出，但是可以根據(jù)顯示裝置100的類(lèi)型和特性省略、修改或添加各種程序模塊。例如，存儲(chǔ)器140可被實(shí)施為還包括基于位置的模塊，其中，所述基于位置的模塊被配置為結(jié)合硬件(諸如全球定位系統(tǒng)(GPS)芯片)支持基于位置的服務(wù)。
[0172]通信器150可以根據(jù)各種類(lèi)型的通信方法與外部裝置進(jìn)行通信。
[0173]通信器150可包括各種通信芯片，諸如無(wú)線保真(WIFI)芯片151、藍(lán)牙芯片152或無(wú)線通信芯片153。WIFI芯片151和藍(lán)牙芯片152分別在WIFI方式和藍(lán)牙方式下進(jìn)行通信。當(dāng)使用WIFI芯片151或藍(lán)牙芯片152時(shí)，通信器150可以首先發(fā)送和/或接收諸如服務(wù)集標(biāo)識(shí)符(SSID)和會(huì)話(huà)密鑰等各種連接信息，使用該信息執(zhí)行通信，并發(fā)送和/或接收各種信息。無(wú)線通信芯片153是被配置為根據(jù)各種通信標(biāo)準(zhǔn)(例如電氣和電子工程師協(xié)會(huì)(IEEE)、Zigbee、第三代(3G)、第三代合作伙伴計(jì)劃(3GPP)、或長(zhǎng)期演進(jìn)(LTE))來(lái)進(jìn)行通信的芯片。此外，通信器150還可以包括被配置為使用各種射頻識(shí)別(RF-1D)頻帶(諸如135kHz、13.56MHz、433MHz、860 到 960MHz 和 2.45GHz)中的 13.56MHz 頻帶來(lái)以 NFC 方式操作的NFC芯片。
[0174]具體地，通信器150可以與配置為提供內(nèi)容或服務(wù)的服務(wù)器(未示出)或者被配置為提供各種信息的服務(wù)器(未示出)進(jìn)行通信，并接收用于確定立體GUI的尺寸和布置狀態(tài)的各種信息。例如，通信器150可以與SNS服務(wù)器(未示出)進(jìn)行通信以接收由SNS服務(wù)提供屏幕中的立方體⑶I代表的多條用戶(hù)信息(例如，簡(jiǎn)檔照片等)，或者接收用戶(hù)之間的關(guān)聯(lián)信息，以確定立方體GUI的尺寸和布置狀態(tài)。在另一示例中，通信器150可以與內(nèi)容提供服務(wù)器(未示出)進(jìn)行通信以接收由內(nèi)容提供屏幕中的每個(gè)立方體GUI代表的內(nèi)容信息、或者多個(gè)內(nèi)容之間的關(guān)聯(lián)信息。
[0175]音頻處理器160被配置為對(duì)音頻數(shù)據(jù)進(jìn)行處理。音頻處理器160可以對(duì)音頻數(shù)據(jù)執(zhí)行各種處理，諸如解碼、放大和噪聲濾波。
[0176]具體地，根據(jù)示例性實(shí)施例，當(dāng)根據(jù)用戶(hù)的動(dòng)作而轉(zhuǎn)動(dòng)立方體GUI時(shí)，音頻處理器160可以處理音頻數(shù)據(jù)，以根據(jù)用戶(hù)的動(dòng)作速度提供聲音。例如，音頻處理器160可以產(chǎn)生與用戶(hù)的動(dòng)作速度相對(duì)應(yīng)的反饋聲音，并提供產(chǎn)生的反饋聲音。
[0177]視頻處理器170被配置為對(duì)視頻數(shù)據(jù)進(jìn)行處理。視頻處理器170可以對(duì)視頻數(shù)據(jù)執(zhí)行各種圖像處理，例如解碼、縮放、噪聲濾波、幀率轉(zhuǎn)換和分辨率轉(zhuǎn)換。
[0178]揚(yáng)聲器180被配置為輸出不同的警報(bào)聲音或語(yǔ)音消息以及在音頻處理器160中處理的各種音頻數(shù)據(jù)。
[0179]按鈕181可以包括各種類(lèi)型的按鈕，諸如機(jī)械按鈕、觸摸墊、或滾輪，它們可以被設(shè)置在顯示裝置100主體的外部的任意區(qū)域中，例如正面、側(cè)面或背面。例如，可以提供用于開(kāi)啟/關(guān)閉顯示裝置100的按鈕。
[0180]相機(jī)182被配置為根據(jù)用戶(hù)的控制對(duì)靜止圖像或運(yùn)動(dòng)圖像進(jìn)行成像。具體地，相機(jī)182可以對(duì)用于控制顯示裝置100的各種用戶(hù)動(dòng)作進(jìn)行成像。
[0181]麥克風(fēng)183被配置為接收用戶(hù)語(yǔ)音或其他聲音，并將接收的用戶(hù)語(yǔ)音或聲音轉(zhuǎn)換成音頻數(shù)據(jù)。控制器130可以使用在呼叫期間通過(guò)麥克風(fēng)183輸入的用戶(hù)語(yǔ)音，或者可以將用戶(hù)語(yǔ)音轉(zhuǎn)換為音頻數(shù)據(jù)，并將音頻數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器140中。相機(jī)182和麥克風(fēng)183可以根據(jù)其功能是上述用戶(hù)接口 120的配置。
[0182]當(dāng)設(shè)置了相機(jī)182和麥克風(fēng)183時(shí)，控制器130可以根據(jù)通過(guò)麥克風(fēng)183輸入的用戶(hù)語(yǔ)音或由相機(jī)182識(shí)別的用戶(hù)動(dòng)作來(lái)執(zhí)行控制操作。也就是說(shuō)，顯示裝置100可以在動(dòng)作控制模式或語(yǔ)音控制模式下操作。當(dāng)顯示裝置100在動(dòng)作控制模式下操作時(shí)，控制器130激活相機(jī)182以對(duì)用戶(hù)進(jìn)行成像，跟蹤用戶(hù)動(dòng)作的改變，并且執(zhí)行與動(dòng)作改變相對(duì)應(yīng)的控制操作。當(dāng)顯示裝置100在語(yǔ)音控制模式下操作時(shí)，控制器130分析通過(guò)麥克風(fēng)輸入的用戶(hù)語(yǔ)音，并且在根據(jù)分析的用戶(hù)語(yǔ)音執(zhí)行控制操作的語(yǔ)音識(shí)別模式下操作。
[0183]當(dāng)顯示裝置100在動(dòng)作控制模式下操作時(shí)，控制器130可以控制根據(jù)用戶(hù)的抬頭和/或低頭動(dòng)作將天花板空間或地板空間顯示為主空間。具體地，可以通過(guò)用戶(hù)的面部區(qū)域的位置、眼球的位置、用戶(hù)的頸部長(zhǎng)度和用戶(hù)的頭部區(qū)域中的至少一個(gè)來(lái)檢測(cè)抬頭和/或低頭動(dòng)作。
[0184]例如，控制器130可以確定用戶(hù)的面部區(qū)域，基于面部區(qū)域的位置、區(qū)域等確定抬頭和/或低頭動(dòng)作，或者基于用戶(hù)眼球的位置確定抬頭和/或低頭模式。
[0185]具體地，控制器130通過(guò)面部建模技術(shù)從由相機(jī)182成像的用戶(hù)圖像中識(shí)別眼球圖像。面部建模技術(shù)是用于處理由成像單元獲取的面部圖像，并將處理的面部圖像轉(zhuǎn)換為數(shù)字信息以進(jìn)行發(fā)送的分析處理。面部建模技術(shù)可以包括主動(dòng)形狀建模(ASM)方法的和主動(dòng)外觀建模(AAM)方法?？刂破?30可以通過(guò)使用識(shí)別的眼球圖像確定眼球的移動(dòng)，并使用眼球的移動(dòng)確定抬頭和/或低頭動(dòng)作。例如，控制器130可以以像素為單位掃描捕捉的用戶(hù)圖像，檢測(cè)與用戶(hù)的左眼位置相對(duì)應(yīng)的像素坐標(biāo)值和與用戶(hù)的右眼位置相對(duì)應(yīng)的像素坐標(biāo)值，并確定用戶(hù)眼球位置的移動(dòng)狀態(tài)?？梢允褂酶鞣N公知的圖像分析方法來(lái)實(shí)施通過(guò)以像素為單位掃描由相機(jī)捕捉的用戶(hù)圖像來(lái)檢測(cè)眼球位置，并檢測(cè)用戶(hù)的眼球位置作為像素坐標(biāo)值的方法，因此將省略對(duì)其的詳細(xì)描述。在檢測(cè)用戶(hù)眼球位置的方法中，可以使用紅外(IR)傳感器而非相機(jī)。
[0186]備選地，控制器130可以從捕捉的用戶(hù)圖像識(shí)別面部圖像和頸部圖像，并基于面部長(zhǎng)度和頸部長(zhǎng)度之間的比例來(lái)確定抬頭和/或低頭動(dòng)作。例如，可以預(yù)先計(jì)算面部長(zhǎng)度和頸部長(zhǎng)度之間的閾值比例并將其預(yù)存儲(chǔ)?？刂破?30可以將預(yù)存儲(chǔ)的數(shù)據(jù)與用戶(hù)的數(shù)據(jù)(即，閾值比例和當(dāng)前比例)進(jìn)行比較，以確定抬頭和/或低頭動(dòng)作。
[0187]此外，顯示裝置100還可以包括用于連接到各種外部終端(諸如頭戴式耳機(jī)、鼠標(biāo)和局域網(wǎng)(LAN))的各種外部輸入端口。
[0188]雖然在附圖中未示出，但是顯示裝置100還可以包括反饋提供單元(未示出)。反饋提供單元(未示出)用于根據(jù)顯示的屏幕提供各種類(lèi)型的反饋(例如，音頻反饋、圖形反饋、觸覺(jué)反饋等)。在一個(gè)實(shí)施例中，可以提供音頻反饋以吸引用戶(hù)的注意。
[0189]圖2(b)示出在顯示裝置100中包括的詳細(xì)配置的示例，并且在一些示例性實(shí)施例中，可以省略或修改在圖2(b)中示出的組件的部分，并且可以添加其他組件。例如，當(dāng)顯示裝置100被實(shí)施在便攜式電話(huà)中時(shí)，顯示裝置100還可以包括被配置為從GPS衛(wèi)星接收GPS信號(hào)并計(jì)算顯示裝置100的當(dāng)前位置的GPS接收器(未示出)、被配置為接收和處理數(shù)字多媒體