顯示設(shè)備和顯示控制方法
【專利摘要】一種設(shè)備，包括顯示控制器，所述顯示控制器被配置成根據(jù)傳感器輸出，控制透明顯示器的顯示狀態(tài)，所述傳感器輸出包含關(guān)于與設(shè)備分離的對(duì)象的信息。
【專利說明】顯示設(shè)備和顯示控制方法

【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及顯示設(shè)備和顯示控制方法，以及非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，尤其涉及利用透明顯示器構(gòu)成的顯示設(shè)備等。

【背景技術(shù)】
[0002]在現(xiàn)有技術(shù)中，提出了利用透明顯示器構(gòu)成的顯示設(shè)備(例如，參見PTL I)。就顯示設(shè)備來(lái)說，用戶可通過透明顯示器，觀察在前側(cè)的圖像，和與觀察的圖像相關(guān)的文字或圖像相關(guān)的信息(疊加信息)可被顯示在透明顯示器上。
[0003]引文列表
[0004]專利文獻(xiàn)
[0005]PTL 1:未經(jīng)審查的日本專利申請(qǐng)公開N0.2010-108647


【發(fā)明內(nèi)容】

[0006]本技術(shù)的目的是改善利用透明顯示器構(gòu)成的顯示設(shè)備的便利性。
[0007]按照一個(gè)實(shí)施例，設(shè)備包括
[0008]顯示控制器，所述顯示控制器被配置成根據(jù)傳感器輸出，控制透明顯示器的顯示狀態(tài)，所述傳感器輸出包含關(guān)于與設(shè)備分離的對(duì)象的信息。
[0009]按照本技術(shù)，能夠改善利用透明顯示器構(gòu)成的顯示設(shè)備的便利性。

【專利附圖】

【附圖說明】
[0010]圖1是示意圖解說明按照第一實(shí)施例的顯示設(shè)備的外觀的示圖。
[0011]圖2是圖解說明用戶通過透明顯示器觀察的圖像Ia的例子，并且圖解說明包含在圖像Ia中的用戶的手被刪除的示圖。
[0012]圖3是圖解說明按照第一實(shí)施例的顯示設(shè)備的電路結(jié)構(gòu)例子的示圖。
[0013]圖4是圖解說明顯示設(shè)備在外來(lái)物體去除模式下的處理過程的例子的流程圖。
[0014]圖5是示意圖解說明按照第二實(shí)施例的顯示設(shè)備的外觀的示圖。
[0015]圖6是圖解說明用戶通過透明顯示器觀察的圖像Ia的例子，并且圖解說明包含在圖像Ia中的預(yù)定對(duì)象被刪除的示圖。
[0016]圖7是圖解說明按照第二實(shí)施例的顯示設(shè)備的電路結(jié)構(gòu)例子的示圖。
[0017]圖8是圖解說明顯示設(shè)備在外來(lái)物體去除模式下的處理過程的例子的流程圖。
[0018]圖9是示意圖解說明按照第三實(shí)施例的顯示設(shè)備的外觀的示圖。
[0019]圖10是圖解說明位于透明顯示器的后側(cè)的用戶Ma觀察的視野(用戶視野)的例子，和位于透明顯示器的前側(cè)的另一人Mb觀察的視野(他人視野)的例子的示圖。
[0020]圖11是圖解說明按照第三實(shí)施例的顯示設(shè)備的電路結(jié)構(gòu)例子的示圖。
[0021]圖12是圖解說明顯示設(shè)備在隱私保護(hù)模式下的處理過程的例子的流程圖。
[0022]圖13是示意圖解說明按照第四實(shí)施例的顯示設(shè)備的外觀的示圖。
[0023]圖14是圖解說明位于透明顯示器的后側(cè)的用戶Ma能夠觀察在前側(cè)的圖像Ia，位于透明顯示器的前側(cè)的另一人Mb能夠觀察位于后側(cè)的用戶Ma等的示圖。
[0024]圖15是圖解說明按照第四實(shí)施例的顯示設(shè)備的電路結(jié)構(gòu)例子的示圖。
[0025]圖16是圖解說明顯示設(shè)備在隱私保護(hù)模式下的處理過程的例子的流程圖。
[0026]圖17是示意圖解說明按照第五實(shí)施例的顯示設(shè)備的外觀的示圖。
[0027]圖18是圖解說明位于透明顯示器的后側(cè)的用戶Ma通過透明顯示器，觀察圖像Ia的狀態(tài)的例子的示圖。
[0028]圖19是圖解說明在用戶注視透明顯示器的顯示面的情況下的透明顯示器的顯示的示圖。
[0029]圖20是圖解說明按照第五實(shí)施例的顯示設(shè)備的電路結(jié)構(gòu)例子的示圖。
[0030]圖21是圖解說明顯示設(shè)備在焦點(diǎn)失配改善模式下的處理過程的例子的流程圖。
[0031]圖22是示意圖解說明按照第六實(shí)施例的顯示設(shè)備的外觀的示圖。
[0032]圖23是圖解說明位于透明顯示器的后側(cè)的用戶Ma通過透明顯示器，觀察圖像Ia的狀態(tài)的例子的示圖。
[0033]圖24是圖解說明用戶Ma在幾乎和圖像Ia相同的位置，感知顯示在透明顯示器的顯示面上的疊加信息的示圖。
[0034]圖25是圖解說明按照第六實(shí)施例的顯示設(shè)備的電路結(jié)構(gòu)例子的示圖。
[0035]圖26是圖解說明左眼和右眼的疊加信息區(qū)域，S卩，光控制顯示部分，和顯示在其中的疊加信息，或者各個(gè)視點(diǎn)圖像到左眼和右眼的照射之間的關(guān)系的示圖。
[0036]圖27是圖解說明顯示設(shè)備在顯示位置調(diào)整模式下的處理過程的例子的流程圖。

【具體實(shí)施方式】
[0037]下面，說明本發(fā)明的實(shí)施例。另外，將按照以下順序進(jìn)行說明。
[0038]1.第一實(shí)施例
[0039]2.第二實(shí)施例
[0040]3.第三實(shí)施例
[0041]4.第四實(shí)施例
[0042]5.第五實(shí)施例
[0043]6.第六實(shí)施例
[0044]7.變形例
[0045]〈1.第一實(shí)施例>
[0046]“顯示設(shè)備的結(jié)構(gòu)例子”
[0047]圖1示意表示按照第一實(shí)施例的顯示設(shè)備100的外觀。顯示設(shè)備100構(gòu)成移動(dòng)設(shè)備。顯示設(shè)備100包括透明顯示器101。在透明顯示器101的上端，彼此相鄰地布置后攝像頭(后圖像傳感器)102和如攝像頭(如圖像傳感器)103。后攝像頭102拍攝在透明顯不器101的前側(cè)的圖像。前攝像頭103拍攝在透明顯示器101的后側(cè)的圖像。另外，在透明顯示器101的前側(cè)的表面上，布置觸摸面板104。
[0048]圖2(a)表示用戶通過透明顯示器101觀察的圖像Ia的例子。這種情況下，用戶的手(手的一部分)105位于透明顯示器101的前側(cè)，手105的一部分遮蓋透明顯示器101，作為外來(lái)物體包含在圖像Ia中。在顯示設(shè)備100中，如圖2(b)中所示，能夠刪除包含在圖像Ia中的用戶的手105。
[0049]圖3表示按照第一實(shí)施例的顯示設(shè)備100的電路結(jié)構(gòu)例子。顯示設(shè)備100包括透明顯示器101、后攝像頭102、前攝像頭103和觸摸面板104。另外，顯示設(shè)備100包括視點(diǎn)估計(jì)單元121、區(qū)域估計(jì)單元122、拍攝圖像存儲(chǔ)單元123、插值圖像創(chuàng)建單元124、顯示控制單元125和疊加信息生成單元126。
[0050]視點(diǎn)估計(jì)單元121根據(jù)利用前攝像頭103獲得的拍攝圖像，估計(jì)用戶的視點(diǎn)(眼睛的位置)。區(qū)域估計(jì)單元122從觸摸面板104的輸出中，檢測(cè)作為外來(lái)物體區(qū)域的用戶的手105的區(qū)域。另外，區(qū)域估計(jì)單元122根據(jù)關(guān)于用戶的手104的區(qū)域的信息，和利用視點(diǎn)估計(jì)單元121獲得的視點(diǎn)信息，從利用后攝像頭102獲得的拍攝圖像中，估計(jì)與用戶的手105的區(qū)域?qū)?yīng)的圖像區(qū)域。
[0051]拍攝圖像存儲(chǔ)單元123保存對(duì)應(yīng)于預(yù)定幀周期，利用后攝像頭102獲得的拍攝圖像。插值圖像創(chuàng)建單元124從保存在拍攝圖像存儲(chǔ)單元123中的拍攝圖像中，切割與用戶的手105的區(qū)域?qū)?yīng)的那部分的圖像，以便根據(jù)區(qū)域估計(jì)單元122的區(qū)域估計(jì)結(jié)果，創(chuàng)建插值圖像。疊加信息生成單元126生成顯示在透明顯示器101上的諸如字母或圖像之類的疊加信息。
[0052]疊加信息例如是與包含在用戶通過透明顯示器101觀察的在前側(cè)的圖像中的預(yù)定對(duì)象相關(guān)的信息?？赏ㄟ^從作為圖像，利用后攝像頭102獲得的拍攝圖像中，識(shí)別預(yù)定對(duì)象，并通過利用識(shí)別結(jié)果，使用通信功能(未圖示)從因特網(wǎng)上的服務(wù)器設(shè)備自動(dòng)獲得疊加信息。這種情況下，存在其中使用通信功能，把利用后攝像頭102獲得的拍攝圖像傳送給云上(因特網(wǎng)上)的服務(wù)器設(shè)備，服務(wù)器設(shè)備進(jìn)行圖像識(shí)別，并從服務(wù)器設(shè)備接收疊加信息的結(jié)構(gòu)。對(duì)以下的其它實(shí)施例來(lái)說，關(guān)于以上疊加信息的內(nèi)容也相同。
[0053]當(dāng)疊加信息生成單元126生成疊加信息時(shí)，顯示控制單元125 (例如，可編程處理器或其它處理電路)把疊加信息顯示在透明顯示器101上。另外，在外來(lái)物體去除模式下，顯示控制單元125把利用插值圖像創(chuàng)建單元124創(chuàng)建的插值圖像只顯示在透明顯示器101的用戶的手105的區(qū)域中。
[0054]下面簡(jiǎn)要說明圖3中所示的顯示設(shè)備100的操作。利用拍攝在透明顯示器101的前側(cè)的圖像的后攝像頭102獲得的拍攝圖像被臨時(shí)保存在拍攝圖像存儲(chǔ)單元123中。另外，利用拍攝在透明顯示器101的前側(cè)的圖像的前攝像頭103獲得的拍攝圖像被提供給視點(diǎn)估計(jì)單元121。視點(diǎn)估計(jì)單元121根據(jù)利用前攝像頭103獲得的拍攝圖像，估計(jì)用戶的視點(diǎn)。視點(diǎn)估計(jì)結(jié)果被提供給區(qū)域估計(jì)單元122。
[0055]觸摸面板104的輸出被提供給區(qū)域估計(jì)單元122。區(qū)域估計(jì)單元122從觸摸面板104的輸出中，檢測(cè)用戶的手105的區(qū)域，作為外來(lái)物體區(qū)域。另外，在區(qū)域估計(jì)單元122中，根據(jù)用戶的手105的區(qū)域的有關(guān)信息，和利用視點(diǎn)估計(jì)單元121獲得的視點(diǎn)信息，從利用后攝像頭102獲得的拍攝圖像中，估計(jì)與用戶的手105的區(qū)域?qū)?yīng)的圖像區(qū)域。區(qū)域估計(jì)結(jié)果被提供給插值圖像創(chuàng)建單元124。
[0056]在插值圖像創(chuàng)建單元124中，從保存在拍攝圖像存儲(chǔ)單元123中的拍攝圖像中，切割與用戶的手105的區(qū)域?qū)?yīng)的那部分的圖像，根據(jù)來(lái)自區(qū)域估計(jì)單元122的區(qū)域估計(jì)結(jié)果，創(chuàng)建插值圖像(替換圖像)。在外來(lái)物體去除模式下，顯示控制單元125把利用插值圖像創(chuàng)建單元124創(chuàng)建的插值圖像只顯示在透明顯示器101的用戶的手105的區(qū)域中。從而，包含在用戶通過透明顯示器101觀察的圖像Ia中的用戶的手105被刪除(參見圖2(b))。此外，當(dāng)疊加信息生成單元126生成疊加信息時(shí)，顯示控制單元125把疊加信息顯示在透明顯示器101上。
[0057]圖4的流程圖表示在圖1和圖3中所示的顯示設(shè)備100在外來(lái)物體去除模式下的處理過程的例子。顯示設(shè)備100在步驟ST1，開始所述處理，隨后在步驟ST2，開始利用后攝像頭102和前攝像頭103成像，并啟動(dòng)觸摸面板104。
[0058]之后，在步驟ST3，顯示設(shè)備100檢測(cè)觸摸面板104中被手105遮蓋的區(qū)域。之后，在步驟ST4，顯示設(shè)備100估計(jì)并從利用后攝像頭102獲得的拍攝圖像中切割被手遮蓋的區(qū)域的景象(圖像)。接下來(lái)，在步驟ST5，顯示設(shè)備100只在被手遮蓋的區(qū)域中，顯示在步驟ST4中切割的圖像。
[0059]之后，顯示設(shè)備100在步驟ST6，判定外來(lái)物體去除模式是否結(jié)束。例如根據(jù)用戶的明確指令操作，判定外來(lái)物體去除模式是否結(jié)束，不過圖3中未表示用戶操作單元。如果判定所述模式未結(jié)束，那么顯示設(shè)備100返回步驟ST3的處理，重復(fù)進(jìn)行上述處理。另一方面，如果判定所述模式結(jié)束，那么顯示設(shè)備100在步驟ST7，終止該處理。
[0060]如上所述，在圖1中所示的顯示設(shè)備100中，在外來(lái)物體去除模式下，利用后攝像頭102獲得的拍攝圖像的與用戶的手105的區(qū)域?qū)?yīng)的那部分的圖像只被顯示在包含在用戶通過透明顯示器101觀察的圖像Ia中的用戶的手105的區(qū)域中。因此，從用戶通過透明顯示器101觀察的圖像Ia中，除去用戶的手105，從而改善環(huán)境特性。
[0061]〈2.第二實(shí)施例〉
[0062]“顯示設(shè)備的結(jié)構(gòu)例子”
[0063]圖5示意表示按照第二實(shí)施例的顯示設(shè)備200的外觀。顯示設(shè)備200構(gòu)成移動(dòng)設(shè)備。顯示設(shè)備200包括透明顯示器201。在透明顯示器201的上端，彼此相鄰地布置后攝像頭(后圖像傳感器)202和如攝像頭(如圖像傳感器)203。后攝像頭202拍攝在透明顯不器201的前側(cè)的圖像。前攝像頭203拍攝在透明顯示器201的后側(cè)的圖像。另外，在透明顯示器201的前側(cè)的表面上，布置觸摸面板204。
[0064]圖6(a)表示用戶通過透明顯示器201觀察的圖像Ia的例子。這種情況下，對(duì)象205作為外來(lái)物體包含在圖像Ia中。在顯示設(shè)備100中，如圖6(b)中所示，能夠刪除包含在圖像Ia中的對(duì)象205。
[0065]圖7表示按照第二實(shí)施例的顯示設(shè)備200的電路結(jié)構(gòu)例子。顯示設(shè)備200包括透明顯示器201、后攝像頭202、前攝像頭203和觸摸面板204。另外，顯示設(shè)備200包括視點(diǎn)估計(jì)單元221、區(qū)域估計(jì)單元222、拍攝圖像存儲(chǔ)單元223、插值圖像創(chuàng)建單元224、顯示控制單元225和疊加信息生成單元226。
[0066]觸摸面板204用于從用戶通過透明顯示器201觀察的圖像Ia中，指定預(yù)定對(duì)象205。在這方面，觸摸面板201構(gòu)成對(duì)象指定單元。視點(diǎn)估計(jì)單元221根據(jù)利用前攝像頭103獲得的拍攝圖像，估計(jì)用戶的視點(diǎn)。區(qū)域估計(jì)單元222檢測(cè)包括在觸摸面板204中指定的對(duì)象205的對(duì)象區(qū)域，作為外來(lái)物體區(qū)域。另外，區(qū)域估計(jì)單元222根據(jù)關(guān)于對(duì)象區(qū)域的信息，和利用視點(diǎn)估計(jì)單元221獲得的視點(diǎn)信息，估計(jì)利用后攝像頭202獲得的拍攝圖像中的與對(duì)象區(qū)域?qū)?yīng)的圖像區(qū)域。
[0067]拍攝圖像存儲(chǔ)單元223保存對(duì)應(yīng)于預(yù)定幀周期，利用后攝像頭202獲得的拍攝圖像。插值圖像創(chuàng)建單元224根據(jù)來(lái)自區(qū)域估計(jì)單元222的區(qū)域估計(jì)結(jié)果，創(chuàng)建插值圖像。這種情況下，當(dāng)對(duì)象205移動(dòng)時(shí)，插值圖像創(chuàng)建單元224從保存在拍攝圖像存儲(chǔ)單元223中的拍攝圖像之中其中不存在對(duì)象205的過去一幀的拍攝圖像中，切割與對(duì)象區(qū)域?qū)?yīng)的那部分的圖像，以便創(chuàng)建插值圖像(替換圖像)。另外，當(dāng)對(duì)象205不移動(dòng)時(shí)，插值圖像創(chuàng)建單元224通過利用對(duì)象區(qū)域的周邊像素，創(chuàng)建插值圖像(替換圖像)。
[0068]當(dāng)疊加信息生成單元226生成疊加信息時(shí)，顯示控制單元225把疊加信息顯示在透明顯示器201上。另外，在外來(lái)物體去除模式下，顯示控制單元225把利用插值圖像創(chuàng)建單元224創(chuàng)建的插值圖像只顯示在透明顯示器201的對(duì)象區(qū)域中。
[0069]下面簡(jiǎn)要說明圖7中所示的顯示設(shè)備200的操作。利用拍攝在透明顯示器201的前側(cè)的圖像的后攝像頭202獲得的拍攝圖像被臨時(shí)保存在拍攝圖像存儲(chǔ)單元223中。另外，利用拍攝在透明顯示器101的前側(cè)的圖像的前攝像頭203獲得的拍攝圖像被提供給視點(diǎn)估計(jì)單元221。視點(diǎn)估計(jì)單元221根據(jù)利用前攝像頭203獲得的拍攝圖像，估計(jì)用戶的視點(diǎn)。視點(diǎn)估計(jì)結(jié)果被提供給區(qū)域估計(jì)單元222。
[0070]通過利用觸摸面板204，用戶指定希望從用戶通過透明顯示器201觀察的圖像Ia中除去的對(duì)象205。區(qū)域估計(jì)單元222檢測(cè)包括在觸摸面板204中指定的對(duì)象的對(duì)象區(qū)域，作為外來(lái)物體區(qū)域。另外，區(qū)域估計(jì)單元222根據(jù)對(duì)象區(qū)域的有關(guān)信息，和利用視點(diǎn)估計(jì)單元221獲得的視點(diǎn)信息，從利用后攝像頭202獲得的拍攝圖像中，估計(jì)與對(duì)象區(qū)域?qū)?yīng)的圖像區(qū)域。區(qū)域估計(jì)結(jié)果被提供給插值圖像創(chuàng)建單元224。
[0071]插值圖像創(chuàng)建單元224根據(jù)來(lái)自區(qū)域估計(jì)單元222的區(qū)域估計(jì)結(jié)果，創(chuàng)建插值圖像(替換圖像)。這種情況下，當(dāng)對(duì)象205移動(dòng)時(shí)，插值圖像創(chuàng)建單元224從保存在拍攝圖像存儲(chǔ)單元223中的拍攝圖像之中其中不存在對(duì)象205的過去一幀的拍攝圖像中，切割與對(duì)象區(qū)域?qū)?yīng)的那部分的圖像，以便創(chuàng)建插值圖像(替換圖像)。另一方面，當(dāng)對(duì)象205不移動(dòng)時(shí)，插值圖像創(chuàng)建單元224通過利用對(duì)象區(qū)域的周邊像素，創(chuàng)建插值圖像(替換圖像)。
[0072]在外來(lái)物體去除模式下，顯示控制單元225把利用插值圖像創(chuàng)建單元224創(chuàng)建的插值圖像只顯示在透明顯示器201的對(duì)象區(qū)域中。從而，包含在用戶通過透明顯示器201觀察的圖像Ia中的對(duì)象205被刪除(參見圖6(b))。另外，當(dāng)疊加信息生成單元226生成疊加信息時(shí)，顯示控制單元225把疊加信息顯示在透明顯示器201上。
[0073]圖8的流程圖表示在圖5和圖7中所示的顯示設(shè)備200在外來(lái)物體去除模式下的處理過程的例子。顯示設(shè)備200在步驟ST11，開始所述處理，隨后進(jìn)入步驟ST12的處理。在步驟ST12，顯示設(shè)備200開始利用后攝像頭202和前攝像頭203成像，并啟動(dòng)觸摸面板204。
[0074]之后，在步驟ST13，顯示設(shè)備200指定操作觸摸面板204的用戶希望從通過透明顯示器201觀察的圖像中除去的對(duì)象205。另外，在步驟ST14，顯示設(shè)備200判定指定的對(duì)象是否移動(dòng)。例如，根據(jù)利用后攝像頭202獲得的拍攝圖像，檢測(cè)對(duì)象205的運(yùn)動(dòng)向量，從而判定對(duì)象205是否移動(dòng)。
[0075]如果判定對(duì)象205移動(dòng)，那么在步驟ST15，顯示設(shè)備200通過使用利用后攝像頭202獲得的拍攝圖像中的其中不存在對(duì)象205的過去一幀，創(chuàng)建與對(duì)象區(qū)域?qū)?yīng)的插值圖像(替換圖像)。另一方面，如果判定對(duì)象205不移動(dòng)，那么在步驟ST16，顯示設(shè)備200通過使用利用后攝像頭202獲得的拍攝圖像的對(duì)象區(qū)域205的周圍像素，創(chuàng)建與對(duì)象區(qū)域?qū)?yīng)的插值圖像(替換圖像)。
[0076]顯示設(shè)備200進(jìn)行步驟ST15或ST16中的處理，隨后進(jìn)入步驟ST17中的處理。在步驟ST17，顯示設(shè)備200把在步驟ST15或ST16中創(chuàng)建的插值圖像只顯示在對(duì)象區(qū)域中。
[0077]之后，顯示設(shè)備200在步驟ST18，判定外來(lái)物體去除模式是否結(jié)束。例如根據(jù)用戶的明確指令操作，判定外來(lái)物體去除模式是否結(jié)束，不過圖7中未表示用戶操作單元。如果判定所述模式未結(jié)束，那么顯示設(shè)備200返回步驟ST13的處理，重復(fù)進(jìn)行上述處理。另一方面，如果判定所述模式結(jié)束，那么顯示設(shè)備200在步驟ST19，終止該處理。
[0078]如上所述，在圖5中所示的顯示設(shè)備200中，在外來(lái)物體去除模式下，根據(jù)利用后攝像頭202獲得的拍攝圖像創(chuàng)建的插值圖像(替換圖像)只被顯示在包含在用戶通過透明顯示器101觀察的圖像Ia中的用戶指定的對(duì)象105的區(qū)域中。因此，從用戶通過透明顯示器201觀察的圖像Ia中，除去指定的對(duì)象105，從而改善環(huán)境特性。
[0079]<3.第三實(shí)施例>
[0080]“顯示設(shè)備的結(jié)構(gòu)例子”
[0081]圖9示意表示按照第三實(shí)施例的顯示設(shè)備300的外觀。顯示設(shè)備300構(gòu)成移動(dòng)設(shè)備。顯示設(shè)備300包括透明顯示器301。在透明顯示器301的上端，彼此相鄰地布置后攝像頭(后圖像傳感器)302和如攝像頭(如圖像傳感器)303。后攝像頭302拍攝在透明顯不器301的前側(cè)的圖像。前攝像頭303拍攝在透明顯示器301的后側(cè)的圖像。
[0082]圖10表示在位于透明顯示器301的后側(cè)的用戶Ma觀察在透明顯示器301的前側(cè)的圖像Ia的情況下的視野(用戶視野)的例子。在該視野(下面稱為“用戶視野”)中，除了圖像Ia之外，包括另一人Mb，還包括顯示在透明顯示器301上的諸如字母或圖像之類的疊加信息(所示例子中的字符信息)。
[0083]另外，圖10表示在位于透明顯示器301的前側(cè)的另一人Mb觀察在透明顯示器301的后側(cè)的圖像Ib的情況下的視野(他人視野)的例子。在該視野(下面稱為“他人視野”)中，除了圖像Ib之外，包括用戶Ma，還包括顯示在透明顯示器301上的諸如字母或圖像之類的疊加信息(所示例子中的字符信息)。
[0084]在顯示設(shè)備300中，當(dāng)另一人Mb的視線對(duì)著顯示在透明顯示器301上的疊加信息時(shí)，能夠把疊加信息的顯示顏色設(shè)定成與圖像Ib的沿視線方向的區(qū)域的顏色信息對(duì)應(yīng)的顏色。
[0085]圖11表示按照第三實(shí)施例的顯示設(shè)備300的電路結(jié)構(gòu)例子。顯示設(shè)備300包括透明顯示器301、后攝像頭302和前攝像頭303。另外，顯示設(shè)備300包括視線估計(jì)單元321、顏色信息獲取單元322、疊加信息生成單元323、疊加信息處理單元324和顯示控制單元325。
[0086]視線估計(jì)單元321根據(jù)利用后攝像頭302獲得的拍攝圖像，估計(jì)另一人Mb的視線方向。視線方向的估計(jì)可以采用例如在T.1shikawa, S.Baker, 1.Matthews和Τ.Kanade的“Passive Driver Gaze Tracking with Active Appearance Models，，(Proceedings of theIlth World Congress on Intelligent Transportat1n Systems, October, 2004)中公開的技術(shù)等。
[0087]當(dāng)利用視線估計(jì)單元321估計(jì)的另一人Mb的視線方向是朝向顯示在透明顯示器301上的疊加信息(字母、圖像等)的視線時(shí)，顏色信息獲取單元322從利用前攝像頭303獲得的拍攝圖像中，獲得沿視線方向的區(qū)域的顏色信息。沿視線方向的區(qū)域是當(dāng)另一人Mb的視線對(duì)著顯示在透明顯示器301上的疊加信息時(shí)，通過透明顯示器301觀察的，并且位于疊加信息的背景中的圖像區(qū)域。
[0088]疊加信息生成單元323生成顯示在透明顯示器301上的疊加信息(字母、圖像等)。在隱私保護(hù)模式下，疊加信息處理單元324進(jìn)行顏色變更處理，以致利用疊加信息生成單元323的顯示顏色生成的疊加信息變成與利用顏色信息獲取單元322獲得的顏色信息對(duì)應(yīng)的顏色。另外，當(dāng)未處于隱私保護(hù)模式時(shí)，疊加信息處理單元324原樣輸出利用疊加信息生成單元323生成的疊加信息，而不進(jìn)行顏色變更處理。當(dāng)疊加信息生成單元323生成疊加信息時(shí)，顯示控制單元325把已經(jīng)過疊加信息處理單元324的疊加信息顯示在透明顯示器301上。
[0089]下面簡(jiǎn)要說明圖11中所示的顯示設(shè)備300的操作。利用拍攝在透明顯示器301的前側(cè)的圖像的后攝像頭302獲得的拍攝圖像被提供給視線估計(jì)單元321。視線估計(jì)單元321處理拍攝的圖像，如果在拍攝圖像中，存在另一人Mb，那么估計(jì)視線。視線方向的估計(jì)結(jié)果被提供給顏色信息獲取單元322。
[0090]另外，利用拍攝在透明顯示器301的后側(cè)的圖像的前攝像頭303獲得的拍攝圖像被提供給顏色信息獲取單元322。當(dāng)利用視線估計(jì)單元321估計(jì)的另一人Mb的視線方向是朝向顯示在透明顯示器301上的疊加信息(字母、圖像等)的視線時(shí)，顏色信息獲取單元322從利用前攝像頭303獲得的拍攝圖像中，獲得沿視線方向的區(qū)域的顏色信息。所述顏色信息被提供給疊加信息處理單元324。
[0091]在隱私保護(hù)模式下，當(dāng)另一人Mb的視線對(duì)著顯示在透明顯示器301上的疊加信息時(shí)，疊加信息處理單元324進(jìn)行顏色變更處理，以致利用疊加信息生成單元323的顯示顏色生成的疊加信息變成與利用顏色信息獲取單元322獲得的顏色信息對(duì)應(yīng)的顏色。另一方面，當(dāng)未處于隱私保護(hù)模式時(shí)，疊加信息處理單元324原樣輸出利用疊加信息生成單元323生成的疊加信息。
[0092]在隱私保護(hù)模式下，當(dāng)另一人Mb的視線對(duì)著顯示在透明顯示器301上的疊加信息時(shí)，顯示控制單元325把已在疊加信息處理單元524中經(jīng)歷顏色變更處理的疊加信息顯示在透明顯示器301上。因此，另一人Mb難以得知顯示在透明顯示器301上的疊加信息。另夕卜，當(dāng)未處于隱私保護(hù)模式時(shí)，或者當(dāng)另一人Mb的視線未對(duì)著顯示在透明顯示器301上的疊加信息時(shí)，利用疊加信息生成單元323生成的疊加信息被原樣顯示在透明顯示器301上。
[0093]圖12的流程圖表示在圖9和圖11中所示的顯示設(shè)備300在隱私保護(hù)模式下的處理過程的例子。顯示設(shè)備300在步驟ST21，開始所述處理，隨后進(jìn)入步驟ST22的處理。在步驟ST22，顯示設(shè)備200開始利用后攝像頭302和前攝像頭303成像。此外，在步驟ST23，從利用后攝像頭302拍攝的圖像中，估計(jì)另一人Mb的視線方向。
[0094]在步驟ST24，顯示設(shè)備300判定所述視線方向是否對(duì)著顯示在透明顯示器301上的疊加信息。當(dāng)所述視線方向?qū)χB加信息時(shí)，在步驟ST25，顯示設(shè)備300從利用前攝像頭303獲得的拍攝圖像中，獲得沿所述視線方向的區(qū)域的顏色信息。另外，在步驟ST26，顯示設(shè)備300對(duì)疊加信息進(jìn)行顏色變更處理，以致疊加信息的顯示顏色變成與所述顏色信息對(duì)應(yīng)的顏色，以便被顯示。另一方面，當(dāng)視線方向未對(duì)著疊加信息時(shí)，在步驟ST27，顯示設(shè)備300原樣顯示利用疊加信息生成單元323生成的疊加信息，而不進(jìn)行顏色變更處理。
[0095]之后在步驟ST28，顯示設(shè)備300判定隱私保護(hù)模式是否結(jié)束。例如根據(jù)用戶的明確指令操作，判定隱私保護(hù)模式是否結(jié)束，不過圖11中未表示用戶操作單元。如果判定所述模式未結(jié)束，那么顯示設(shè)備300返回步驟ST23的處理，重復(fù)進(jìn)行上述處理。另一方面，如果判定所述模式結(jié)束，那么顯示設(shè)備300在步驟ST29，終止該處理。
[0096]如上所述，在圖9中所示的顯示設(shè)備300中，在隱私保護(hù)模式下，當(dāng)另一人Mb的視線對(duì)著顯示在透明顯示器301上的疊加信息時(shí)，在透明顯示器301上顯示經(jīng)過顏色變更處理的疊加信息。因此，另一人Mb難以得知顯示在透明顯示器301上的疊加信息，從而改善隱私保護(hù)。
[0097]〈4.第四實(shí)施例〉
[0098]“顯示設(shè)備的結(jié)構(gòu)例子”
[0099]圖13示意表示按照第四實(shí)施例的顯示設(shè)備400的外觀。顯示設(shè)備400構(gòu)成移動(dòng)設(shè)備。顯示設(shè)備400包括透明顯示器401。透明顯示器401由前側(cè)透明顯示器401R和后側(cè)透明顯示器401F構(gòu)成。在透明顯示器401的上端，彼此相鄰地布置后攝像頭(后圖像傳感器)402和人物檢測(cè)傳感器403。后攝像頭402拍攝在透明顯示器401的前側(cè)的圖像。人物檢測(cè)傳感器403檢測(cè)存在于透明顯示器401的前側(cè)的預(yù)定范圍中的人物。
[0100]圖14(a)表示位于透明顯示器401的后側(cè)的用戶Ma能夠通過透明顯示器401，觀察在前側(cè)的圖像la。另外，圖14(b)表示位于透明顯示器401的前側(cè)的另一人Mb能夠通過透明顯示器401，觀察位于后側(cè)的用戶Ma等。
[0101]在顯示設(shè)備400中，當(dāng)檢測(cè)到另一人Mb的存在，并且存在對(duì)著透明顯示器401的視線時(shí)，如圖14(c)中所示，利用后攝像頭402獲得的拍攝圖像可被顯示在后側(cè)透明顯示器401F上，并且前側(cè)透明顯示器401R可被設(shè)定成不透明狀態(tài)，如圖14(d)中所示。
[0102]圖15表示按照第四實(shí)施例的顯示設(shè)備400的電路結(jié)構(gòu)例子。顯示設(shè)備400包括前側(cè)透明顯示器401R、后側(cè)透明顯示器401F、后攝像頭402和人物檢測(cè)傳感器403。另外，顯示設(shè)備400包括視線估計(jì)單元421、人物檢測(cè)單元422、疊加信息生成單元423和顯示控制單元424。
[0103]視線估計(jì)單元421根據(jù)利用后攝像頭402獲得的拍攝圖像，估計(jì)另一人Mb的視線方向。視線估計(jì)單元421具有和上述顯示設(shè)備300的視線估計(jì)單元321相同的結(jié)構(gòu)。人物檢測(cè)單元422根據(jù)人物檢測(cè)傳感器403的輸出，檢測(cè)存在于透明顯示器401的前側(cè)的預(yù)定范圍中的另一人Mb。
[0104]疊加信息生成單元423生成顯示在透明顯示器401上的諸如字母或圖像之類的疊加信息。當(dāng)疊加信息生成單元423生成疊加信息時(shí)，顯示控制單元424把疊加信息顯示在透明顯示器401,例如,后側(cè)透明顯示器401F上。
[0105]另外，在隱私保護(hù)模式下，顯示控制單元424根據(jù)來(lái)自視線估計(jì)單元421的視線估計(jì)結(jié)果，和來(lái)自人物檢測(cè)單元422的人物檢測(cè)結(jié)果，判定是否滿足存在另一人Mb，并且其視線對(duì)著透明顯示器401的條件。如果判定該條件被滿足，那么顯示控制單元424把利用后攝像頭402獲得的拍攝圖像顯示在后側(cè)透明顯示器401F上，并把前側(cè)透明顯示器401R設(shè)定成不透明狀態(tài)。
[0106]下面簡(jiǎn)要說明圖15中所示的顯示設(shè)備400的操作。人物檢測(cè)傳感器403的輸出被提供給人物檢測(cè)單元422。另外，人物檢測(cè)單元422根據(jù)人物檢測(cè)傳感器403的輸出，檢測(cè)存在于透明顯示器401的前側(cè)的預(yù)定范圍中的人物。檢測(cè)結(jié)果被提供給顯示控制單元424。
[0107]此外，利用拍攝在透明顯示器401的前側(cè)的圖像的后攝像頭402獲得的拍攝圖像被提供給視線估計(jì)單元421。視線估計(jì)單元421處理拍攝圖像，如果在拍攝圖像中存在另一人Mb，那么估計(jì)視線方向。視線方向的估計(jì)結(jié)果被提供給顯示控制單元424。
[0108]疊加信息生成單元423生成顯示在透明顯示器401上的疊加信息(字母、圖像等)。疊加信息被提供給顯示控制單元424。顯示控制單元424把疊加信息顯示在后側(cè)透明顯示器40IF上。
[0109]另外，在隱私保護(hù)模式下，顯示控制單元424根據(jù)來(lái)自視線估計(jì)單元421的視線估計(jì)結(jié)果，和來(lái)自人物檢測(cè)單元422的人物檢測(cè)結(jié)果，判定是否滿足存在另一人Mb，并且其視線對(duì)著透明顯示器401的條件。如果判定該條件被滿足，那么利用后攝像頭402獲得的拍攝圖像被顯示在后側(cè)透明顯示器401F上，前側(cè)透明顯示器401R被設(shè)定成不透明狀態(tài)。因此，另一人Mb難以通過透明顯示器401，觀察位于后側(cè)的用戶Ma等。
[0110]圖16的流程圖表示圖13和圖15中所示的顯示設(shè)備400在隱私保護(hù)模式下的處理過程的例子。顯示設(shè)備400在步驟ST31中開始處理，隨后進(jìn)入步驟ST32中的處理。在步驟ST32，顯示設(shè)備400開始利用后攝像頭402成像，并啟動(dòng)人物檢測(cè)傳感器403。
[0111]之后在步驟ST33，顯示設(shè)備400判定在透明顯示器401的前側(cè)的預(yù)定范圍中，是否存在另一人Mb。當(dāng)存在另一人Mb時(shí)，顯示設(shè)備400進(jìn)入步驟ST34中的處理。在步驟ST34，顯示設(shè)備400判定另一人Mb的視線是否對(duì)著透明顯示器401。
[0112]當(dāng)另一人Mb的視線對(duì)著透明顯示器401時(shí)，在步驟ST35，顯示設(shè)備400把前側(cè)透明顯示器(外部顯示器)401R設(shè)定成不透明狀態(tài)。另外在此時(shí)，顯示設(shè)備400把利用后攝像頭402獲得的拍攝圖像顯示在后側(cè)透明顯示器(內(nèi)部顯示器)401F上。另一方面，當(dāng)在步驟ST33，不存在另一人Mb時(shí)，或者在步驟ST34，另一人Mb的視線未對(duì)著透明顯示器401時(shí)，在步驟ST36，顯示設(shè)備400使前側(cè)透明顯示器401R和后側(cè)透明顯示器401F都維持透明狀態(tài)。
[0113]之后，在步驟ST37，顯示設(shè)備400判定隱私保護(hù)模式是否結(jié)束。例如根據(jù)用戶的明確指令操作，判定隱私保護(hù)模式是否結(jié)束，不過圖15中未表示用戶操作單元。如果判定所述模式未結(jié)束，那么顯示設(shè)備400返回步驟ST33的處理，重復(fù)進(jìn)行上述處理。另一方面，如果判定所述模式結(jié)束，那么顯示設(shè)備400在步驟ST38，終止該處理。
[0114]如上所述，在圖13中所示的顯示設(shè)備400中，在隱私保護(hù)模式下，當(dāng)存在另一人Mb,并且他/她的視線對(duì)著透明顯示器401時(shí)，利用后攝像頭402獲得的拍攝圖像被顯示在后側(cè)透明顯示器401F上，并且前側(cè)透明顯示器401R被設(shè)定成不透明狀態(tài)。因此，另一人Mb難以通過透明顯示器401，觀察位于透明顯示器401的后側(cè)的用戶Ma等，從而改善隱私保護(hù)。這種情況下，能夠減輕用戶Ma被另一人Mb觀察的感覺。
[0115]在上面的說明中，在隱私保護(hù)模式下，當(dāng)存在另一人Mb，并且他/她的視線對(duì)著透明顯示器401時(shí)，利用后攝像頭402獲得的拍攝圖像被顯示在后側(cè)透明顯示器401F上，并且前側(cè)透明顯示器401R被設(shè)定成不透明狀態(tài)。不過，當(dāng)存在另一人Mb時(shí)，利用后攝像頭402獲得的拍攝圖像可被顯示在后側(cè)透明顯示器401F上，并且前側(cè)透明顯示器401R可被設(shè)定成不透明狀態(tài)。這種情況下，不施加另一人Mb的視線對(duì)著透明顯示器401的條件。這種情況下，圖15的顯示設(shè)備400的視線估計(jì)單元421不是必需的。
[0116]此外，在上面的說明中，人物檢測(cè)單元422根據(jù)人物檢測(cè)傳感器403的輸出，檢測(cè)存在于在透明顯示器401的前側(cè)的預(yù)定范圍中的另一人Mb。不過，人物檢測(cè)單元403可通過處理利用后攝像頭402獲得的拍攝圖像，識(shí)別(檢測(cè))存在于在透明顯示器401的前側(cè)的預(yù)定范圍中的另一人Mb。這種情況下，人物檢測(cè)傳感器403不是必需的。
[0117]此外，在上面的說明中，當(dāng)存在另一人Mb，并且他/她的視線對(duì)著透明顯示器401時(shí)，利用后攝像頭402獲得的拍攝圖像被顯示在后側(cè)透明顯示器401F上，并且前側(cè)透明顯示器401R被設(shè)定成不透明狀態(tài)。不過，透明顯示器401可被分成多個(gè)塊，利用后攝像頭402獲得的拍攝圖像可被只顯示在后側(cè)透明顯示器401F上的所述視線對(duì)著的分割區(qū)域中，前側(cè)透明顯示器401R可被設(shè)定成不透明狀態(tài)。另外，可以進(jìn)行控制，以致視線對(duì)著的分割區(qū)域的透明度最小，并且離該分割區(qū)域越遠(yuǎn)，透明度越高。
[0118]〈5.第五實(shí)施例〉
[0119]“顯示設(shè)備的結(jié)構(gòu)例子”
[0120]圖17示意表示按照第五實(shí)施例的顯示設(shè)備500的外觀。顯示設(shè)備500構(gòu)成移動(dòng)設(shè)備。顯示設(shè)備500包括透明顯示器501。在透明顯示器501的上端，彼此相鄰地布置后攝像頭(后圖像傳感器)502和前攝像頭(前圖像傳感器)503。后攝像頭502拍攝在透明顯示器501的前側(cè)的圖像。前攝像頭503拍攝在透明顯示器501的后側(cè)的圖像。
[0121]圖18(a)表示位于透明顯示器501的后側(cè)的用戶Ma通過透明顯示器501，觀察圖像Ia的狀態(tài)的例子。該例子表示透明顯示器501的顯示面和圖像Ia之間的距離rb遠(yuǎn)遠(yuǎn)大于用戶Ma的眼睛和透明顯示器501的顯示面之間的距離ra (ra〈〈rb)，從而發(fā)生透明顯示器501的顯示面和圖像Ia的焦點(diǎn)失配的狀態(tài)。圖18(b)表示當(dāng)在這種情況下，用戶Ma注視透明顯示器501的顯示面，并且圖像Ia處于模糊狀態(tài)時(shí)觀察到的視野的例子。另外，盡管未圖示，不過相反地，在當(dāng)用戶Ma注視圖像Ia時(shí)觀察到的視野中，透明顯示器501的顯示面的信息處于模糊狀態(tài)。
[0122]圖18(c)表示位于透明顯示器501的后側(cè)的用戶Ma通過透明顯示器501，觀察圖像Ia的狀態(tài)的例子。該例子表示透明顯示器501的顯示面和圖像Ia之間的距離rb遠(yuǎn)遠(yuǎn)小于用戶Ma的眼睛和透明顯示器501的顯示面之間的距離ra (ra>>rb)，從而不發(fā)生透明顯示器501的顯示面和圖像Ia的焦點(diǎn)失配的狀態(tài)。圖18(d)表示當(dāng)在這種情況下，用戶Ma注視透明顯示器501的顯示面或者圖像Ia，并且透明顯示器501的顯示面和圖像Ia兩者的信息都處于清晰狀態(tài)時(shí)觀察到的視野的例子。
[0123]在顯示設(shè)備500中，在檢測(cè)到透明顯示器501的顯示面和圖像Ia的焦點(diǎn)失配的情況下，如圖19(a)中所示，當(dāng)用戶注視透明顯示器501的顯示面時(shí)，利用后攝像頭502獲得的拍攝圖像可被顯示在透明顯示器501上，疊加信息(字母、圖像等)可疊加地顯示在拍攝圖像上。這種情況下，如圖19(b)中所示，在用戶Ma觀察的視野中，疊加信息和圖像Ia都處于清楚狀態(tài)。
[0124]在顯示設(shè)備500中，在檢測(cè)到透明顯示器501的顯示面和圖像Ia的焦點(diǎn)失配的情況下，如圖19(c)中所示，當(dāng)用戶注視透明顯示器501的顯示面時(shí)，疊加信息可能不被顯示在透明顯示器501上，或者透明顯示器501上的疊加信息的顯示可能不太顯眼。這種情況下，如圖19(d)中所示，在用戶Ma觀察到的視野中，圖像Ia處于被清晰顯示，而不被顯示在透明顯示器501上的疊加信息妨礙的狀態(tài)。
[0125]圖20表示按照第五實(shí)施例的顯示設(shè)備500的電路結(jié)構(gòu)例子。顯示設(shè)備500包括透明顯示器501、后攝像頭502和前攝像頭503。另外，顯示設(shè)備500包括視線估計(jì)單元521、距離估計(jì)單元522、距離估計(jì)單元523、疊加信息生成單元524和顯示控制單元525。
[0126]視線估計(jì)單元521根據(jù)利用前攝像頭503獲得的拍攝圖像，估計(jì)用戶Ma的左眼和右眼的視線方向。視線估計(jì)單元521具有和上述顯示設(shè)備300的視線估計(jì)單元321相同的結(jié)構(gòu)。距離估計(jì)單元522根據(jù)利用前攝像頭503獲得的拍攝圖像，估計(jì)用戶Ma的眼睛和透明顯示器501的顯示面之間的距離ra。距離估計(jì)單元523根據(jù)利用后攝像頭502獲得的拍攝圖像，估計(jì)透明顯示器501的顯示面和用戶Ma通過透明顯示器501觀察的圖像Ia之間的距離rb。
[0127]疊加信息生成單元524生成顯示在透明顯示器501上的疊加信息(字母、圖像等)。在焦點(diǎn)失配改善模式下，顯示控制單元525根據(jù)來(lái)自距離估計(jì)單元522和523的距離估計(jì)結(jié)果，判定是否發(fā)生透明顯示器501的顯示面和圖像Ia的焦點(diǎn)失配。例如，如果ra〈〈rb,那么顯示控制單元525判定存在焦點(diǎn)失配。
[0128]另外，顯示控制單元525根據(jù)利用視線估計(jì)單元521估計(jì)的用戶Ma的左眼和右眼的視線方向，判定用戶Ma是在注視透明顯示器501的顯示面，還是在注視圖像Ia。如果左眼和右眼的視線對(duì)著透明顯示器501的顯示面的幾乎相同的位置(疊加信息的顯示位置)，那么顯示控制單元525判定用戶Ma注視透明顯示器501的顯示面。另一方面，如果左眼和右眼的視線對(duì)著圖像Ia的幾乎相同的位置，那么顯示控制單元525判定用戶用戶Ma注視圖像Ia。
[0129]另外，當(dāng)判定存在焦點(diǎn)失配，并且判定用戶Ma注視透明顯示器501的顯示面時(shí)，顯示控制單元525把利用后攝像頭502獲得的拍攝圖像顯示在透明顯示器501上，并把疊加信息(字母、圖像等)疊加地顯示在拍攝圖像上。此外，如果判定存在焦點(diǎn)失配，并且判定用戶Ma注視圖像Ia，那么顯示控制單元525不把疊加信息顯示在透明顯示器501上，通過降低疊加信息的對(duì)比度，不太明顯地顯示疊加信息，等等。另外，如果判定不存在焦點(diǎn)失配，那么顯示控制單元525只把疊加信息顯示在透明顯示器501上。
[0130]下面簡(jiǎn)要說明圖20中所示的顯示設(shè)備500的操作。利用前攝像頭503獲得的拍攝圖像被提供給視線估計(jì)單元521。視線估計(jì)單元521根據(jù)拍攝圖像，估計(jì)用戶Ma的左眼和右眼的視線方向。視線估計(jì)結(jié)果被提供給顯示控制單元525。
[0131]另外，利用前攝像頭503獲得的拍攝圖像被提供給距離估計(jì)單元522。距離估計(jì)單元522根據(jù)該拍攝圖像，估計(jì)用戶Ma的眼睛和透明顯示器501的顯示面之間的距離ra。此外，利用后攝像頭502獲得的拍攝圖像被提供給距離估計(jì)單元523。距離估計(jì)單元523根據(jù)該拍攝圖像，估計(jì)透明顯示器501的顯示面和用戶Ma通過透明顯示器501觀察的圖像Ia之間的距離rb。
[0132]疊加信息生成單元524生成顯示在透明顯示器501上的疊加信息(字母、圖像等)。當(dāng)未在焦點(diǎn)失配改善模式下時(shí)，顯示控制單元525只把疊加信息顯示在透明顯示器501上。另外，在焦點(diǎn)失配改善模式下，顯示控制單元525進(jìn)行以下控制。
[0133]即，根據(jù)來(lái)自距離估計(jì)單元522和523的距離估計(jì)結(jié)果，判定是否發(fā)生透明顯示器501的顯示面和圖像Ia的焦點(diǎn)失配。另外，根據(jù)利用視線估計(jì)單元521估計(jì)的用戶Ma的左眼和右眼的視線方向，判定用戶Ma是注視透明顯示器501的顯示面，還是注視圖像Ia
[0134]另外，當(dāng)判定存在焦點(diǎn)失配，并且判定用戶Ma注視透明顯示器501的顯示面時(shí)，顯示控制單元525把利用后攝像頭502獲得的拍攝圖像顯示在透明顯示器501上，并把疊加信息(字母、圖像等)疊加地顯示在拍攝圖像上(參見圖19(a)和(b))。
[0135]此外，如果判定存在焦點(diǎn)失配，并且判定用戶Ma注視圖像Ia，那么顯示控制單元525不把疊加信息顯示在透明顯示器501上，通過降低疊加信息的對(duì)比度，不太明顯地顯示疊加信息，等等(參見圖19(c)和(d))。另外，如果判定不存在焦點(diǎn)失配，那么按照和上面說明的未處于焦點(diǎn)失配改善模式時(shí)相同的方式，顯示控制單元525只把疊加信息顯示在透明顯不器501上。
[0136]圖21的流程圖表示圖13和圖15中所示的顯示設(shè)備500在焦點(diǎn)失配改善模式下的處理過程的例子。顯示設(shè)備500在步驟ST41，開始該處理，隨后進(jìn)入步驟ST42的處理。在步驟ST42，顯示設(shè)備500開始利用后攝像頭502和前攝像頭503成像。
[0137]之后，在步驟ST43，顯示設(shè)備500根據(jù)利用前攝像頭503拍攝的圖像，估計(jì)用戶Ma的眼睛和透明顯示器501的顯示面之間的距離ra。之后，在步驟ST44，顯示設(shè)備500估計(jì)透明顯示器501的顯示面和用戶Ma通過透明顯示器501的顯示面觀察的圖像Ia之間的距離rb。另外,在步驟ST45,顯示設(shè)備500比較距離ra和距離rb。
[0138]之后，在步驟ST46，顯示設(shè)備500根據(jù)比較結(jié)果，判定是否發(fā)生了透明顯示器501的顯示面和圖像Ia的焦點(diǎn)失配。如果判定發(fā)生了焦點(diǎn)失配，那么在步驟ST47，顯示設(shè)備500根據(jù)利用前攝像頭503拍攝的圖像，估計(jì)用戶Ma的左眼和右眼的視線方向。
[0139]之后在步驟ST48，顯示設(shè)備500根據(jù)視線方向的估計(jì)結(jié)果，判定用戶Ma是否注視透明顯示器501的顯示面。如果判定透明顯示器501的顯示面被注視，那么在步驟S49，顯示設(shè)備500把利用后攝像頭502拍攝的圖像，和利用疊加信息生成單元524生成的疊加信息顯示在透明顯示器501上(參見圖19(a)和(b))。
[0140]另外，如果在步驟ST48，判定透明顯示器501的顯示面未被注視，那么在步驟S50，顯示設(shè)備500在透明顯示器501上什么也不顯示，或者通過降低疊加信息生成單元524生成的疊加信息的對(duì)比度等，不太明顯地把所述疊加信息顯示在透明顯示器501上(參見圖19(c)和(d))。此外，如果在步驟ST46，判定未發(fā)生焦點(diǎn)失配，那么在步驟ST51，在正常狀態(tài)下，顯示設(shè)備500只把疊加信息生成單元524生成的疊加信息顯示在透明顯示器501上。
[0141]在進(jìn)行步驟ST49、ST50和ST51中的處理之后，在步驟ST52，顯示設(shè)備500判定焦點(diǎn)失配改善模式是否結(jié)束。例如根據(jù)用戶的明確指令操作，判定焦點(diǎn)失配改善模式是否結(jié)束，不過圖20中未表示用戶操作單元。如果判定所述模式未結(jié)束，那么顯示設(shè)備500返回步驟ST43的處理，重復(fù)進(jìn)行上述處理。另一方面，如果判定所述模式結(jié)束，那么顯示設(shè)備500在步驟ST53，終止該處理。
[0142]如上所述，在圖17中所示的成像設(shè)備500中，在焦點(diǎn)失配改善模式下，如果判定發(fā)生焦點(diǎn)失配，那么取決于用戶Ma是否注視透明顯示器501的顯示面，改變透明顯示器501的顯示狀態(tài)。即，當(dāng)用戶Ma注視透明顯示器501的顯示面時(shí)，利用后攝像頭502拍攝的圖像，和利用疊加信息生成單元524生成的疊加信息被顯示在透明顯示器501上。
[0143]另一方面，如果判定透明顯示器501的顯示面未被注視，即，通過透明顯示器501觀察在前側(cè)的圖像Ia，那么在透明顯示器501上什么也不顯示，或者不太明顯地顯示利用疊加信息生成單元524生成的疊加信息。因此，能夠改善由焦點(diǎn)失配引起的用戶Ma的不適。
[0144]另外，在上面說明的圖20中所不的顯不設(shè)備500中，從利用后攝像頭502拍攝的圖像中估計(jì)距離rb，從利用前攝像頭503拍攝的圖像中估計(jì)距離ra，然后在顯示控制單元525中，通過所述距離的比較，自動(dòng)判定是否發(fā)生焦點(diǎn)失配。不過，例如，可通過用戶的手動(dòng)操作，給出關(guān)于是否發(fā)生焦點(diǎn)失配的信息。這種情況下，在圖20中所示的顯示設(shè)備500中，距離估計(jì)單元522和523不是必需的。另外，顯示控制單元525不必根據(jù)距離信息，判定是否發(fā)生焦點(diǎn)失配。
[0145]<6.第六實(shí)施例>
[0146]“顯示設(shè)備的結(jié)構(gòu)例子”
[0147]圖22示意表示按照第六實(shí)施例的顯示設(shè)備600的外觀。顯示設(shè)備600構(gòu)成移動(dòng)設(shè)備。顯示設(shè)備600包括透明顯示器601。在透明顯示器601的上端，彼此相鄰地布置后攝像頭(后圖像傳感器)602和前攝像頭(前圖像傳感器)603。后攝像頭602拍攝在透明顯示器601的前側(cè)的圖像。前攝像頭603拍攝在透明顯示器601的后側(cè)的圖像。另外，在透明顯示器601的后側(cè)，附著由液晶透鏡或視差柵格構(gòu)成的光控制單元604。
[0148]圖23表示位于透明顯示器601的后側(cè)的用戶Ma通過透明顯示器601，觀察圖像Ia的狀態(tài)的例子。該例子表示透明顯示器601的顯示面和圖像Ia之間的距離rb遠(yuǎn)遠(yuǎn)大于用戶Ma的眼睛和透明顯示器601的顯示面之間的距離ra(ra〈〈rb)的狀態(tài)。這種情況下，由于透明顯示器601的顯示面和圖像Ia的視差較大，因此左圖像和右圖像彼此不統(tǒng)一，從而觀看困難。
[0149]這種情況下，在當(dāng)用戶Ma注視透明顯示器601的顯示面時(shí)觀察的視野中，圖像Ia處于未被統(tǒng)一的狀態(tài)。另外，這種情況下，在用戶Ma注視圖像Ia時(shí)觀察的視野中，透明顯不器601的顯不面處于未被統(tǒng)一的狀態(tài)。
[0150]在顯示設(shè)備600中，如圖24(a)中所示，顯示在透明顯示器601的顯示面上的疊加信息，比如字母或圖像(所示例子中的字母)可被用戶Ma在幾乎和圖像Ia相同的位置感知，如圖24(b)中所示。因此，生成左眼疊加信息和右眼疊加信息，作為疊加信息，并且這兩個(gè)疊加信息被賦予適當(dāng)?shù)囊暡?，并被顯示在透明顯示器601上。
[0151]圖25表示按照第六實(shí)施例的顯示設(shè)備600的電路結(jié)構(gòu)例子。顯示設(shè)備600包括透明顯示器601、后攝像頭602、前攝像頭603和光控制單元604。另外，顯示設(shè)備600包括深度圖獲取單元621、疊加位置判定單元622、用戶視點(diǎn)位置判定單元624、用戶視點(diǎn)圖像生成單元624、疊加信息生成單元625和顯示控制單元626。
[0152]深度圖獲取單元621通過根據(jù)利用后攝像頭602獲得的拍攝圖像，檢測(cè)各個(gè)像素的深度，獲得深度圖。作為檢測(cè)深度的方法，存在根據(jù)立體輸入的計(jì)算方法，利用2D/3D變換的預(yù)測(cè)，單透鏡攝像頭和距離傳感器的組合，等等。疊加位置判定單元622參考深度圖，判定顯示在透明顯示器601的顯示面上的疊加信息對(duì)左眼和右眼來(lái)說的顯示位置。在這種情況下，疊加位置判定單元622判定對(duì)左眼和右眼來(lái)說的顯示位置，以致用戶能夠在幾乎與通過透明顯示器601觀察的在前側(cè)的圖像Ia的位置相同的位置，感知疊加信息。
[0153]用戶視點(diǎn)位置檢測(cè)單元623根據(jù)利用前攝像頭603獲得的拍攝圖像，檢測(cè)用戶的左眼和右眼的視點(diǎn)位置(眼睛的位置)。視點(diǎn)位置的檢測(cè)可以采用在T.1shikawa，S.Baker, 1.Matthews 和 T.Kanade 的“Passive Driver Gaze Tracking with ActiveAppearance Models” (Proceedings of the IIth World Congress on IntelligentTransportat1n Systems, October, 2004)中公開的技術(shù)等。
[0154]用戶視點(diǎn)圖像生成單元624參照檢測(cè)的用戶的左眼和右眼的視點(diǎn)位置，和獲得的深度圖，從利用后攝像頭602獲得的拍攝圖像，生成左眼和右眼的各個(gè)視點(diǎn)圖像。例如，在未經(jīng)審查的日本專利申請(qǐng)公開N0.2011-176822中，記載了獲得圖像的深度，并根據(jù)圖像的深度，生成任意視點(diǎn)圖像的技術(shù)。疊加信息生成單元625生成顯示在透明顯示器501上的疊加信息，比如字母或圖像。
[0155]當(dāng)未處于顯示位置調(diào)整模式時(shí)，顯示控制單元626把利用疊加信息生成單元625生成的疊加信息原樣顯示在透明顯示器601上。這種情況下，為左眼和右眼共用的單項(xiàng)疊加信息被顯示在透明顯示器601上，用戶在透明顯示器601的顯示面中感知疊加信息。另一方面，在顯示位置調(diào)整模式下，顯示控制單元626在顯示在利用疊加位置判定單元622判定的對(duì)左眼和右眼來(lái)說的顯示位置的疊加信息區(qū)域中，進(jìn)行以下顯示。
[0156]這種情況下，顯示控制單元626把疊加信息顯示在左眼的疊加信息區(qū)域中，并控制光控制單元604，以致用顯示信息照射左眼。另外，顯示控制單元626從右眼的視點(diǎn)圖像中切割區(qū)域部分，以致所述區(qū)域部分被顯示在左眼的疊加信息區(qū)域中，并控制光控制單元604，以致用顯示信息照射右眼。
[0157]此外，顯示控制單元626把疊加信息顯示在右眼的疊加信息區(qū)域中，并控制光控制單元604，以致用顯示信息照射左眼。另外，顯示控制單元626從左眼的視點(diǎn)圖像中切割區(qū)域部分，以致所述區(qū)域部分被顯示在右眼的疊加信息區(qū)域中，并控制光控制單元604，以致用顯示信息照射左眼。光控制單元604由如在未經(jīng)審查的日本專利申請(qǐng)公開N0.2004-258631中記載的液晶透鏡陣列構(gòu)成。圖26是圖解說明左眼和右眼的上述疊加信息區(qū)域，即，光控制顯示部分，與顯示在其中的疊加信息或者各個(gè)視點(diǎn)圖像相對(duì)于左眼和右眼的照射之間的關(guān)系的示圖。
[0158]下面簡(jiǎn)要說明圖25中所示的顯示設(shè)備600的操作。利用拍攝在透明顯示器601的前側(cè)的圖像的后攝像頭602獲得的拍攝圖像被提供給深度圖獲取單元621。深度圖獲取單元621根據(jù)利用后攝像頭602獲得的拍攝圖像，檢測(cè)各個(gè)像素的深度，以便獲得深度圖。深度圖被提供給疊加位置判定單元622。疊加位置判定單元622判定對(duì)左眼和右眼來(lái)說的顯示位置，以致用戶能夠在與通過透明顯示器601觀察的在前側(cè)的圖像Ia的位置幾乎相同的位置，感知疊加信息。顯示位置信息被提供給顯示控制單元626。
[0159]另外，利用拍攝在透明顯示器601的后側(cè)的圖像的前攝像頭603獲得的拍攝圖像被提供給用戶視點(diǎn)位置檢測(cè)單元623。用戶視點(diǎn)位置檢測(cè)單元623根據(jù)利用前攝像頭603獲得的拍攝圖像，檢測(cè)用戶的左眼和右眼的視點(diǎn)位置(眼睛的位置)。視點(diǎn)位置信息被提供給顯示控制單元626。
[0160]當(dāng)未處于顯示位置調(diào)整模式時(shí)，顯示控制單元626把利用疊加信息生成單元625生成的疊加信息原樣顯示在透明顯示器601上。這種情況下，用戶在透明顯示器601的顯示面中感知疊加信息。另外，在顯示位置調(diào)整模式下，顯示控制單元626在顯示在透明顯示器601的顯示面的，利用疊加位置判定單元622判定的對(duì)左眼和右眼來(lái)說的顯示位置處的疊加信息區(qū)域中，進(jìn)行以下顯示。
[0161]這種情況下，顯示控制單元626把疊加信息顯示在左眼的疊加信息區(qū)域中，并控制光控制單元604，以致用顯示信息照射左眼。另外，顯示控制單元626從右眼的視點(diǎn)圖像中切割區(qū)域部分，以致所述區(qū)域部分被顯示在左眼的疊加信息區(qū)域中，并控制光控制單元604，以致用顯示信息照射右眼。
[0162]此外，顯示控制單元626把疊加信息顯示在右眼的疊加信息區(qū)域中，并控制光控制單元604，以致用顯示信息照射右眼。另外，顯示控制單元626從左眼的視點(diǎn)圖像中切割區(qū)域部分，以致所述區(qū)域部分被顯示在右眼的疊加信息區(qū)域中，并控制光控制單元604，以致用顯示信息照射左眼。這種情況下，用戶在與通過透明顯示器601觀察的在前側(cè)的圖像Ia的位置幾乎相同的位置，感知疊加信息。
[0163]圖27的流程圖表示圖22和圖25中所示的顯示設(shè)備600在顯示位置調(diào)整模式下的處理過程的例子。顯示設(shè)備600在步驟ST61，開始所述處理，隨后進(jìn)入步驟ST62的處理。在步驟ST62，顯示設(shè)備600開始利用后攝像頭602和前攝像頭603成像。此外，在步驟ST63，從利用后攝像頭602拍攝的圖像中，檢測(cè)用戶通過透明顯示器601觀察的目標(biāo)主題(圖像Ia)的各個(gè)像素的深度，以便生成深度圖。
[0164]之后，在步驟ST64，顯示設(shè)備600從利用前攝像頭603拍攝的圖像中，檢測(cè)用戶的左眼和右眼的視點(diǎn)位置。另外，在步驟ST65，顯示設(shè)備600檢測(cè)透明顯示器601的顯示面中的疊加信息對(duì)左眼和右眼來(lái)說的疊加位置。此外，在步驟ST66，顯示設(shè)備600通過參照用戶的左眼和右眼的視點(diǎn)位置，以及深度圖，根據(jù)利用后攝像頭602拍攝的圖像，生成用戶的左眼和右眼的視點(diǎn)圖像。
[0165]之后，在步驟ST67，顯示設(shè)備600把疊加信息和視點(diǎn)圖像只顯示在示于左眼和右眼的疊加位置處的圖像疊加區(qū)域中，并進(jìn)行光控制。從而，用戶能夠在與通過透明顯示器601觀察的在前側(cè)的圖像Ia的位置幾乎相同的位置，感知疊加信息。
[0166]之后，顯示設(shè)備600在步驟ST68，判定顯示位置調(diào)整模式是否結(jié)束。例如根據(jù)用戶的明確指令操作，判定顯示位置調(diào)整模式是否結(jié)束，不過圖25中未表示用戶操作單元。如果判定所述模式未結(jié)束，那么顯示設(shè)備600返回步驟ST63的處理，重復(fù)進(jìn)行上述處理。另一方面，如果判定所述模式結(jié)束，那么顯示設(shè)備600在步驟ST69，終止該處理。
[0167]如上所述，在圖22中所示的顯示設(shè)備600中，在顯示位置調(diào)整模式下，施加以視差的左眼和右眼的疊加信息被顯示在透明顯示器601上，并進(jìn)行光控制，從而用戶能夠在與通過透明顯示器601觀察的在前側(cè)的圖像Ia的位置幾乎相同的位置，感知疊加信息。因此，能夠?qū)崿F(xiàn)圖像Ia和疊加信息的無(wú)縫結(jié)合，從而減輕由焦點(diǎn)失配的產(chǎn)生引起的用戶的不適。
[0168]〈7.變形例〉
[0169]另外，在上面的說明中，表示了把本技術(shù)應(yīng)用于移動(dòng)設(shè)備的情況。不過，本技術(shù)可適用于其它設(shè)備、建筑結(jié)構(gòu)等。
[0170]例如，櫥窗可具有和按照第四實(shí)施例的上述顯示設(shè)備400相同的結(jié)構(gòu)。這種情況下，通常通過透明顯示器，觀察櫥窗內(nèi)部。在工作人員進(jìn)入櫥窗中，更換顯示物品等的情況下，內(nèi)部透明顯示器變得不透明，在外部透明顯示器上顯示攝像頭圖像、電視圖像或再現(xiàn)圖像。
[0171]另外，例如，房屋的墻壁的一部分可具有和按照第四實(shí)施例的上述顯示設(shè)備400相同的結(jié)構(gòu)。這種情況下，由于是透明的，因此通常改善環(huán)境特性，并且當(dāng)檢測(cè)到人時(shí)，外部透明顯示器變得不透明，在內(nèi)部透明顯示器上顯示攝像頭圖像、電視圖像或再現(xiàn)圖像。
[0172]另外，在第一實(shí)施例(參見圖1)，第二實(shí)施例(參見圖5)，第三實(shí)施例(參見圖9)，第五實(shí)施例(參見圖17)和第六實(shí)施例(參見圖22)中，表示了其中設(shè)置兩個(gè)攝像頭，后攝像頭(圖像傳感器)502和前攝像頭503的結(jié)構(gòu)。不過，代替配置兩個(gè)攝像頭，例如如在日本專利N0.4000449中公開的那樣，可以配置單個(gè)攝像頭(圖像傳感器)，并利用所述單個(gè)攝像頭，拍攝在透明顯示器的前側(cè)和后側(cè)的圖像。
[0173]此外，本技術(shù)可具有以下結(jié)構(gòu)。
[0174]按照一個(gè)實(shí)施例，設(shè)備包括
[0175]顯示控制器，所述顯示控制器被配置成根據(jù)傳感器輸出，控制透明顯示器的顯示狀態(tài)，所述傳感器輸出包含關(guān)于與設(shè)備分離的對(duì)象的信息。
[0176]按照一個(gè)方面，
[0177]所述信息包括圖像信息。
[0178]按照另一個(gè)方面，
[0179]所述信息包括關(guān)于外來(lái)物體區(qū)域的信息。
[0180]按照另一個(gè)方面，
[0181]人手的一部分是遮擋顯示在透明顯示器上的圖像的外來(lái)物體區(qū)域的外來(lái)物體。
[0182]按照另一個(gè)方面，所述實(shí)施例還包括
[0183]插值圖像創(chuàng)建單元，所述插值圖像創(chuàng)建單元生成并替換被人手的所述至少一部分遮擋的景物的插值圖像部分。
[0184]按照另一個(gè)方面，所述設(shè)備還包括
[0185]區(qū)域估計(jì)單元，所述區(qū)域估計(jì)單元識(shí)別被對(duì)象遮擋的景物的區(qū)域；和
[0186]插值圖像創(chuàng)建單元，所述插值圖像創(chuàng)建單元生成并替換被對(duì)象遮擋的景物的區(qū)域的插值圖像部分。
[0187]按照另一個(gè)方面，
[0188]插值圖像創(chuàng)建單元通過觀察對(duì)象在一幀和前一幀之間的移動(dòng)，識(shí)別被對(duì)象遮擋的景物的區(qū)域。
[0189]按照另一個(gè)方面，
[0190]插值圖像創(chuàng)建單元通過觀察對(duì)象的周邊像素，識(shí)別被對(duì)象遮擋的景物的區(qū)域。
[0191]按照另一個(gè)方面，所述設(shè)備還包括
[0192]疊加信息生成單元，所述疊加信息生成單元生成供在透明顯示器上顯示的疊加信息；
[0193]疊加信息處理單元，所述疊加信息處理單元相對(duì)于沿著非設(shè)備使用者的視線方向的圖像中的區(qū)域的顏色，有選擇地設(shè)定疊加信息的顏色。
[0194]按照另一個(gè)方面，
[0195]當(dāng)設(shè)備處于隱私保護(hù)模式時(shí)，疊加信息處理單元把疊加信息的顏色設(shè)定成和沿著非使用者的視線的圖像中的區(qū)域相同的顏色。
[0196]按照另一個(gè)方面，
[0197]當(dāng)設(shè)備未處于隱私保護(hù)模式時(shí)，疊加信息處理單元把疊加信息的顏色設(shè)定成和沿著非使用者的視線的圖像中的區(qū)域不同的顏色。
[0198]按照另一個(gè)方面，所述設(shè)備還包括
[0199]透明顯示器，所述透明顯示器具有用戶可見的內(nèi)部顯示器，和面向與內(nèi)部顯示器相反的方向的外部顯示器，其中
[0200]顯示控制器被配置成響應(yīng)隱私保護(hù)模式的啟動(dòng)，把外部顯示器從透明狀態(tài)改變成不透明狀態(tài)。
[0201]按照另一個(gè)方面，
[0202]響應(yīng)檢測(cè)到視線朝向外部顯示器的人物，啟動(dòng)隱私保護(hù)模式。
[0203]按照另一個(gè)方面，所述設(shè)備還包括
[0204]檢測(cè)人物的人物檢測(cè)單元；和
[0205]估計(jì)所述人物的視線的視線估計(jì)單元。
[0206]按照另一個(gè)方面，所述設(shè)備還包括
[0207]疊加信息生成單元，所述疊加信息生成單元生成供在透明顯示器上顯示的疊加信息，其中
[0208]顯示控制器判定在透明顯示的表面和圖像之間，是否存在焦點(diǎn)失配，當(dāng)不存在失配時(shí)，顯示控制器使疊加信息被顯示在透明顯示器上。
[0209]按照另一個(gè)方面，
[0210]當(dāng)存在焦點(diǎn)失配，并且透明顯示器的表面未被注視時(shí)，顯示控制器使疊加信息被不引人注意地顯示在透明顯示器上，和
[0211]當(dāng)存在焦點(diǎn)失配，并且透明顯示器的表面被注視時(shí)，顯示控制器把圖像和疊加信息一起顯示在透明顯示器上。
[0212]按照另一個(gè)方面，所述設(shè)備還包括
[0213]疊加信息生成單元，所述疊加信息生成單元生成供在透明顯示器上顯示的疊加信息；和
[0214]疊加判定單元，所述疊加判定單元判定對(duì)于用戶的左眼和右眼的顯示位置；其中
[0215]顯示控制器把疊加信息顯示在與顯示在透明顯示器上的圖像大體相同的感知深度。
[0216]按照另一個(gè)方面，所述設(shè)備還包括
[0217]為透明顯示器的前側(cè)和透明顯示器的后側(cè)提供圖像的單一圖像傳感器。
[0218]按照方法實(shí)施例，控制透明顯示器的方法包括
[0219]接收傳感器輸出，所述傳感器輸出包含關(guān)于與透明顯示器分離的對(duì)象的信息；和
[0220]利用處理電路，根據(jù)傳感器輸出，控制透明顯示器的顯示狀態(tài)。
[0221]按照非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)實(shí)施例，所述介質(zhì)包括保存于其中的計(jì)算機(jī)可讀指令，當(dāng)被處理器執(zhí)行時(shí)，所述計(jì)算機(jī)可讀指令進(jìn)行控制透明顯示器的方法，所述方法包括
[0222]接收傳感器輸出，所述傳感器輸出包含關(guān)于與透明顯示器分離的對(duì)象的信息；和
[0223]利用處理電路，根據(jù)傳感器輸出，控制透明顯示器的顯示狀態(tài)。
[0224]按照一個(gè)實(shí)施例，顯示設(shè)備包括
[0225]透明顯示器；獲得關(guān)于透明顯示器的周邊的信息的傳感器單元；和根據(jù)傳感器單元的輸出，控制透明顯示器的顯示狀態(tài)的控制單元。
[0226]按照一個(gè)方面，
[0227]傳感器單元通過拍攝透明顯示器的周邊的圖像，獲得拍攝圖像，其中控制單元通過利用拍攝的透明顯示器的周邊圖像，進(jìn)行圖像處理，控制透明顯示器的顯示狀態(tài)。
[0228]按照另一個(gè)方面，
[0229]傳感器單元包括拍攝在透明顯示器的前側(cè)的圖像的后圖像傳感器，和拍攝在透明顯示器的后側(cè)的圖像的前圖像傳感器。
[0230]按照另一個(gè)方面，
[0231]傳感器單元包括能夠拍攝在透明顯示器的前側(cè)和后側(cè)的圖像的單個(gè)圖像傳感器。
[0232]按照另一個(gè)方面，
[0233]傳感器單元包括拍攝在透明顯示器的前側(cè)的圖像的后圖像傳感器，其中控制單元只把以與利用后圖像傳感器獲得的拍攝圖像的外來(lái)物體的區(qū)域?qū)?yīng)的那部分的圖像為基礎(chǔ)的圖像，顯示在包含在用戶通過透明顯示器觀察的圖像中的外來(lái)物體的區(qū)域中，并從用戶通過透明顯示器觀察的圖像中刪除外來(lái)物體。
[0234]按照另一個(gè)方面，
[0235]傳感器單元還包括布置在透明顯示器的前側(cè)的表面上的觸摸面板，其中控制單元從觸摸面板的輸出中，檢測(cè)用戶的手的區(qū)域，作為外來(lái)物體的區(qū)域，只把利用后圖像傳感器獲得的拍攝圖像的與用戶的手的區(qū)域?qū)?yīng)的那部分的圖像，顯示在用戶的手的區(qū)域中，并從用戶通過透明顯示器觀察的圖像中，刪除用戶的手。
[0236]按照另一個(gè)方面，實(shí)施例還包括
[0237]對(duì)象指定單元，所述對(duì)象指定單元從用戶通過透明顯示器觀察的圖像中，指定預(yù)定對(duì)象，其中控制單元把包括指定的預(yù)定對(duì)象的對(duì)象區(qū)域設(shè)定為外來(lái)物體的區(qū)域，只把以與利用后圖像傳感器獲得的拍攝圖像的對(duì)象區(qū)域?qū)?yīng)的那部分的圖像為基礎(chǔ)的圖像顯示在對(duì)象區(qū)域中，并從用戶通過透明顯示器觀察的圖像中刪除所述預(yù)定對(duì)象。
[0238]按照另一個(gè)方面，
[0239]當(dāng)指定的對(duì)象移動(dòng)時(shí)，控制單元只把與利用后圖像傳感器獲得的，其中不存在預(yù)定對(duì)象的過去一幀的拍攝圖像的對(duì)象區(qū)域?qū)?yīng)的那部分的圖像顯示在對(duì)象區(qū)域中，并從用戶通過透明顯示器觀察的圖像中刪除所述預(yù)定對(duì)象。
[0240]按照另一個(gè)方面，
[0241]對(duì)象指定單元包括布置在透明顯示器的后側(cè)的觸摸面板。
[0242]按照另一個(gè)方面，
[0243]傳感器單元包括拍攝在透明顯示器的前側(cè)的圖像的后圖像傳感器，和拍攝在透明顯示器的后側(cè)的圖像的前圖像傳感器，其中顯示設(shè)備還包括生成顯示在透明顯示器上的疊加信息的疊加信息生成單元，其中控制單元把生成的疊加信息顯示在透明顯示器上，并且其中當(dāng)利用由后圖像傳感器獲得的拍攝圖像，檢測(cè)到對(duì)著顯示在透明顯示器上的疊加信息的視線時(shí)，控制單元從利用前圖像傳感器獲得的拍攝圖像中，獲得與通過透明顯示器觀察的沿所述視線方向的區(qū)域有關(guān)的顏色信息，并把顯示在透明顯示器上的疊加信息的顯示顏色設(shè)定成與獲得的顏色信息對(duì)應(yīng)的顏色。
[0244]按照另一個(gè)方面，
[0245]透明顯示器包括在其前側(cè)的第一透明顯示器，和在其后側(cè)的第二透明顯示器，其中傳感器單元包括檢測(cè)在透明顯示器的前側(cè)的人物的人物檢測(cè)傳感器，和拍攝在透明顯示器的前側(cè)的圖像的后圖像傳感器，其中當(dāng)人物檢測(cè)傳感器檢測(cè)到人物的存在時(shí)，控制單元把第一透明顯示器設(shè)定成不透明狀態(tài)，并把利用后圖像傳感器獲得的拍攝圖像顯示在第二透明顯示器上。
[0246]按照另一個(gè)方面，
[0247]控制單元根據(jù)利用后圖像傳感器獲得的拍攝圖像，判定是否存在對(duì)著透明顯示器的視線，其中當(dāng)人物檢測(cè)傳感器檢測(cè)到人物的存在，并且存在對(duì)著透明顯示器的視線時(shí)，控制單元把第一透明顯示器設(shè)定成不透明狀態(tài)，并把利用后圖像傳感器獲得的拍攝圖像顯示在第二透明顯示器上。
[0248]按照另一個(gè)方面，
[0249]當(dāng)對(duì)著透明顯示器的視線是對(duì)著透明顯示器的預(yù)定分割區(qū)域的視線時(shí)，控制單元把第一透明顯示器的所述預(yù)定分割區(qū)域設(shè)定成不透明狀態(tài)，并把利用后圖像傳感器獲得的拍攝圖像的對(duì)應(yīng)于所述預(yù)定分割區(qū)域的那部分的圖像顯示在第二透明顯示器的所述預(yù)定分割區(qū)域中。
[0250]按照另一個(gè)方面，
[0251]傳感器單元包括檢測(cè)在透明顯示器的前側(cè)的人物的人物檢測(cè)傳感器，和拍攝在透明顯示器的前側(cè)的圖像的后圖像傳感器，其中顯示設(shè)備還包括生成顯示在透明顯示器上的疊加信息的疊加信息生成單元，其中當(dāng)發(fā)生用戶對(duì)于透明顯示器的顯示面和通過透明顯示器觀察的圖像的焦點(diǎn)失配時(shí)，控制單元根據(jù)利用前圖像傳感器獲得的拍攝圖像，判定用戶是否注視透明顯示器的顯示面，當(dāng)判定透明顯示器的顯示面被注視時(shí)，把利用后圖像傳感器獲得的拍攝圖像顯示在透明顯示器上，并把生成的疊加信息疊加地顯示在所述拍攝圖像上。
[0252]按照另一個(gè)方面，
[0253]控制單元不把生成的疊加信息顯示在透明顯示器上，或者不太明顯地把疊加信息顯示在透明顯示器上。
[0254]按照另一個(gè)方面，
[0255]控制單元根據(jù)從利用前圖像傳感器獲得的拍攝圖像估計(jì)的用戶的眼睛和透明顯示器的顯示面之間的距離，以及從利用后圖像傳感器獲得的拍攝圖像估計(jì)的透明顯示器的顯示面和透過透明顯示器觀察的圖像之間的距離，判定用戶對(duì)于透明顯示器的顯示面和通過透明顯示器觀察的圖像的焦點(diǎn)失配。
[0256]按照另一個(gè)方面，實(shí)施例還包括
[0257]生成顯示在透明顯示器上的疊加信息的疊加信息生成單元；和配置在透明顯示器的后側(cè)的表面上的光控制單元，其中傳感器單元包括拍攝在透明顯示器的前側(cè)的圖像的后圖像傳感器，和拍攝在透明顯示器的后側(cè)的圖像的前圖像傳感器，其中控制單元根據(jù)從利用前圖像傳感器獲得的拍攝圖像得到的用戶的左右眼相對(duì)于透明顯示器的位置，和從利用后圖像傳感器獲得的拍攝圖像得到的通過透明顯示器觀察的圖像的深度信息，生成被施加使用戶能夠在通過透明顯示器觀察的圖像的位置，感知疊加信息的視差的左眼疊加信息和右眼疊加信息，以便被顯示在透明顯示器上，其中控制單元控制光控制單元，以致來(lái)自顯示在透明顯示器上的左眼疊加信息的光到達(dá)用戶的左眼，來(lái)自顯示在透明顯示器上的右眼疊加信息的光到達(dá)用戶的右眼。
[0258]按照方法實(shí)施例，控制顯示器的方法包括檢測(cè)透明顯示器的周邊環(huán)境；和根據(jù)周圍環(huán)境，控制透明顯示器的顯示狀態(tài)。
[0259]附圖標(biāo)記列表
[0260]
[0125] 100，200，300，400，500，600 顯示設(shè)備
[0261]101, 201, 301, 401, 501, 601 透明顯示器
[0262]102，202，302，402，502，602 后攝像頭
[0263]103，203，303，503，603 前攝像頭
[0264]104, 204 觸摸面板
[0265]121, 221視點(diǎn)估計(jì)單元
[0266]122,222區(qū)域估計(jì)單元
[0267]123, 223拍攝圖像存儲(chǔ)單元
[0268]124，224插值圖像創(chuàng)建單元
[0269]125，225，325，424，525，626 顯示控制單元
[0270]126, 226, 323,423, 524,625 疊加信息生成單元
[0271]321,421,521視線估計(jì)單元
[0272]322顏色信息獲取單元
[0273]324疊加信息處理單元
[0274]401R前側(cè)顯示器
[0275]401F后側(cè)顯示器
[0276]403人物檢測(cè)傳感器
[0277]422人物檢測(cè)單元
[0278]522,523距離估計(jì)單元
[0279]604光控制單元
[0280]621深度圖獲取單元
[0281]622疊加位置判定單元
[0282]623用戶視點(diǎn)位置檢測(cè)單元
[0283]624用戶視點(diǎn)圖像生成單元
【權(quán)利要求】
1.一種設(shè)備，包括: 顯示控制器，所述顯示控制器被配置成基于傳感器輸出，控制透明顯示器的顯示狀態(tài)，所述傳感器輸出包含關(guān)于與設(shè)備分離的對(duì)象的信息。
2.按照權(quán)利要求1所述的設(shè)備，其中 所述信息包括圖像信息。
3.按照權(quán)利要求1所述的設(shè)備，其中 所述信息包括關(guān)于外來(lái)物體區(qū)域的信息。
4.按照權(quán)利要求3所述的設(shè)備，其中 人手的至少一部分是遮擋顯示在透明顯示器上的圖像的外來(lái)物體區(qū)域的外來(lái)物體。
5.按照權(quán)利要求4所述的設(shè)備，還包括: 插值圖像創(chuàng)建單元，所述插值圖像創(chuàng)建單元生成并替換被人手的所述至少一部分遮擋的景物的插值圖像部分。
6.按照權(quán)利要求3所述的設(shè)備，還包括: 區(qū)域估計(jì)單元，所述區(qū)域估計(jì)單元識(shí)別被對(duì)象遮擋的景物的區(qū)域；和 插值圖像創(chuàng)建單元，所述插值圖像創(chuàng)建單元生成并替換被對(duì)象遮擋的景物的區(qū)域的插值圖像部分。
7.按照權(quán)利要求6所述的設(shè)備，其中 插值圖像創(chuàng)建單元通過觀察對(duì)象在一幀和以前的幀之間的移動(dòng)，識(shí)別被對(duì)象遮擋的景物的區(qū)域。
8.按照權(quán)利要求6所述的設(shè)備，其中 插值圖像創(chuàng)建單元通過觀察對(duì)象的周邊像素，識(shí)別被對(duì)象遮擋的景物的區(qū)域。
9.按照權(quán)利要求1所述的設(shè)備，還包括: 疊加信息生成單元，所述疊加信息生成單元生成供在透明顯示器上顯示的疊加信息； 疊加信息處理單元，所述疊加信息處理單元相對(duì)于沿著非設(shè)備使用者的視線方向的圖像中的區(qū)域的顏色，有選擇地設(shè)定疊加信息的顏色。
10.按照權(quán)利要求1所述的設(shè)備，其中 當(dāng)設(shè)備處于隱私保護(hù)模式時(shí)，疊加信息處理單元把疊加信息的顏色設(shè)定成和沿著非使用者的視線的圖像中的區(qū)域相同的顏色。
11.按照權(quán)利要求10所述的設(shè)備，其中 當(dāng)設(shè)備未處于隱私保護(hù)模式時(shí)，疊加信息處理單元把疊加信息的顏色設(shè)定成和沿著非使用者的視線的圖像中的區(qū)域不同的顏色。
12.按照權(quán)利要求1所述的設(shè)備，還包括: 透明顯示器，所述透明顯示器具有用戶可見的內(nèi)部顯示器，和面向與內(nèi)部顯示器相反的方向的外部顯示器，其中 顯示控制器被配置成響應(yīng)隱私保護(hù)模式的啟動(dòng)，把外部顯示器從透明狀態(tài)改變成不透明狀態(tài)。
13.按照權(quán)利要求12所述的設(shè)備，其中 響應(yīng)于檢測(cè)到視線朝向外部顯示器的人，啟動(dòng)隱私保護(hù)模式。
14.按照權(quán)利要求13所述的設(shè)備，還包括: 檢測(cè)人的人檢測(cè)單元；和 估計(jì)所述人的視線的視線估計(jì)單元。
15.按照權(quán)利要求1所述的設(shè)備，還包括: 疊加信息生成單元，所述疊加信息生成單元生成供在透明顯示器上顯示的疊加信息，其中 顯示控制器判定在透明顯示器的表面和圖像之間是否存在用戶的焦點(diǎn)失配，并且當(dāng)不存在失配時(shí)，顯示控制器使疊加信息被顯示在透明顯示器上。
16.按照權(quán)利要求15所述的設(shè)備，其中 當(dāng)存在焦點(diǎn)失配，并且透明顯示器的表面未被注視時(shí)，顯示控制器使疊加信息被不引人注意地顯示在透明顯示器上，并且 當(dāng)存在焦點(diǎn)失配，并且透明顯示器的表面被注視時(shí)，顯示控制器把圖像和疊加信息一起顯示在透明顯示器上。
17.按照權(quán)利要求1所述的設(shè)備，還包括: 疊加信息生成單元，所述疊加信息生成單元生成供在透明顯示器上顯示的疊加信息；和 疊加判定單元，所述疊加判定單元判定對(duì)于用戶的左眼和右眼的顯示位置；其中 顯示控制器把疊加信息顯示在與顯示在透明顯示器上的圖像大體相同的感知深度處。
18.按照權(quán)利要求1所述的設(shè)備，還包括: 為透明顯示器的前側(cè)和透明顯示器的后側(cè)提供圖像的單個(gè)圖像傳感器。
19.一種控制透明顯示器的方法，包括: 接收傳感器輸出，所述傳感器輸出包含關(guān)于與透明顯示器分離的對(duì)象的信息；和 利用處理電路，基于傳感器輸出，控制透明顯示器的顯示狀態(tài)。
20.一種保存有計(jì)算機(jī)可讀指令的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)被處理器執(zhí)行時(shí)，所述計(jì)算機(jī)可讀指令執(zhí)行控制透明顯示器的方法，所述方法包括: 接收傳感器輸出，所述傳感器輸出包含關(guān)于與透明顯示器分離的對(duì)象的信息；和 利用處理電路，根據(jù)傳感器輸出，控制透明顯示器的顯示狀態(tài)。
【文檔編號(hào)】G06F1/16GK104246688SQ201380015137
【公開日】2014年12月24日 申請(qǐng)日期:2013年3月25日 優(yōu)先權(quán)日:2012年3月28日
【發(fā)明者】西智裕, 橫山一樹, 黑川益義, 宮本浩平, 上森丈士 申請(qǐng)人:索尼公司