本申請涉及人機(jī)交互，特別地涉及一種基于顯示屏的交互方法、裝置、及顯示系統(tǒng)。

背景技術(shù)：

1、

2、隨著人們生活水平的提高，各類商場、餐廳、博物館、圖書館等公共空間的體量越來越大，也越來越復(fù)雜。然而其中的指示屏幕通常只能作為簡單的示意圖和宣傳圖，或?qū)ζ矫娴貓D進(jìn)行建模得到3d場景提供給顧客，功能單一，交互過程簡單，不能滿足人們的實(shí)際需要。

技術(shù)實(shí)現(xiàn)思路

1、針對上述問題，本申請?zhí)岢鲆环N基于顯示屏的交互方法、裝置、及顯示系統(tǒng)。可以實(shí)現(xiàn)圖像與文本的人機(jī)交互，從而能夠充分發(fā)揮基于顯示屏的顯示、指引功能，進(jìn)而達(dá)到提高用戶使用體驗(yàn)的目的。

2、本申請的第一個方面，提供了一種基于顯示屏的交互方法，所述方法包括：

3、接收用戶選擇的目標(biāo)區(qū)域；

4、基于預(yù)存的圖像對象集合為所述目標(biāo)區(qū)域匹配圖像對象；

5、基于預(yù)存的文本與圖像映射關(guān)系，輸出所述圖像對象對應(yīng)的第一輸出文本和第一輸出圖像。

6、進(jìn)一步地，所述基于預(yù)存的圖像對象集合為所述目標(biāo)區(qū)域匹配圖像對象之后，所述方法還包括：

7、接收所述用戶輸入的第一輸入文本；

8、基于預(yù)存的文本知識庫對所述第一輸入文本進(jìn)行語句改寫，得到第一目標(biāo)文本；

9、基于所述文本與圖像映射關(guān)系，輸出所述圖像對象和所述第一目標(biāo)文本對應(yīng)的第一輸出文本和第一輸出圖像。

10、進(jìn)一步地，在接收用戶選擇的目標(biāo)區(qū)域之前，所述方法還包括：

11、獲取樣本圖像，對所述樣本圖像進(jìn)行圖像分割和后處理；

12、基于處理后的樣本圖像構(gòu)建所述圖像對象集合。

13、進(jìn)一步地，所述方法還包括：

14、接收所述用戶輸入的第二輸入文本；

15、對所述第二輸入文本進(jìn)行語義召回，得到第二目標(biāo)文本；

16、基于所述文本與圖像映射關(guān)系，輸出所述第二目標(biāo)文本對應(yīng)的第二輸出文本和第二輸出圖像。

17、進(jìn)一步地，在接收所述用戶輸入的第二輸入文本之前，所述方法還包括：

18、獲取樣本文本，對所述樣本文本進(jìn)行文本切分和后處理；

19、基于處理后的樣本文本構(gòu)建所述文本知識庫。

20、所述方法還包括：

21、基于文本知識庫和所述圖像對象集合，構(gòu)建文本與圖像映射關(guān)系。

22、本申請的第二個方面，提供了一種基于顯示屏的交互裝置，所述系統(tǒng)包括：

23、目標(biāo)區(qū)域接收模塊，用于接收用戶選擇的目標(biāo)區(qū)域；

24、圖像對象匹配模塊，用于基于預(yù)存的圖像對象集合為所述目標(biāo)區(qū)域匹配圖像對象；

25、第一輸出模塊，用于基于預(yù)存的文本與圖像映射關(guān)系，輸出所述圖像對象對應(yīng)的第一輸出文本和第一輸出圖像。

26、本申請的第三個方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，該計(jì)算機(jī)可讀存儲介質(zhì)存儲的計(jì)算機(jī)程序，可被一個或多個處理器執(zhí)行，用以實(shí)現(xiàn)如上所述方法的步驟。

27、本申請的第四個方面，提供了一種顯示系統(tǒng)，包括顯示屏、交互設(shè)備、存儲器和一個或多個處理器，所述存儲器上存儲有計(jì)算機(jī)程序，所述存儲器和所述一個或多個處理器之間互相通信連接，該計(jì)算機(jī)程序被所述一個或多個處理器執(zhí)行時，實(shí)現(xiàn)如上所述方法的步驟。

28、本申請的第五個方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序或指令，所述計(jì)算機(jī)程序或指令被處理器執(zhí)行時實(shí)現(xiàn)如上所述方法的步驟。

29、與現(xiàn)有技術(shù)相比，本申請的技術(shù)方案所具備的優(yōu)點(diǎn)或有益效果包括：本申請?zhí)峁┑幕陲@示屏的交互方法一方面可以基于用戶選擇的目標(biāo)區(qū)域?qū)崿F(xiàn)對文本的映射，另一方面可以基于用戶輸入的文本實(shí)現(xiàn)對圖像的映射，充分發(fā)揮顯示屏的人機(jī)交互作用，優(yōu)化用戶使用體驗(yàn)。

技術(shù)特征：

1.一種基于顯示屏的交互方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的基于顯示屏的交互方法，其特征在于，所述基于預(yù)存的圖像對象集合為所述目標(biāo)區(qū)域匹配圖像對象之后，所述方法還包括：

3.根據(jù)權(quán)利要求1所述的基于顯示屏的交互方法，其特征在于，在接收用戶選擇的目標(biāo)區(qū)域之前，所述方法還包括：

4.根據(jù)權(quán)利要求1所述的基于顯示屏的交互方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求4所述的基于顯示屏的交互方法，其特征在于，在接收所述用戶輸入的第二輸入文本之前，所述方法還包括：

6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的基于顯示屏的交互方法，其特征在于，所述方法還包括：

7.一種基于顯示屏的交互裝置，其特征在于，包括：

8.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲的計(jì)算機(jī)程序，當(dāng)被一個或多個處理器執(zhí)行時，實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述方法的步驟。

9.一種顯示系統(tǒng)，其特征在于，包括顯示屏、交互設(shè)備、存儲器和處理器，所述存儲器上存儲有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被所述處理器執(zhí)行時，實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述方法的步驟。

10.一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序或指令，其特征在于，所述計(jì)算機(jī)程序或指令被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述方法的步驟。

技術(shù)總結(jié)
本申請涉及人機(jī)交互領(lǐng)域，公開了一種基于顯示屏的交互方法、裝置、及顯示系統(tǒng)。所述方法包括接收用戶選擇的目標(biāo)區(qū)域；基于預(yù)存的圖像對象集合為所述目標(biāo)區(qū)域匹配圖像對象；基于預(yù)存的文本與圖像映射關(guān)系，輸出所述圖像對象對應(yīng)的第一輸出文本和第一輸出圖像。本申請?zhí)峁┑姆椒ㄒ环矫婵梢曰谟脩暨x擇的目標(biāo)區(qū)域?qū)崿F(xiàn)對文本的映射，另一方面可以基于用戶輸入的文本實(shí)現(xiàn)對圖像的映射，充分發(fā)揮顯示屏的人機(jī)交互作用，優(yōu)化用戶使用體驗(yàn)。

技術(shù)研發(fā)人員：張少樓,賈紅紅,張陽陽
受保護(hù)的技術(shù)使用者：京東方科技集團(tuán)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21