本技術(shù)涉及顯示設(shè)備，尤其涉及一種顯示設(shè)備與控件啟動方法。

背景技術(shù)：

1、用戶在使用顯示設(shè)備時，可以通過語音指令啟動用戶界面上顯示的可啟動控件，以與可啟動控件執(zhí)行交互功能。通過語音指令啟動可啟動控件的方式相比于通過遙控器啟動可啟動控件的方式，可以減少用戶的操作次數(shù)以提高用戶的使用體驗。

2、顯示設(shè)備在接收到用戶輸入的語音指令時，可以查找位于可啟動控件的控件區(qū)域的文本信息，進而通過比較文本信息表征的語義與用戶輸入的語音指令的語義，確認(rèn)目標(biāo)控件。以及啟動目標(biāo)控件以與用戶執(zhí)行交互功能。

3、但顯示設(shè)備在根據(jù)語音指令確定目標(biāo)控件的過程中，可啟動控件的控件區(qū)域不包含文本信息時，顯示設(shè)備不能確定可啟動控件是否符合用戶的需求。因此導(dǎo)致顯示設(shè)備查找目標(biāo)控件的準(zhǔn)確率下降。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供一種顯示設(shè)備與控件啟動方法，以解決顯示設(shè)備查找目標(biāo)控件的準(zhǔn)確率下降的問題。

2、第一方面，本技術(shù)提供一種顯示設(shè)備，包括：被配置為顯示用戶界面的顯示器，用戶界面中包括至少一個控件。被配置為采集語音數(shù)據(jù)的檢測器。以及控制器，控制器被配置為：

3、響應(yīng)于用戶輸入的用于選中目標(biāo)控件的語音指令，獲取所述語音指令表征的第一語義；

4、查找第一待選控件中的圖片信息，以獲取所述圖片信息表征的第二語義；所述第一待選控件為包含圖片信息且不包含文本信息的控件；

5、計算所述第一語義與所述第二語義的第一語義相似度；

6、若所述第一語義相似度大于或等于相似度閾值，則確定所述第一待選控件為目標(biāo)控件，以及執(zhí)行所述第一待選控件對應(yīng)的交互功能。

7、在一些可行的實施例中，控制器執(zhí)行響應(yīng)于用戶輸入的用于選中目標(biāo)控件的語音指令，獲取所述語音指令表征的第一語義，被具體配置為：

8、獲取所述語音指令對應(yīng)的語音數(shù)據(jù)；

9、將所述語音數(shù)據(jù)轉(zhuǎn)化為語音文本；

10、提取所述語音文本的特征信息；所述特征信息包括所述語音文本的句式結(jié)構(gòu)、關(guān)鍵詞；

11、基于所述特征信息確定所述語音文本表征的第一語義。

12、在一些可行的實施例中，控制器執(zhí)行查找第一待選控件中的圖片信息以獲取所述圖片信息表征的第二語義之前，還被配置為：

13、查找第二待選控件中的文本信息，以獲取所述文本信息表征的第三語義；所述第二待選控件為控件區(qū)域包含文本信息的控件；

14、計算所述第一語義與所述第三語義的第二語義相似度；

15、如果所述第二語義相似度小于所述相似度閾值，則執(zhí)行查找第一待選控件中的圖片信息以獲取所述圖片信息表征的第二語義的步驟；

16、如果所述第二語義相似度大于或等于所述相似度閾值，則確定所述第二待選控件為目標(biāo)控件，以及執(zhí)行所述第二待選控件對應(yīng)的交互功能；以及，不執(zhí)行查找第一待選控件中的圖片信息以獲取所述圖片信息表征的第二語義的步驟。

17、在一些可行的實施例中，控制器執(zhí)行計算第一語義與所述第二語義的第一語義相似度之后，還被配置為：

18、如果所述第一語義相似度小于相似度閾值，則控制所述顯示器顯示提示界面；所述提示界面包括提示信息，所述提示信息用于提示用戶未檢測到所述語音指令對應(yīng)的目標(biāo)控件。

19、在一些可行的實施例中，控制器執(zhí)行查找第一待選控件中的圖片信息以獲取所述圖片信息表征的第二語義之前，還被配置為：

20、響應(yīng)于用戶輸入的用于選中目標(biāo)控件的語音指令，獲取第一待選控件和第二待選控件的控件信息；所述第一待選控件和所述第二待選控件為可啟動控件；

21、將所述第一待選控件和所述第二待選控件的控件信息存儲至控件信息列表；所述控件信息包括所述待選控件的文本信息和圖片信息。

22、在一些可行的實施例中，控制器執(zhí)行響應(yīng)于用戶輸入的用于選中目標(biāo)控件的語音指令，獲取待選控件的控件信息，被具體配置為：

23、調(diào)用文本提取線程；

24、通過文本提取線程提取位于待選控件的待選區(qū)域的文本信息。

25、在一些可行的實施例中，控制器執(zhí)行響應(yīng)于用戶輸入的用于選中目標(biāo)控件的語音指令，獲取待選控件的控件信息，被具體配置為：

26、調(diào)用截屏線程；

27、通過所述截屏線程獲取截屏圖像；所述截屏圖像為用戶輸入語音指令時，所述顯示器顯示的用戶界面的圖像；

28、將所述截屏圖像作為所述圖片信息存儲至控件信息列表。

29、在一些可行的實施例中，控制器執(zhí)行查找第一待選控件中的圖片信息以獲取所述圖片信息表征的第二語義，被具體配置為：

30、從所述控件信息列表中獲取所述截屏圖像；

31、基于所述截屏圖像中待選控件的分布方式，裁剪所述截屏圖像，以得到所述待選控件的圖片信息；

32、從所述待選控件中提取所述第一待選控件，以獲取所述第一待選控件的圖片信息；

33、使用圖文理解模型解析所述第一待選控件的圖片信息，得到第二語義。

34、在一些可行的實施例中，還包括通信裝置，所述通信裝置被配置為與服務(wù)器建立通信連接；所述控制器執(zhí)行使用圖文理解模型解析所述第一待選控件的圖片信息，得到第二語義，被具體配置為：

35、向所述服務(wù)器發(fā)送用于解析圖文語義的解析指令，以使所述服務(wù)器根據(jù)所述解析指令調(diào)用圖文理解模型，以及根據(jù)所述圖文理解模型解析所述第一待選控件的圖片信息；

36、接收所述服務(wù)器反饋的回執(zhí)信息；所述回執(zhí)信息中包括所述第一待選控件的圖片信息表征的第二語義。

37、第二方面，本技術(shù)提供一種控件啟動方法，應(yīng)用于第一方面中所述的顯示設(shè)備，包括：

38、響應(yīng)于用戶輸入的用于選中目標(biāo)控件的語音指令，獲取所述語音指令表征的第一語義；

39、查找第一待選控件中的圖片信息以獲取所述圖片信息表征的第二語義；所述第一待選控件為控件區(qū)域包含圖片信息且不包含文本信息的控件；

40、計算所述第一語義與所述第二語義的第一語義相似度；

41、若所述第一語義相似度大于或等于相似度閾值，確定所述第一待選控件為目標(biāo)控件，以及啟動所述第一待選控件。

42、第三方面，本技術(shù)提供一種移動終端，包括：被配置為采集語音數(shù)據(jù)的檢查測單元；以及控制單元，控制單元被配置為：

43、響應(yīng)于用戶輸入的用于選中目標(biāo)控件的語音指令，獲取所述語音指令表征的第一語義；

44、查找第一待選控件中的圖片信息，以獲取所述圖片信息表征的第二語義；所述第一待選控件為包含圖片信息且不包含文本信息的控件；

45、計算所述第一語義與所述第二語義的第一語義相似度；

46、若所述第一語義相似度大于或等于相似度閾值，則確定所述第一待選控件為目標(biāo)控件，以及執(zhí)行所述第一待選控件對應(yīng)的交互功能。

47、由上述技術(shù)內(nèi)容可知，本技術(shù)提供一種顯示設(shè)備與控件啟動方法。所述顯示設(shè)備在用戶輸入用于選中目標(biāo)控件的語音指令時，獲取語音指令表征的第一語義。并查找第一待選控件中的圖片信息以獲取圖片信息表征的第二語義。通過計算第一語義與第二語義的第一語義相似度，可以判別第一待選控件是否為用戶需要的目標(biāo)控件。在第一語義相似度大于或等于相似度閾值時，確定第一待選控件為目標(biāo)控件，并啟動第一待選控件。顯示設(shè)備通過對第一待選控件的圖片信息進行解析得到第二語義，進而可以根據(jù)語音指令查找控件區(qū)域不包含文本信息的第一待選控件，有利于提高查找目標(biāo)控件的準(zhǔn)確率。