可視通話的數(shù)據(jù)處理方法、終端和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種可視通話的數(shù)據(jù)處理方法、終端和系統(tǒng)，方法包括：建立終端與至少一個其他終端之間的音視頻數(shù)據(jù)通信通道和共享數(shù)據(jù)通信通道，在所述終端的顯示屏上初始化視頻層和圖形層，該終端的顯示屏上圖形層透明且覆蓋在視頻層上方；通過該終端的視頻層顯示經(jīng)音視頻數(shù)據(jù)通信通道傳輸?shù)囊粢曨l數(shù)據(jù)；采集經(jīng)該終端的圖形層輸入的第一操作數(shù)據(jù)流，經(jīng)共享數(shù)據(jù)通信通道將第一操作數(shù)據(jù)流發(fā)送到其他終端；以及經(jīng)共享數(shù)據(jù)通信通道接收其他終端發(fā)送的第二操作數(shù)據(jù)流；在該終端的圖形層上響應(yīng)第一操作數(shù)據(jù)流和第二操作數(shù)據(jù)流，以在該終端的圖形層上輸出與各操作數(shù)據(jù)流對應(yīng)的操作對象。本發(fā)明提高了可視通話數(shù)據(jù)交互的靈活性以及終端顯示屏的空間利用率。
【專利說明】可視通話的數(shù)據(jù)處理方法、終端和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明實施例涉及通信技術(shù)，特別是涉及一種可視通話的數(shù)據(jù)處理方法、終端和系統(tǒng)。
【背景技術(shù)】
[0002]可視通話業(yè)務(wù)是集圖像和語音通信于一體的多媒體通信業(yè)務(wù)，可以實現(xiàn)人與人之間的面對面實時溝通。
[0003]但是，現(xiàn)有可視通話業(yè)務(wù)中通話方之間大多只有視頻與語音交互，其它輔助交互方法較少；且現(xiàn)有可視通話業(yè)務(wù)中通話方交互通常都只能一方控制，其它通話方無法對顯示窗口中的圖像進行修改以反饋他們的意見與想法。這使得可視通話數(shù)據(jù)交互的方式較為單一，在一定程度上限制了可視通話的推廣應(yīng)用。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實施例提供一種可視通話的數(shù)據(jù)處理方法、終端和系統(tǒng)，用于提高可視通話數(shù)據(jù)交互的靈活性，提高終端顯示屏的空間利用率。
[0005]本發(fā)明實施例一方面提供了一種可視通話的數(shù)據(jù)處理方法，包括:
[0006]建立終端與至少一個其他終端音視頻數(shù)據(jù)通信通道和共享數(shù)據(jù)通信通道，并在所述終端的顯示屏上初始化視頻層和圖形層，所述終端的顯示屏上圖形層透明且覆蓋在視頻層上方；
[0007]通過所述終端的所述視頻層顯示經(jīng)所述音視頻數(shù)據(jù)通信通道傳輸?shù)囊粢曨l數(shù)據(jù)；
[0008]采集經(jīng)所述終端的圖形層輸入的第一操作數(shù)據(jù)流，經(jīng)所述共享數(shù)據(jù)通信通道將所述第一操作數(shù)據(jù)流發(fā)送到所述其他終端；以及經(jīng)所述共享數(shù)據(jù)通信通道接收所述其他終端發(fā)送的第二操作數(shù)據(jù)流；
[0009]在所述終端的圖形層上響應(yīng)所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，以在所述終端的圖形層上輸出與所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象。
[0010]本發(fā)明實施例的另一方面提供了一種終端，包括:
[0011]初始化處理模塊，用于與至少一個其他終端建立音視頻數(shù)據(jù)通信通道和共享數(shù)據(jù)通信通道，并在所述終端的顯示屏上初始化視頻層和圖形層，所述終端的顯示屏上圖形層透明且覆蓋在視頻層上方；
[0012]視頻層處理模塊，用于通過所述終端的所述視頻層顯示經(jīng)所述音視頻數(shù)據(jù)通信通道傳輸?shù)囊粢曨l數(shù)據(jù)；
[0013]操作數(shù)據(jù)流獲取模塊，用于采集經(jīng)所述終端的圖形層輸入的第一操作數(shù)據(jù)流，經(jīng)所述共享數(shù)據(jù)通信通道將所述第一操作數(shù)據(jù)流發(fā)送到所述其他終端；以及經(jīng)所述共享數(shù)據(jù)通信通道接收所述其他終端發(fā)送的第二操作數(shù)據(jù)流；
[0014]圖形層處理模塊，用于在所述終端的圖形層上響應(yīng)所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，以在所述終端的圖形層上輸出與所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象。
[0015]本發(fā)明實施例的又一方面提供了一種可視通話系統(tǒng)，包括:建立可視通話連接的多個上述終端。
[0016]本發(fā)明實施例提供的可視通話的數(shù)據(jù)處理方法、終端和系統(tǒng)，通過在建立可視通話連接的每個終端的顯示屏上，增設(shè)透明且覆蓋在視頻層上的圖形層，任一終端可采集經(jīng)自身顯示屏的圖形層本地采集的第一操作數(shù)據(jù)流，并經(jīng)共享數(shù)據(jù)通信通道發(fā)送給其他終端以在其他終端顯示屏的圖形層上顯示，且任一終端可接收其他終端發(fā)送的第二操作數(shù)據(jù)流，并在該終端本地圖形層上輸出相應(yīng)的操作對象。由此使得不同終端的共享操作數(shù)據(jù)流可在該終端本地圖形層上進行融合顯示，有利于改善用戶體驗，實現(xiàn)可視通話對共享數(shù)據(jù)的多方操控，提高了視頻通信數(shù)據(jù)交互的靈活性；此外，每個終端的視頻數(shù)據(jù)和共享數(shù)據(jù)在物理上可共用顯示屏的相同區(qū)域進行顯示，提高了終端顯示屏的空間利用率。
【專利附圖】

【附圖說明】
[0017]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0018]圖1為本發(fā)明實施例提供的可視通話的數(shù)據(jù)處理方法的流程示意圖；
[0019]圖2為本發(fā)明實施例提供的可視通話應(yīng)用場景示例；
[0020]圖3為本發(fā)明實施例提供的終端的結(jié)構(gòu)示意圖；
[0021]圖4為本發(fā)明實施例提供的可視通話系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實施方式】
[0022]為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有付出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0023]圖1為本發(fā)明實施例提供的可視通話的數(shù)據(jù)處理方法的流程示意圖。本實施例是從建立可視通話連接的多個終端中的任一終端的角度，對本發(fā)明實施例的技術(shù)方案進行詳細描述。如圖1所示的方法包括:
[0024]11:建立終端與至少一個其他終端音視頻數(shù)據(jù)通信通道和共享數(shù)據(jù)通信通道，并在所述終端的顯示屏上初始化視頻層和圖形層，所述終端的顯示屏上圖形層透明且覆蓋在視頻層上方。
[0025]可視通話連接的多個終端之間邏輯上可建立兩類通信通道:視頻數(shù)據(jù)通信通道和共享數(shù)據(jù)通信通道。視頻數(shù)據(jù)通信通道用于傳輸視頻數(shù)據(jù)，共享數(shù)據(jù)通信通道用于傳輸共享數(shù)據(jù)。
[0026]在建立可視通話連接的多個終端中，每個終端的顯示屏上均初始化兩類圖層:視頻層和圖形層。視頻層用于顯示經(jīng)視頻數(shù)據(jù)通信通道傳輸?shù)囊曨l數(shù)據(jù)，圖形層用于顯示經(jīng)共享數(shù)據(jù)通信通道傳輸?shù)墓蚕頂?shù)據(jù)。圖形層是一透明圖形，并且圖形層覆蓋在視頻層的上方，這樣共享數(shù)據(jù)和視頻數(shù)據(jù)在物理上可共用顯示屏的相同區(qū)域進行圖像顯示。
[0027]12:通過所述終端的所述視頻層顯示經(jīng)所述音視頻數(shù)據(jù)通信通道傳輸?shù)囊粢曨l數(shù)據(jù)。
[0028]任一終端經(jīng)所述視頻數(shù)據(jù)通信通道接收到的其他終端發(fā)送的音視頻數(shù)據(jù)，通過該終端的視頻層進行顯示。該終端采集到的音視頻數(shù)據(jù)，經(jīng)所述視頻數(shù)據(jù)通信通道向各其他終端發(fā)送。此外，該終端采集到的音視頻數(shù)據(jù)也可通過視頻層進行顯示，例如在顯示屏的左下角顯示縮小圖的方式顯示等。
[0029]13:采集經(jīng)所述終端的圖形層輸入的第一操作數(shù)據(jù)流，經(jīng)所述共享數(shù)據(jù)通信通道將所述第一操作數(shù)據(jù)流發(fā)送到所述其他終端；以及經(jīng)所述共享數(shù)據(jù)通信通道接收所述其他終端發(fā)送的第二操作數(shù)據(jù)流。
[0030]第一操作數(shù)據(jù)流包括:經(jīng)所述終端本地圖形層捕獲并用于顯示的操作數(shù)據(jù)流。第二操作數(shù)據(jù)流包括:該終端接收到的、經(jīng)其他終端的圖形層捕獲的并發(fā)送給該終端的操作數(shù)據(jù)流。操作數(shù)據(jù)流可為但不限于:操作軌跡序列、語音序列、圖像序列等。
[0031]14:在所述終端的圖形層上響應(yīng)所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，以在所述終端的圖形層上輸出與所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象。
[0032]所述終端在其本地圖形層上，對本地采集的第一操作數(shù)據(jù)流以及接收到的其他終端的第二操作數(shù)據(jù)流均進行響應(yīng)，這樣，在該終端本地圖形層上即可顯示出與第一操作數(shù)據(jù)流和第二操作數(shù)據(jù)流對應(yīng)的操作對象。任一操作數(shù)據(jù)流可為經(jīng)觸摸屏、鼠標、遙控器、鍵盤、麥克風、攝像頭或其他設(shè)備采集到的軌跡類事件或語義類事件等。與任一數(shù)據(jù)流對應(yīng)的操作對象可包括但不限于:圖像、圖形、音效或動畫中的一種或多種。
[0033]本實施例提供的方法通過在建立可視通話連接的每個終端的顯示屏上，增設(shè)透明且覆蓋在視頻層上的圖形層，任一終端可采集經(jīng)自身顯示屏的圖形層本地采集的第一操作數(shù)據(jù)流，并經(jīng)共享數(shù)據(jù)通信通道發(fā)送給其他終端以在其他終端顯示屏的圖形層上顯示，且任一終端可接收其他終端發(fā)送的第二操作數(shù)據(jù)流，并在該終端本地圖形層上輸出相應(yīng)的操作對象。由此使得不同終端的共享操作數(shù)據(jù)流可在該終端本地圖形層上進行融合顯示，有利于改善用戶體驗，實現(xiàn)可視通話對共享數(shù)據(jù)的多方操控，提高了視頻通信數(shù)據(jù)交互的靈活性；此外，每個終端的視頻數(shù)據(jù)和共享數(shù)據(jù)在物理上可共用顯示屏的相同區(qū)域進行顯示，提高了終端顯示屏的空間利用率。
[0034]上述技術(shù)方案中，終端在其本地圖形層上，對第一操作數(shù)據(jù)流和第二操作數(shù)據(jù)流僅進行響應(yīng)的具體方式不受限制。
[0035]例如:可根據(jù)所述終端的圖形層的分辨率屬性，對所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象進行自適應(yīng)調(diào)整，并在所述終端的圖形層上輸出自適應(yīng)調(diào)整后的操作對象。該情形下，與第一操作數(shù)據(jù)流和第二操作數(shù)據(jù)流對應(yīng)的操作對象可包括:圖像、圖形或動畫中的一種或多種?？蛇x的，根據(jù)分辨率屬性可采用通用的圖像縮放算法對相應(yīng)操作對象進行自適應(yīng)調(diào)整，圖像縮放算法可包括但不限于:最近鄰插值或雙線性插值等算法。
[0036]又例如:可根據(jù)所述終端捕獲到第一操作數(shù)據(jù)流的時間、以及該終端接收到第二操作數(shù)據(jù)流的時間的先后順序，組合第一操作數(shù)據(jù)流和第二操作數(shù)據(jù)流，在該終端的所述圖形層上響應(yīng)組合后的操作數(shù)據(jù)流，以在該終端本地圖形層上輸出與組合后的操作數(shù)據(jù)流對應(yīng)的操作對象。該情形下，任一操作數(shù)據(jù)流對應(yīng)的操作對象可包括但不限于:圖像、圖形、音效或動畫中的一種或多種。根據(jù)操作數(shù)據(jù)流的類型不同，該終端本地的圖形層上可采用相應(yīng)的響應(yīng)方式進行處理。
[0037]可選的，第一操作數(shù)據(jù)流可包括:經(jīng)所述終端的圖形層捕獲的第一操作軌跡序列；所述第二操作數(shù)據(jù)流包括:所述終端接收到的、經(jīng)所述其他終端的圖形層捕獲的并發(fā)送給所述終端的第二操作軌跡序列。所述終端根據(jù)所述終端捕獲到所述第一操作軌跡序列的時間、以及所述終端接收到所述第二操作軌跡序列的時間先后順序，組合所述第一操作軌跡序列和所述第二操作軌跡序列，并在所述圖形層上輸出與所述組合后的操作軌跡序列對應(yīng)的操作對象。操作軌跡序列可為但不限于觸摸屏操作軌跡序列、鼠標操作軌跡序列、遙控器操作軌跡序列、鍵盤操作軌跡序列等。與任一操作軌跡序列對應(yīng)的操作對象可包括但不限于:圖像、圖形、音效或動畫中的一種或多種。應(yīng)用示例如圖2所示:當在左終端本地的圖形層上輸入如圖2所示的實線表示的圖形21，在右終端的圖形層的相應(yīng)位置上也即時顯示相應(yīng)圖形；而當右終端22的圖形層上輸入如圖2所示的虛線表示的圖形22，在左終端的圖形層的相應(yīng)位置上也即時顯示相應(yīng)圖形；兩部分圖形組合一個心型圖形。整體達到的視覺效果相當于在任一終端上輸入，在各終端的相應(yīng)位置上顯示，可視通話的各終端均可參與到共享數(shù)據(jù)的操控，并且在物理上視頻數(shù)據(jù)和共享數(shù)據(jù)共用相同的顯示屏區(qū)域進行數(shù)據(jù)顯示，可滿足某些特定場景，例如顯示屏尺寸較小或要求全屏顯示等場景下進行視頻通信的輔助交互。
[0038]可選的，第一操作數(shù)據(jù)流可包括:經(jīng)任一終端的圖形層捕獲的第一語音序列；第二操作數(shù)據(jù)流可包括:該終端接收到的、經(jīng)所述其他終端的圖形層捕獲的并發(fā)送給該終端的第二語音序列。該終端根據(jù)其捕獲到所述第一語音序列的時間、以及該終端接收到所述第二語音序列的時間先后順序，組合所述第一語音序列和所述第二語音序列，在預(yù)先建立的數(shù)據(jù)庫中確定與組合后的語音序列對應(yīng)的操作對象，并在所述任一終端的述圖形層上輸出確定的操作對象。終端本地存儲有預(yù)先建立的數(shù)據(jù)庫，該數(shù)據(jù)庫存儲有語音序列和操作對象之間的映射關(guān)系，也可稱為語音識別樣本庫。在該終端獲取組合后的語音序列后，可在該數(shù)據(jù)庫中查詢與組合后的語音序列對應(yīng)的操作對象，并在該終端本地的圖形層上輸出確定的操作對象。與任一語音序列對應(yīng)的操作對象可包括但不限于:圖像、圖形、音效或動畫中的一種或多種。應(yīng)用示例例如:當語音序列為“Love”時，在該終端的圖形層上可顯示心形圖形等。
[0039]可選的，第一操作數(shù)據(jù)流包括:經(jīng)所述終端的圖形層捕獲的第一圖像序列；所述第二操作數(shù)據(jù)流包括:所述終端接收到的、經(jīng)所述其他終端的圖形層捕獲的并發(fā)送給所述終端的第二圖像序列。終端根據(jù)所述終端捕獲到所述第一圖像序列的時間、以及所述終端接收到所述第二圖像序列的時間先后順序，組合所述第一圖像序列和所述第二圖像序列，在預(yù)先建立的數(shù)據(jù)庫中確定與組合后的圖像序列對應(yīng)的操作對象，并在所述終端的圖形層上輸出確定的操作對象。終端本地存儲有預(yù)先建立的數(shù)據(jù)庫，該數(shù)據(jù)庫存儲有圖像序列和操作對象之間的映射關(guān)系，也可稱為圖像識別樣本庫。在該終端獲取組合后的圖像序列后，可在該數(shù)據(jù)庫中查詢與組合后的圖像序列對應(yīng)的操作對象，并在該終端本地的圖形層上輸出確定的操作對象。與任一圖像序列對應(yīng)的操作對象可包括但不限于:圖像、圖形、音效或動畫中的一種或多種。應(yīng)用示例例如:在任一終端獲取的圖像序列包括用戶用手比劃出的心形圖像時，在該終端的圖形層上顯示心形自定義圖形，且各其他終端的圖形層上也分別顯示心形自定義圖形。應(yīng)用示例再例如:在任一終端獲取的圖像序列包括射箭的姿勢的圖像時，在該終端的圖形層上顯示兔斯基射箭的自定義圖形，且在各其他終端的圖形層上也分別顯示兔斯基射箭的自定義圖形，兔斯基射箭的自定義圖形可為包括多幀的動畫圖形文件等。應(yīng)用示例又例如:在任一終端獲取的圖像序列包括用戶發(fā)怒的表情圖像時，在該終端的圖形層上顯示大火焰自定義圖像，且在各其他終端的圖形層上也分別顯示大火焰自定義圖像等。
[0040]進一步可選的，可預(yù)先確定自定義圖像在各終端圖形層中的顯示位置，例如在圖形層左下角的預(yù)設(shè)大小的區(qū)域顯示自定義圖像，由此達到在各終端顯示屏相同位置同步顯示相同自定義圖像的顯示效果，有利于進一步改善用戶體驗。
[0041]進一步可選的，可將上述語音識別、圖像識別等操作設(shè)置為不同的模式，當任一終端切換到相應(yīng)模式，則進行相應(yīng)的識別和自定義圖形顯示處理，由此提高了視頻通信過程中輔助交互方式切換的靈活性。
[0042]需要說明的是:對于前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動作順序的限制，因為依據(jù)本發(fā)明，某些步驟可以采用其他順序或者同時進行。其次，本領(lǐng)域普通技術(shù)人員可以知悉，說明書中所描述的實施例均屬于優(yōu)選實施例，所涉及的動作和模塊并不一定是本發(fā)明所必須的。
[0043]在上述實施例中，對各個實施例的描述都各有側(cè)重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關(guān)描述。
[0044]本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括:只讀存儲器(Read-Only Memory,簡稱 ROM)、隨機存取存儲器(Random Access Memory,簡稱 RAM)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
[0045]圖3為本發(fā)明實施例提供的終端的結(jié)構(gòu)示意圖。如圖3所示的終端用于實現(xiàn)如圖1所示的實施例相應(yīng)記載的方法，具體包括:初始化處理模塊31、視頻層處理模塊32、操作數(shù)據(jù)流獲取模塊33和圖形層處理模塊34。
[0046]初始化處理模塊31可與至少一個其他終端建立音視頻數(shù)據(jù)通信通道和共享數(shù)據(jù)通信通道，并在所述終端的顯示屏上初始化視頻層和圖形層，所述終端的顯示屏上圖形層透明且覆蓋在視頻層上方。
[0047]視頻層處理模塊32可用于通過所述終端的所述視頻層顯示經(jīng)所述音視頻數(shù)據(jù)通信通道傳輸?shù)囊粢曨l數(shù)據(jù)。
[0048]操作數(shù)據(jù)流獲取模塊33可用于采集經(jīng)所述終端的圖形層輸入的第一操作數(shù)據(jù)流，經(jīng)所述共享數(shù)據(jù)通信通道將所述第一操作數(shù)據(jù)流發(fā)送到所述其他終端；以及經(jīng)所述共享數(shù)據(jù)通信通道接收所述其他終端發(fā)送的第二操作數(shù)據(jù)流。
[0049]圖形層處理模塊34可用于在所述終端的圖形層上響應(yīng)所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，以在所述終端的圖形層上輸出與所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象。
[0050]可選的，圖形層處理模塊34具體可用于根據(jù)所述終端的圖形層的分辨率屬性，對所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象進行自適應(yīng)調(diào)整，并在所述終端的圖形層上輸出自適應(yīng)調(diào)整后的操作對象。與所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象包括但不限于:圖像、圖形或動畫中的一種或多種。
[0051]可選的，第一操作數(shù)據(jù)流包括:經(jīng)該終端的圖形層捕獲并用于顯示的操作數(shù)據(jù)流；第二操作數(shù)據(jù)流包括:該終端接收到的、經(jīng)其他終端的圖形層捕獲的并發(fā)送給該終端的操作數(shù)據(jù)流。圖形層處理模塊34具體可用于根據(jù)該終端捕獲到第一操作數(shù)據(jù)流的時間、以及該終端接收到第二操作數(shù)據(jù)流的時間的先后順序，組合第一操作數(shù)據(jù)流和第二操作數(shù)據(jù)流，在該終端的圖形層上響應(yīng)組合后的操作數(shù)據(jù)流，以在該終端本地圖形層上輸出與組合后的操作數(shù)據(jù)流對應(yīng)的操作對象。與任一操作數(shù)據(jù)流，如第一操作數(shù)據(jù)流或第二操作數(shù)據(jù)流或組合后的操作數(shù)據(jù)流對應(yīng)的操作對象，可包括但不限于圖像、圖形、音效或動畫中的一種或多種。
[0052]進一步，可選的，第一操作數(shù)據(jù)流包括:經(jīng)該終端的圖形層捕獲的第一操作軌跡序列；第二操作數(shù)據(jù)流包括:該終端接收到的、經(jīng)其他終端的圖形層捕獲的并發(fā)送給該終端的第二操作軌跡序列。該情形下，圖形層處理模塊34具體可用于根據(jù)該終端捕獲到第一操作軌跡序列的時間、以及該終端接收到第二操作軌跡序列的時間先后順序，組合第一操作軌跡序列和第二操作軌跡序列，并在該終端本地的圖形層上輸出與組合后的操作軌跡序列對應(yīng)的操作對象。與任一操作軌跡序列，如第一操作軌跡序列或第二操作軌跡序列或組合后的操作軌跡序列對應(yīng)的操作對象，可包括但不限于圖像、圖形、音效或動畫中的一種或多種。
[0053]可選的，第一操作數(shù)據(jù)流包括:經(jīng)該終端的圖形層捕獲的第一語音序列；第二操作數(shù)據(jù)流包括:該終端接收到的、經(jīng)其他終端的圖形層捕獲的并發(fā)送給該終端的第二語音序列。該情形下，圖形層處理模塊34具體可用于根據(jù)該終端捕獲到第一語音序列的時間、以及該終端接收到第二語音序列的時間先后順序，組合第一語音序列和第二語音序列，在預(yù)先建立的數(shù)據(jù)庫中確定與組合后的語音序列對應(yīng)的操作對象，并在該終端的本地圖形層上輸出確定的操作對象。與任一語音序列，如第一語音序列或第二語音序列或組合后的語音序列對應(yīng)的操作對象，可包括但不限于圖像、圖形、音效或動畫中的一種或多種。
[0054]可選的，第一操作數(shù)據(jù)流包括:經(jīng)該終端的圖形層捕獲的第一圖像序列；第二操作數(shù)據(jù)流包括:該終端接收到的、經(jīng)其他終端的圖形層捕獲的并發(fā)送給該終端的第二圖像序列。該情形下，圖形層處理模塊34具體可用于根據(jù)該終端捕獲到第一圖像序列的時間、以及該終端接收到第二圖像序列的時間先后順序，組合第一圖像序列和第二圖像序列，在預(yù)先建立的數(shù)據(jù)庫中確定與組合后的圖像序列對應(yīng)的操作對象，并在該終端的本地圖形層上輸出確定的操作對象。與任一圖像序列，如第一圖像序列或第二圖像序列或組合后的圖像序列對應(yīng)的操作對象，可包括但不限于圖像、圖形、音效或動畫中的一種或多種。
[0055]本實施例提供的終端在顯示屏上增設(shè)透明且覆蓋在視頻層上的圖形層，可采集經(jīng)自身顯示屏的圖形層本地采集的第一操作數(shù)據(jù)流，并經(jīng)共享數(shù)據(jù)通信通道發(fā)送給其他終端以在其他終端顯示屏的圖形層上顯示，且該終端可接收其他終端發(fā)送的第二操作數(shù)據(jù)流，并在該終端本地圖形層上輸出相應(yīng)的操作對象。由此使得不同終端的共享操作數(shù)據(jù)流可在該終端本地圖形層上進行融合顯示，有利于改善用戶體驗，實現(xiàn)可視通話對共享數(shù)據(jù)的多方操控，提高了視頻通信數(shù)據(jù)交互的靈活性；此外，每個終端的視頻數(shù)據(jù)和共享數(shù)據(jù)在物理上可共用顯示屏的相同區(qū)域進行顯示，提高了終端顯示屏的空間利用率。有關(guān)本實施例提供的終端的工作機理，可參見上述方法實施例的相應(yīng)記載，在此不再贅述。終端的設(shè)備實體可例如:智能手機、電視、PC、Pad等。
[0056]圖4為本發(fā)明實施例提供的可視通話系統(tǒng)的結(jié)構(gòu)示意圖。如圖4所示的可視通話系統(tǒng)包括多個終端，任一終端的結(jié)構(gòu)可參見圖3以及上述終端實施例的相應(yīng)記載，任一終端以及終端之間的交互方法以及可實現(xiàn)的技術(shù)效果，可參見圖1-2以及上述方法實施例的相應(yīng)記載，在此不再贅述。
[0057]可以理解，本發(fā)明所揭露的系統(tǒng)，裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模塊的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個模塊可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的模塊或裝置相互之間的連接，可以是通過一些物理或邏輯接口連接，連接形式可以是電性，機械或其它形式。
[0058]以上所描述的裝置實施例僅僅是示意性的，其中作為分離部件說明的模塊可以是或者也可以不是物理上分開的，作為模塊顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到至少兩個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇至少兩個網(wǎng)絡(luò)單元其中的部分或者全部模塊，來實現(xiàn)本實施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動的情況下，即可以理解并實施。
[0059]最后應(yīng)說明的是:以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當理解:其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。
【權(quán)利要求】
1.一種可視通話的數(shù)據(jù)處理方法，其特征在于，包括: 建立終端與至少一個其他終端音視頻數(shù)據(jù)通信通道和共享數(shù)據(jù)通信通道，并在所述終端的顯示屏上初始化視頻層和圖形層，所述終端的顯示屏上圖形層透明且覆蓋在視頻層上方； 通過所述終端的所述視頻層顯示經(jīng)所述音視頻數(shù)據(jù)通信通道傳輸?shù)囊粢曨l數(shù)據(jù)； 采集經(jīng)所述終端的圖形層輸入的第一操作數(shù)據(jù)流，經(jīng)所述共享數(shù)據(jù)通信通道將所述第一操作數(shù)據(jù)流發(fā)送到所述其他終端；以及經(jīng)所述共享數(shù)據(jù)通信通道接收所述其他終端發(fā)送的第二操作數(shù)據(jù)流； 在所述終端的圖形層上響應(yīng)所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，以在所述終端的圖形層上輸出與所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述終端的所述圖形層上響應(yīng)所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，以在所述終端的圖形層上輸出與所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象，包括: 根據(jù)所述終端的圖形層的分辨率屬性，對所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象進行自適應(yīng)調(diào)整，并在所述終端的圖形層上輸出自適應(yīng)調(diào)整后的操作對象。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，與所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象包括:圖像、圖形或動畫中的任意一種或多種。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于， 所述第一操作數(shù)據(jù)流包括:`經(jīng)所述終端的圖形層捕獲并用于顯示的操作數(shù)據(jù)流； 所述第二操作數(shù)據(jù)流包括:所述終端接收到的、經(jīng)所述其他終端的圖形層捕獲的并發(fā)送給所述終端的操作數(shù)據(jù)流； 在所述終端的所述圖形層上響應(yīng)所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，以在所述終端的所述圖形層上輸出與所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象，包括:根據(jù)所述終端捕獲到所述第一操作數(shù)據(jù)流的時間、以及所述終端接收到所述第二操作數(shù)據(jù)流的時間的先后順序，組合所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，在所述終端的所述圖形層上響應(yīng)組合后的操作數(shù)據(jù)流，以在所述圖形層上輸出與所述組合后的操作數(shù)據(jù)流對應(yīng)的操作對象。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于， 所述第一操作數(shù)據(jù)流包括:經(jīng)所述終端的圖形層捕獲的第一操作軌跡序列； 所述第二操作數(shù)據(jù)流包括:所述終端接收到的、經(jīng)所述其他終端的圖形層捕獲的并發(fā)送給所述任一終端的第二操作軌跡序列； 根據(jù)所述終端捕獲到所述第一操作數(shù)據(jù)流的時間、以及所述終端接收到所述第二操作數(shù)據(jù)流的時間的先后順序，組合所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，在所述終端的所述圖形層上響應(yīng)組合后的操作數(shù)據(jù)流，以在所述圖形層上輸出與所述組合后的操作數(shù)據(jù)流對應(yīng)的操作對象，包括:根據(jù)所述終端捕獲到所述第一操作軌跡序列的時間、以及所述終端接收到所述第二操作軌跡序列的時間先后順序，組合所述第一操作軌跡序列和所述第二操作軌跡序列，并在所述圖形層上輸出與所述組合后的操作軌跡序列對應(yīng)的操作對象。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第一操作數(shù)據(jù)流包括:經(jīng)所述終端的圖形層捕獲的第一語音序列； 所述第二操作數(shù)據(jù)流包括:所述終端接收到的、經(jīng)所述其他終端的圖形層捕獲的并發(fā)送給所述任一終端的第二語音序列； 根據(jù)所述終端捕獲到所述第一操作數(shù)據(jù)流的時間、以及所述終端接收到所述第二操作數(shù)據(jù)流的時間的先后順序，組合所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，在所述終端的所述圖形層上響應(yīng)組合后的操作數(shù)據(jù)流，以在所述圖形層上輸出與所述組合后的操作數(shù)據(jù)流對應(yīng)的操作對象，包括:根據(jù)所述終端捕獲到所述第一語音序列的時間、以及所述終端接收到所述第二語音序列的時間先后順序，組合所述第一語音序列和所述第二語音序列，在預(yù)先建立的數(shù)據(jù)庫中確定與組合后的語音序列對應(yīng)的操作對象，并在所述終端的述圖形層上輸出確定的操作對象。
7.根據(jù)權(quán)利要求4所述的方法，其特征在于， 所述第一操作數(shù)據(jù)流包括:經(jīng)所述終端的圖形層捕獲的第一圖像序列； 所述第二操作數(shù)據(jù)流包括:所述終端接收到的、經(jīng)所述其他終端的圖形層捕獲的并發(fā)送給所述終端的第二圖像序列； 根據(jù)所述終端捕獲到所述第一操作數(shù)據(jù)流的時間、以及所述終端接收到所述第二操作數(shù)據(jù)流的時間的先后順序，組合所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，在所述終端的所述圖形層上響應(yīng)組合后的操作數(shù)據(jù)流，以在所述圖形層上輸出與所述組合后的操作數(shù)據(jù)流對應(yīng)的操作對象，包括:根據(jù)所述終端捕獲到所述第一圖像序列的時間、以及所述終端接收到所述第二圖像序列的時間先后順序，組合所述第一圖像序列和所述第二圖像序列，在預(yù)先建立的數(shù)據(jù)庫中確定與組合后的圖像序列對應(yīng)的操作對象，并在所述終端的圖形層上輸出確定的操作對象。
8.根據(jù)權(quán)利要求4-7任一所述的方法，其特征在于，與所述組合后的操作數(shù)據(jù)流對應(yīng)的操作對象包括:圖像、圖形、音效或動畫中的一種或多種。
9.一種終端，其特征在于，包括: 初始化處理模塊，用于與至少一個其他終端建立音視頻數(shù)據(jù)通信通道和共享數(shù)據(jù)通信通道，并在所述終端的顯示屏上初始化視頻層和圖形層，所述終端的顯示屏上圖形層透明且覆蓋在視頻層上方； 視頻層處理模塊，用于通過所述終端的所述視頻層顯示經(jīng)所述音視頻數(shù)據(jù)通信通道傳輸?shù)囊粢曨l數(shù)據(jù)； 操作數(shù)據(jù)流獲取模塊，用于采集經(jīng)所述終端的圖形層輸入的第一操作數(shù)據(jù)流，經(jīng)所述共享數(shù)據(jù)通信通道將所述第一操作數(shù)據(jù)流發(fā)送到所述其他終端；以及經(jīng)所述共享數(shù)據(jù)通信通道接收所述其他終端發(fā)送的第二操作數(shù)據(jù)流； 圖形層處理模塊，用于在所述終端的圖形層上響應(yīng)所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，以在所述終端的圖形層上輸出與所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象。
10.根據(jù)權(quán)利要求9所述的終端，其特征在于， 所述圖形層處理模塊，具體用于根據(jù)所述終端的圖形層的分辨率屬性，對所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象進行自適應(yīng)調(diào)整，并在所述終端的圖形層上輸出自適應(yīng)調(diào)整后的操作對象。
11.根據(jù)權(quán)利要求10所述的終端，其特征在于，與所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流對應(yīng)的操作對象包括:圖像、圖形或動畫中的一種或多種。
12.根據(jù)權(quán)利要求9所述的終端，其特征在于， 所述第一操作數(shù)據(jù)流包括:經(jīng)所述終端的圖形層捕獲并用于顯示的操作數(shù)據(jù)流；所述第二操作數(shù)據(jù)流包括:所述終端接收到的、經(jīng)所述其他終端的圖形層捕獲的并發(fā)送給所述終端的操作數(shù)據(jù)流； 所述圖形層處理模塊，具體用于根據(jù)所述終端捕獲到所述第一操作數(shù)據(jù)流的時間、以及所述終端接收到所述第二操作數(shù)據(jù)流的時間的先后順序，組合所述第一操作數(shù)據(jù)流和所述第二操作數(shù)據(jù)流，在所述終端的所述圖形層上響應(yīng)組合后的操作數(shù)據(jù)流，以在所述圖形層上輸出與所述組合后的操作數(shù)據(jù)流對應(yīng)的操作對象。
13.根據(jù)權(quán)利要求12所述的終端，其特征在于， 所述第一操作數(shù)據(jù)流包括:經(jīng)所述終端的圖形層捕獲的第一操作軌跡序列； 所述第二操作數(shù)據(jù)流包括:所述終端接收到的、經(jīng)所述其他終端的圖形層捕獲的并發(fā)送給所述終端的第二操作軌跡序列； 所述圖形層處理模塊，具體用于根據(jù)所述終端捕獲到所述第一操作軌跡序列的時間、以及所述終端接收到所述第二操作軌跡序列的時間先后順序，組合所述第一操作軌跡序列和所述第二操作軌跡序列，并在所述圖形層上輸出與所述組合后的操作軌跡序列對應(yīng)的操作對象。
14.根據(jù)權(quán)利要求12所述的終端，其特征在于， 所述第一操作數(shù)據(jù)流包括:`經(jīng)所述終端的圖形層捕獲的第一語音序列； 所述第二操作數(shù)據(jù)流包括:所述終端接收到的、經(jīng)所述其他終端的圖形層捕獲的并發(fā)送給所述終端的第二語音序列； 所述圖形層處理模塊，具體用于根據(jù)所述終端捕獲到所述第一語音序列的時間、以及所述終端接收到所述第二語音序列的時間先后順序，組合所述第一語音序列和所述第二語音序列，在預(yù)先建立的數(shù)據(jù)庫中確定與組合后的語音序列對應(yīng)的操作對象，并在所述終端的圖形層上輸出確定的操作對象。
15.根據(jù)權(quán)利要求12所述的終端，其特征在于， 所述第一操作數(shù)據(jù)流包括:經(jīng)所述終端的圖形層捕獲的第一圖像序列； 所述第二操作數(shù)據(jù)流包括:所述終端接收到的、經(jīng)所述其他終端的圖形層捕獲的并發(fā)送給所述任一終端的第二圖像序列； 所述圖形層處理模塊，具體用于根據(jù)所述終端捕獲到所述第一圖像序列的時間、以及所述終端接收到所述第二圖像序列的時間先后順序，組合所述第一圖像序列和所述第二圖像序列，在預(yù)先建立的數(shù)據(jù)庫中確定與組合后的圖像序列對應(yīng)的操作對象，并在所述終端的圖形層上輸出確定的操作對象。
16.根據(jù)權(quán)利要求12-15任一所述的終端，其特征在于，與所述組合后的操作數(shù)據(jù)流對應(yīng)的操作對象包括:圖像、圖形、音效或動畫中的一種或多種。
17.一種可視通話系統(tǒng)，其特征在于，包括:建立可視通話連接的多個終端，任一終端為如權(quán)利要求9-16任一所述的終端。
【文檔編號】H04N7/15GK103517029SQ201210213250
【公開日】2014年1月15日 申請日期:2012年6月26日 優(yōu)先權(quán)日:2012年6月26日
【發(fā)明者】亢治, 張凱 申請人:華為技術(shù)有限公司