本申請涉及視頻通信領(lǐng)域，具體涉及一種自適應(yīng)視頻通話方法、裝置、設(shè)備及計算機程序產(chǎn)品。

背景技術(shù)：

1、現(xiàn)有技術(shù)方案實現(xiàn)點對點通話一般使用對稱協(xié)商或者最大編碼分辨率協(xié)商，對稱協(xié)商導(dǎo)致一端分辨率低，另一端也同時低，用戶體驗差。最大編碼分辨率協(xié)商盡可能輸送最大分辨率，但是未考慮智能終端自身優(yōu)缺點，以及渲染區(qū)域問題，導(dǎo)致在很小的渲染區(qū)域仍會展示很大的分辨率，無辜浪費系統(tǒng)資源。

2、多方通話時，現(xiàn)有融屏方案成本昂貴，存在黑屏占位區(qū)并且終端無法操作每一個視頻流界面。由于終端對視頻流解碼方案低功耗、終端尺寸不一樣、cpu性能有限、內(nèi)存低以及編解碼能力弱，對能顯示的視頻流畫面和交互形式都有一定要求，該方案一般發(fā)送端視頻流不滿足接收端最佳性能要求，并且直接展示在固定區(qū)域，對于動態(tài)分辨率變化會有黑邊填充體驗差問題。另外通過云臺移動、變焦或者裁剪圖像的方式達到自適應(yīng)圖像的方案完全依賴云臺，未進行視頻能力協(xié)商，不適用跨終端設(shè)備復(fù)雜視頻通信場景。

技術(shù)實現(xiàn)思路

1、本申請實施例提供一種自適應(yīng)視頻通話方法、裝置、設(shè)備及計算機程序產(chǎn)品，用以解決現(xiàn)有視頻通話方案存在的不適用跨終端設(shè)備復(fù)雜視頻通信場景的技術(shù)問題。

2、第一方面，本申請實施例提供一種自適應(yīng)視頻通話方法，應(yīng)用于自適應(yīng)視頻通話系統(tǒng)，所述自適應(yīng)視頻通話系統(tǒng)包括目標終端和信令平臺，所述目標終端包括主叫終端和被叫終端，所述自適應(yīng)視頻通話方法包括：

3、基于所述目標終端的視頻能力信息，接收所述信令平臺從視頻能力協(xié)商規(guī)則集中選取的所述目標終端的編碼視頻要求；

4、接收所述主叫終端基于所述編碼視頻要求發(fā)送的視頻流；

5、基于所述被叫終端的算力和視頻能力信息，確定所述被叫終端的渲染自適應(yīng)操作；

6、基于所述渲染自適應(yīng)操作對所述視頻流進行解碼和自適應(yīng)渲染，以實現(xiàn)所述主叫終端和所述被叫終端之間的視頻通話。

7、在一個實施例中，所述基于所述目標終端的視頻能力信息，接收所述信令平臺從視頻能力協(xié)商規(guī)則集中選取的所述目標終端的編碼視頻要求之后包括：

8、通過所述信令平臺將所述主叫終端的編碼視頻要求和所述被叫終端的視頻詳情信轉(zhuǎn)發(fā)至所述主叫終端；

9、通過所述信令平臺將所述被叫終端的編碼視頻要求和所述主叫終端的視頻詳情信轉(zhuǎn)發(fā)至所述被叫終端。

10、在一個實施例中，所述基于所述目標終端的視頻能力信息，接收所述信令平臺從視頻能力協(xié)商規(guī)則集中選取的所述目標終端的編碼視頻要求之后還包括：

11、接收第一視頻流和第二視頻流，所述第一視頻流是所述主叫終端基于所述主叫終端的編碼視頻要求發(fā)送的，所述第二視頻流是所述被叫終端基于所述被叫終端的編碼視頻要求發(fā)送的；

12、基于所述被叫終端的渲染自適應(yīng)操作對所述第一視頻流進行解碼和自適應(yīng)渲染；

13、基于所述主叫終端的渲染自適應(yīng)操作對所述第二視頻流進行解碼和自適應(yīng)渲染。

14、在一個實施例中，所述基于所述渲染自適應(yīng)操作對所述視頻流進行解碼和自適應(yīng)渲染包括：

15、在所述主叫終端的算力滿足所述主叫終端的編碼視頻要求，且所述被叫終端的展示比例與所述主叫終端的編碼分辨率比例不一致的情況下，基于人像居中原則和所述展示比例對所述主叫終端發(fā)送的視頻流進行裁剪，再對裁剪后的視頻流進行編碼后發(fā)送至所述被叫終端。

16、在一個實施例中，所述基于所述渲染自適應(yīng)操作對所述視頻流進行解碼和自適應(yīng)渲染還包括：

17、在所述主叫終端的算力不滿足所述主叫終端的編碼視頻要求，基于所述主叫終端的編碼視頻要求對所述主叫終端發(fā)送的視頻流進行編碼后發(fā)送至所述被叫終端，基于所述被叫終端的展示比例和所述人像居中原則，對編碼后的視頻流進行顯示調(diào)整。

18、在一個實施例中，所述基于所述目標終端的視頻能力信息，接收所述信令平臺從視頻能力協(xié)商規(guī)則集中選取的所述目標終端的編碼視頻要求包括：

19、基于所述被叫終端的顯示尺寸和展示區(qū)域，以及所述主叫終端的編碼分辨率，接收所述信令平臺從視頻能力協(xié)商規(guī)則集中選取的所述目標終端的編碼視頻要求。

20、在一個實施例中，所述基于所述目標終端的視頻能力信息，接收所述信令平臺從視頻能力協(xié)商規(guī)則集中選取的所述目標終端的編碼視頻要求之前，包括：

21、通過所述信令平臺將所述主叫終端發(fā)起的呼叫轉(zhuǎn)發(fā)給所述被叫終端；

22、在接收到所述被叫終端基于所述呼叫回復(fù)的響應(yīng)的情況下，獲取所述目標終端的視頻能力信息，將所述目標終端的視頻能力信息上傳至所述信令平臺。

23、第二方面，本申請實施例提供一種自適應(yīng)視頻通話裝置，包括：

24、編碼視頻要求接收模塊，用于基于目標終端的視頻能力信息，接收信令平臺從視頻能力協(xié)商規(guī)則集中選取的所述目標終端的編碼視頻要求；

25、視頻流接收模塊，用于接收主叫終端基于所述編碼視頻要求發(fā)送的視頻流；

26、渲染自適應(yīng)操作模塊，用于基于所述被叫終端的算力和視頻能力信息，確定被叫終端的渲染自適應(yīng)操作；

27、視頻流解碼渲染模塊，用于基于所述渲染自適應(yīng)操作對所述視頻流進行解碼和自適應(yīng)渲染，以實現(xiàn)所述主叫終端和所述被叫終端之間的視頻通話。

28、第三方面，本申請實施例提供一種設(shè)備，包括處理器和存儲有計算機程序的存儲器，所述處理器執(zhí)行所述計算機程序時實現(xiàn)第一方面所述的自適應(yīng)視頻通話方法。

29、第四方面，本申請實施例提供一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)第一方面所述的自適應(yīng)視頻通話方法。

30、本申請實施例提供的自適應(yīng)視頻通話方法、裝置、設(shè)備及計算機程序產(chǎn)品，自適應(yīng)視頻通話方法的流程主要包括視頻能力協(xié)商和渲染自適應(yīng)兩部分，主叫終端和被叫終端將各自的視頻能力信息上傳給信令平臺，信令平臺對視頻能力信息反序列化后路由至對應(yīng)服務(wù)，通過建立好的最佳渲染視頻規(guī)則庫，返回給各終端需要編碼的視頻流要求以及協(xié)商后的視頻流詳細參數(shù)信息。由于各終端性能限制或者顯示尺寸大小不一，在固定區(qū)域展示不同分辨率的視頻時會有黑邊填充出現(xiàn)，本申請基于終端自身特點，利用端側(cè)智能算力，協(xié)商利用算力分散對視頻流圖像進行人像分析、按展示區(qū)域等比例自適應(yīng)裁減，以達到更佳用戶體驗。

技術(shù)特征：

1.一種自適應(yīng)視頻通話方法，其特征在于，應(yīng)用于自適應(yīng)視頻通話系統(tǒng)，所述自適應(yīng)視頻通話系統(tǒng)包括目標終端和信令平臺，所述目標終端包括主叫終端和被叫終端，所述自適應(yīng)視頻通話方法包括：

2.根據(jù)權(quán)利要求1所述的自適應(yīng)視頻通話方法，其特征在于，所述基于所述目標終端的視頻能力信息，接收所述信令平臺從視頻能力協(xié)商規(guī)則集中選取的所述目標終端的編碼視頻要求之后包括：

3.根據(jù)權(quán)利要求1所述的自適應(yīng)視頻通話方法，其特征在于，所述基于所述目標終端的視頻能力信息，接收所述信令平臺從視頻能力協(xié)商規(guī)則集中選取的所述目標終端的編碼視頻要求之后還包括：

4.根據(jù)權(quán)利要求1所述的自適應(yīng)視頻通話方法，其特征在于，所述基于所述渲染自適應(yīng)操作對所述視頻流進行解碼和自適應(yīng)渲染包括：

5.根據(jù)權(quán)利要求1所述的自適應(yīng)視頻通話方法，其特征在于，所述基于所述渲染自適應(yīng)操作對所述視頻流進行解碼和自適應(yīng)渲染還包括：

6.根據(jù)權(quán)利要求所述的自適應(yīng)視頻通話方法，其特征在于，所述基于所述目標終端的視頻能力信息，接收所述信令平臺從視頻能力協(xié)商規(guī)則集中選取的所述目標終端的編碼視頻要求包括：

7.根據(jù)權(quán)利要求1所述的自適應(yīng)視頻通話方法，其特征在于，所述基于所述目標終端的視頻能力信息，接收所述信令平臺從視頻能力協(xié)商規(guī)則集中選取的所述目標終端的編碼視頻要求之前，包括：

8.一種自適應(yīng)視頻通話裝置，其特征在于，包括：

9.一種電子設(shè)備，包括處理器和存儲有計算機程序的存儲器，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至7任一項所述的自適應(yīng)視頻通話方法。

10.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至7任一項所述的自適應(yīng)視頻通話方法。

技術(shù)總結(jié)
本申請涉及視頻通信領(lǐng)域，提供一種自適應(yīng)視頻通話方法、裝置、設(shè)備及計算機程序產(chǎn)品。應(yīng)用于包括目標終端和信令平臺的自適應(yīng)視頻通話系統(tǒng)，目標終端又包括主叫終端和被叫終端，自適應(yīng)視頻通話方法包括：基于目標終端的視頻能力信息，接收信令平臺從視頻能力協(xié)商規(guī)則集中選取的目標終端的編碼視頻要求；接收主叫終端基于編碼視頻要求發(fā)送的視頻流；基于被叫終端的算力和視頻能力信息，確定被叫終端的渲染自適應(yīng)操作；基于渲染自適應(yīng)操作對視頻流進行解碼和自適應(yīng)渲染，以實現(xiàn)主叫終端和被叫終端之間的視頻通話。本申請基于終端自身特點，利用端側(cè)智能算力和算力分散對視頻流圖像進行人像分析、按展示區(qū)域等比例自適應(yīng)裁減，以達到更佳用戶體驗。

技術(shù)研發(fā)人員：蔡志標,張超,許書昱,周駿華,吳慶航
受保護的技術(shù)使用者：中移（杭州）信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21