用于視頻流的功率感知自適應(yīng)的制作方法
【專利說(shuō)明】用于視頻流的功率感知自適應(yīng)
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2013年3月06日遞交的美國(guó)臨時(shí)申請(qǐng)61/773, 379的權(quán)益，W及2014 年2月06日遞交的美國(guó)臨時(shí)申請(qǐng)61/936, 838的權(quán)益；運(yùn)兩個(gè)申請(qǐng)的內(nèi)容W引用的方式結(jié) 合與此。
【背景技術(shù)】
[0003] 移動(dòng)設(shè)備的計(jì)算能力在CPU頻率、CPU核的數(shù)目和存儲(chǔ)器大小方面有所增加。隨 著片上系統(tǒng)（SoC)和無(wú)線通信技術(shù)（例如，4G和WiFi)的進(jìn)步，移動(dòng)平臺(tái)在社會(huì)中起到重要 作用；移動(dòng)用戶的數(shù)目在增長(zhǎng)，并且移動(dòng)設(shè)備已超越了進(jìn)行語(yǔ)音通話的作用。例如，用戶可 使用移動(dòng)設(shè)備W在任意時(shí)間和任意地點(diǎn)訪問(wèn)服務(wù)。
[0004] 視頻流是運(yùn)行在無(wú)線網(wǎng)絡(luò)中的移動(dòng)平臺(tái)通常被請(qǐng)求的視頻服務(wù)。在資源受限和異 構(gòu)移動(dòng)設(shè)備上提供高質(zhì)量的視頻服務(wù)可能有許多挑戰(zhàn)。運(yùn)些挑戰(zhàn)可包括變化的網(wǎng)絡(luò)條件、 變化的顯示器大小、變化的處理能力和電池壽命。

【發(fā)明內(nèi)容】
陽(yáng)0化]用于功率感知視頻流系統(tǒng)的功率感知自適應(yīng)可基于復(fù)雜度信息，該復(fù)雜度信息可WW多種方式被傳達(dá)。例如視頻數(shù)據(jù)流的數(shù)據(jù)流的復(fù)雜度等級(jí)可W根據(jù)無(wú)線發(fā)射/接收單 元（WTRU)的剩余電池功率和可由WTRU存儲(chǔ)和/或管理的多個(gè)狀態(tài)集合中的狀態(tài)集合被選 擇。運(yùn)些狀態(tài)集合可W對(duì)應(yīng)于例如不同內(nèi)容源和/或不同復(fù)雜度估計(jì)算法，并且可被用于 選擇數(shù)據(jù)流的復(fù)雜度等級(jí)。然后數(shù)據(jù)流可W按照所選擇的復(fù)雜度等級(jí)被接收。數(shù)據(jù)流的比 特率和/或復(fù)雜度等級(jí)可W適應(yīng)于適應(yīng)例如剩余電池功率和/或其他情況。該自適應(yīng)可根 據(jù)用例的目標(biāo)被定制。
[0006] 為減少可W用于跟蹤狀態(tài)集合的存儲(chǔ)器的量，例如WTRU的解碼器設(shè)備可設(shè)置它 可跟蹤的狀態(tài)集合的數(shù)量的限制，并且當(dāng)該限制被超出時(shí)可刪除狀態(tài)集合。解碼器設(shè)備可 合并相似的狀態(tài)集合，和/或可將復(fù)雜度等級(jí)量化為功率耗散率（PDR)狀態(tài)。
[0007] 可提供用于功率感知流的設(shè)備。該設(shè)備可包括可執(zhí)行多個(gè)動(dòng)作的處理器。針對(duì)數(shù) 據(jù)片段的復(fù)雜度等級(jí)可被確定。例如，可從服務(wù)器或者經(jīng)由信號(hào)接收針對(duì)數(shù)據(jù)片段的復(fù)雜 度等級(jí)。數(shù)據(jù)片段可W是視頻流的片段。例如，處理器可確定可被解碼器使用的數(shù)據(jù)片段 的復(fù)雜度等級(jí)。針對(duì)復(fù)雜度等級(jí)的PDR可W基于在解碼數(shù)據(jù)片段時(shí)耗散的功率。可使用第 一電池電量和第二電池電量確定針對(duì)復(fù)雜度等級(jí)的PDR。可使用PDR計(jì)算狀態(tài)，例如PDR狀 態(tài)?？纱_定針對(duì)復(fù)雜度等級(jí)的第二PDR。
[0008] 可使用第一PDR和第二PDR計(jì)算例如針對(duì)復(fù)雜度等級(jí)的PDR狀態(tài)的狀態(tài)。例如， 可通過(guò)計(jì)算第一PDR和第二PDR的加權(quán)平均計(jì)算PDR狀態(tài)。作為另一示例，計(jì)算PDR狀態(tài) 可通過(guò)將第一權(quán)重施加至第一PDR來(lái)計(jì)算第一加權(quán)PDR;將第二權(quán)重施加至第二PDR來(lái)計(jì) 算第二加權(quán)PDR;和設(shè)置PDR狀態(tài)為第一加權(quán)PDR和第二加權(quán)PDR的平均。
[0009] 可確定用W播放視頻流的功率的量。例如，可確定視頻流的長(zhǎng)度或者持續(xù)時(shí)間。按 照復(fù)雜度等級(jí)播放視頻流所需的功率可通過(guò)復(fù)雜度等級(jí)的PDR(例如，PDR狀態(tài)）乘W視頻 流的長(zhǎng)度或者持續(xù)時(shí)間來(lái)計(jì)算。
[0010] 可確定剩余電池容量?？纱_定用W按照復(fù)雜度等級(jí)解碼和/或播放視頻流的功 率?？蒞確定功率是否超出剩余電池容量。如果功率可能超出剩余電池容量，另一復(fù)雜度 等級(jí)可被使用W在剩余電池容量?jī)?nèi)解碼和播放視頻流。
[0011] 可提供用于功率感知流的設(shè)備。該設(shè)備可包括被配置成執(zhí)行多個(gè)動(dòng)作的處理器。 例如，可針對(duì)數(shù)據(jù)片段確定第一復(fù)雜度等級(jí)。可從服務(wù)器或者經(jīng)由信號(hào)接收復(fù)雜度等級(jí)來(lái) 確定針對(duì)數(shù)據(jù)片段的復(fù)雜度等級(jí)。可確定解碼器的計(jì)算負(fù)載?？纱_定計(jì)算闊值。計(jì)算闊值 可由用戶設(shè)置?？纱_定計(jì)算負(fù)載可在計(jì)算闊值之上或者之下?？墒褂糜?jì)算負(fù)載來(lái)選擇第二 復(fù)雜度等級(jí)。可針對(duì)數(shù)據(jù)片段確定比特率。
[0012] 提供
【發(fā)明內(nèi)容】
W簡(jiǎn)化的形式引入選擇的概念，該概念將在【具體實(shí)施方式】中被進(jìn)一 步描述。該
【發(fā)明內(nèi)容】
不用于標(biāo)識(shí)要求保護(hù)的主題的關(guān)鍵或者必要特征，也不用于限制要求 保護(hù)的主題的范圍。而且，要求保護(hù)的主題也不限于解決本公開(kāi)的任意部分中提及的任意 或者所有缺陷的任意限制。
【具體實(shí)施方式】
[0013] 更詳細(xì)的理解可從下面的W示例方式給出并結(jié)合附圖的描述中獲得：
[0014] 圖1繪出了示例的基于HTTP的視頻流系統(tǒng)。
[0015] 圖2繪出了示例的基于塊的視頻編碼器。
[0016] 圖3繪出了示例的基于塊的視頻解碼器。 陽(yáng)017] 圖4繪出了在示例視頻回放場(chǎng)景中的功率使用的示例。 陽(yáng)01引圖5繪出了示例功率感知流系統(tǒng)。
[0019] 圖6繪出了在服務(wù)器側(cè)通過(guò)考慮分辨率、比特率和復(fù)雜度所生成的示例內(nèi)容。
[0020] 圖7繪出了復(fù)雜度感知媒體演示描述（MPD)文件的示例。
[0021] 圖8繪出了用于質(zhì)量模式的可由功率自適應(yīng)邏輯實(shí)施的示例過(guò)程。
[0022] 圖9繪出了用于多任務(wù)環(huán)境的可由功率自適應(yīng)邏輯實(shí)施的示例過(guò)程。
[0023] 圖10繪出了在其中解碼器設(shè)備可串流來(lái)自多個(gè)不同的內(nèi)容源的媒體內(nèi)容的示例 系統(tǒng)。
[0024] 圖11繪出了量化復(fù)雜度等級(jí)的示例。
[0025]圖12繪出了在使用減小的狀態(tài)集合計(jì)算功率耗散狀態(tài)中的偏置的示例。
[0026] 圖13繪出了在更新減小的狀態(tài)集合的功率耗散狀態(tài)時(shí)用于減小或者消除偏置的 插值的示例。
[0027] 圖14A是可W實(shí)施一個(gè)或多個(gè)公開(kāi)的實(shí)施方式的示例通信系統(tǒng)的系統(tǒng)圖。
[00測(cè)圖14B是在圖14A所示的通信系統(tǒng)中使用的示例無(wú)線發(fā)射/接收單元（WTRU)的 系統(tǒng)圖。
[0029] 圖14C是在圖14A所示的通信系統(tǒng)中使用的示例無(wú)線電接入網(wǎng)和示例核屯、網(wǎng)絡(luò)的 系統(tǒng)圖。
[0030] 圖14D是在圖14A所示的通信系統(tǒng)中使用的另一示例無(wú)線電接入網(wǎng)和另一示例核 屯、網(wǎng)絡(luò)的系統(tǒng)圖。
[0031] 圖14E是在圖14A示出的通信系統(tǒng)中使用的另一示例無(wú)線電接入網(wǎng)和另一示例核 屯、網(wǎng)絡(luò)的系統(tǒng)圖。
【具體實(shí)施方式】
[0032]
[0033] 對(duì)說(shuō)明性示例的詳細(xì)描述將在此處參考各種圖被描述。雖然該描述提供了可能的 實(shí)施方式的詳細(xì)示例，但應(yīng)該理解的是，運(yùn)些細(xì)節(jié)是用于示例的目的，而決不限制本申請(qǐng)的 范圍。
[0034] 用于功率感知視頻流系統(tǒng)的功率感知自適應(yīng)可基于復(fù)雜度信息，該復(fù)雜度信息可 WW多種方式被傳達(dá)。例如視頻數(shù)據(jù)流的數(shù)據(jù)流的復(fù)雜度等級(jí)可根據(jù)無(wú)線發(fā)射/接收系統(tǒng) (WTRU)的剩余電池功率和可由WTRU存儲(chǔ)和/或管理的多個(gè)狀態(tài)集合中的狀態(tài)集合被選擇。 運(yùn)些狀態(tài)集合可W對(duì)應(yīng)于例如不同內(nèi)容源和/或不同復(fù)雜度估計(jì)算法，并且可被用于選擇 數(shù)據(jù)流的復(fù)雜度等級(jí)。然后數(shù)據(jù)流可W按照所選擇的復(fù)雜度等級(jí)被接收。數(shù)據(jù)流的比特率 和/或復(fù)雜度等級(jí)可W被適應(yīng)于適應(yīng)例如剩余電池功率和/或其他情況。該自適應(yīng)可根據(jù) 用例的目標(biāo)被定制。
[0035] 為減少可W用于跟蹤狀態(tài)集合的存儲(chǔ)器的量，例如WTRU的解碼器設(shè)備可設(shè)置它 可跟蹤的狀態(tài)集合的數(shù)量的限制，并且當(dāng)該限制被超出時(shí)可刪除狀態(tài)集合。解碼器設(shè)備可 合并相似的狀態(tài)集合，和/或可將復(fù)雜度等級(jí)量化為功率耗散率（PDR)狀態(tài)。
[0036] 可提供用于功率感知流的設(shè)備。該設(shè)備可包括可執(zhí)行多個(gè)動(dòng)作的處理器。針對(duì)數(shù) 據(jù)片段的復(fù)雜度等級(jí)可被確定。例如，可從服務(wù)器或者經(jīng)由信號(hào)接收針對(duì)數(shù)據(jù)片段的復(fù)雜 度等級(jí)。數(shù)據(jù)片段可W是視頻流的片段。例如，處理器可確定可被解碼器使用的數(shù)據(jù)片段 的復(fù)雜度等級(jí)。針對(duì)復(fù)雜度等級(jí)的PDR可W基于在解碼數(shù)據(jù)片段時(shí)耗散的功率?？墒褂玫?一電池電量和第二電池電量確定針對(duì)復(fù)雜度等級(jí)的PDR?？墒褂肞DR計(jì)算狀態(tài)，例如PDR狀 態(tài)?？纱_定針對(duì)復(fù)雜度等級(jí)的第二PDR。
[0037] 可使用第一PDR和第二PDR計(jì)算例如針對(duì)復(fù)雜度等級(jí)的PDR狀態(tài)的狀態(tài)。例如， 可通過(guò)計(jì)算第一PDR和第二PDR的加權(quán)平均計(jì)算PDR狀態(tài)。作為另一示例，計(jì)算PDR狀態(tài) 可通過(guò)將第一權(quán)重施加至第一PDR來(lái)計(jì)算第一加權(quán)PDR;將第二權(quán)重施加至第二PDR來(lái)計(jì) 算第二加權(quán)PDR;和設(shè)置PDR狀態(tài)為第一加權(quán)PDR和第二加權(quán)PDR的平均。
[0038] 可確定用W播放視頻流的功率的量。例如，可確定視頻流的長(zhǎng)度或者持續(xù)時(shí)間。按 照復(fù)雜度等級(jí)播放視頻流所需的功率可通過(guò)用復(fù)雜度等級(jí)的PDR(例如，PDR狀態(tài)）乘W視 頻流的長(zhǎng)度或者持續(xù)時(shí)間來(lái)計(jì)算。
[0039] 可確定剩余電池容量?？纱_定用W按照復(fù)雜度等級(jí)解碼和/或播放視頻流的功 率?？蒞確定功率是否超出剩余電池容量。如果功率可超出剩余電池容量，另一復(fù)雜度等 級(jí)可被使用W在剩余電池容量?jī)?nèi)解碼和播放視頻流。
[0040] 可提供用于功率感知流的設(shè)備。該設(shè)備可包括被配置成執(zhí)行多個(gè)動(dòng)作的處理器。 例如，可針對(duì)數(shù)據(jù)片段確定第一復(fù)雜度等級(jí)?？蓮姆?wù)器或者經(jīng)由信號(hào)接收復(fù)雜度等級(jí)來(lái) 確定針對(duì)數(shù)據(jù)片段的復(fù)雜度等級(jí)。可確定解碼器的計(jì)算負(fù)載?？纱_定計(jì)算闊值。計(jì)算闊值 可由用戶設(shè)置?？纱_定計(jì)算負(fù)載可W在計(jì)算闊值之上或者之下?？墒褂糜?jì)算負(fù)載來(lái)選擇第 二復(fù)雜度等級(jí)?？舍槍?duì)數(shù)據(jù)片段確定比特率。
[0041] 如此處所述，功率自適應(yīng)可在客戶端側(cè)被執(zhí)行。例如，功率自適應(yīng)可被應(yīng)用于功率 感知流系統(tǒng)。功率耗散狀態(tài)可被例如WTRU的解碼器設(shè)備跟蹤、維護(hù)和使用。例如，內(nèi)容提 供商或者內(nèi)容源可使用不同算法W估計(jì)內(nèi)容的復(fù)雜度，其可和與解碼該內(nèi)容相關(guān)聯(lián)的功率 耗散有關(guān)。解碼器設(shè)備可分辨出和適應(yīng)于運(yùn)些不同的算法。
[0042] 視頻流可W是針對(duì)可運(yùn)行在無(wú)線網(wǎng)絡(luò)上的移動(dòng)平臺(tái)的被請(qǐng)求的視頻服務(wù)。在資 源受限的移動(dòng)設(shè)備上提供高質(zhì)量的視頻服務(wù)可能有許多挑戰(zhàn)。例如，網(wǎng)絡(luò)條件可變化、顯 示器大小可變化、處理能力可變化，W及還有電池壽命。許多服務(wù)提供商采用HTTP上的動(dòng) 態(tài)自適應(yīng)流（dynamicadaptivestreamingoverHTTP,簡(jiǎn)寫(xiě)為DASH)解決方案，因?yàn)樗鼈?可允許服務(wù)提供商重復(fù)使用現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)設(shè)施特別是CDN網(wǎng)絡(luò)，并且可穿過(guò)防火墻。例如， EdgeC^ist和等級(jí)3使用來(lái)自Microsoft的平滑流，而Akamai和CloudFront使用來(lái)自Adobe 的動(dòng)態(tài)HTTP流。iOS設(shè)備可支持Apple的HTTP直播流。
[0043] 在DA甜中，媒體可被組織成可被解碼的片段。內(nèi)容可W按照不同的質(zhì)量或者分辨 率被編碼并且可被砍成片段。那些內(nèi)容的信息（例如比特率，字節(jié)范圍和U化等）可在被稱 為媒體演示描述（MPD)的基于XML的清單（manifest)文件中被描述。客戶端可通過(guò)HTTP 訪問(wèn)該內(nèi)容并且可根據(jù)MTO文件選擇可滿足其帶寬或者分辨率規(guī)范的片段。
[0044] 圖1繪出了示例的基于HTTP的視頻流系統(tǒng)，如系統(tǒng)200。捕獲的內(nèi)容可被壓縮并 且可被砍成小片段。例如，在一些流系統(tǒng)中片段可在2至10秒長(zhǎng)度之間。在202處，片段 可被存儲(chǔ)在一個(gè)或者多個(gè)HTTP流服務(wù)器中和/或經(jīng)由內(nèi)容遞送網(wǎng)絡(luò)（CDN)被分配。在流 會(huì)話開(kāi)始時(shí)，客戶端可請(qǐng)求和接收來(lái)自202處的HTTP流服務(wù)器的MTO文件?？蛻舳丝筛鶕?jù) 其能力（例如其顯示器分辨率和可用帶寬）決定請(qǐng)求哪些片段?？蛻舳丝烧?qǐng)求來(lái)自202處 的服務(wù)器的適當(dāng)片段，每當(dāng)客戶端請(qǐng)求時(shí)，該服務(wù)器可向該客戶端發(fā)送視頻片段。經(jīng)由HTTP 傳送的片段可被緩存在204上的服務(wù)器或者HTTP緩存服務(wù)器中。運(yùn)可允許緩存的片段被 其他用戶重復(fù)使用，并且可允許系統(tǒng)提供大范圍的流服務(wù)。
[0045] 在一些流系統(tǒng)中，為節(jié)省傳輸帶寬和存儲(chǔ)量，單層視頻編碼可被用W壓縮視頻內(nèi) 容并產(chǎn)生不同的比特流。圖2是示出示例的基于塊的層視頻編碼器300的方框圖，基于塊的 層視頻編碼器300可用W產(chǎn)生用于例如流系統(tǒng)200的流系統(tǒng)的比特流。為實(shí)現(xiàn)有效壓縮， 單層編碼器可采用例如在302處的空間預(yù)測(cè)（其可被稱為內(nèi)預(yù)測(cè)）和/或在304處的時(shí)間 預(yù)測(cè)（其可被稱為間預(yù)測(cè)和/或運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)），W預(yù)測(cè)輸入視頻信號(hào)。編碼器也可具有 模式?jīng)Q策邏輯306,模式?jīng)Q策邏輯306可例如根據(jù)如速率和失真考慮的結(jié)合的一定規(guī)范來(lái) 選擇預(yù)測(cè)形式（例如，最適合的形式）。編碼器可在308處轉(zhuǎn)換和在310處量化預(yù)測(cè)剩余 (其可W是輸入信號(hào)和預(yù)測(cè)信號(hào)間的差信號(hào)）。量化的剩余連同模式信息（例如，內(nèi)預(yù)測(cè)或 者間預(yù)測(cè)）和預(yù)測(cè)信息（例如運(yùn)動(dòng)向量、參考圖像索引、內(nèi)預(yù)測(cè)模式等）一起可在賭編碼器 312中被進(jìn)一步壓縮并且被分組為輸出視頻比特流314。如圖2中所示，編碼器還可通過(guò)對(duì) 量化剩余應(yīng)用在316處的逆量化和在318處的逆轉(zhuǎn)換W獲取重構(gòu)剩余并且在320處將其加 回預(yù)測(cè)信號(hào)來(lái)產(chǎn)生重構(gòu)的視頻信號(hào)。重構(gòu)的視頻信號(hào)可通過(guò)環(huán)路濾波處理322 (例如，去塊 濾波、采樣自適應(yīng)偏移或者自適應(yīng)環(huán)路濾波）并且可被存儲(chǔ)在可用于預(yù)測(cè)視頻信號(hào)的參考 圖像庫(kù)324中。
[0046] 圖3是示例的基于塊的單層解碼器400的方框圖，該單層解碼器400可接收由例 如編碼器300的編碼器產(chǎn)生的視頻比特流，并且可重構(gòu)視頻信號(hào)W被顯示。在解碼器400 處，比特流可被賭解碼器402解析。剩余系數(shù)（resi化alcoefficient)可在404中被逆量 化并且在406中被逆轉(zhuǎn)換W獲取重構(gòu)剩余。編碼模式和預(yù)測(cè)信息可通過(guò)使用空間預(yù)測(cè)408 和/或時(shí)間預(yù)測(cè)410被用W獲取預(yù)測(cè)信號(hào)。預(yù)測(cè)信號(hào)和重構(gòu)剩余可在412被加在一起W得 到重構(gòu)視頻。重構(gòu)視頻可通過(guò)在414處的環(huán)路濾波，可被存儲(chǔ)在參考圖像庫(kù)416中，可在418 處被顯示，和/或可被用W解碼視頻信號(hào)?？墒褂美缇幋a器300的基于塊的編碼器和例 如解碼器400的解碼器的多個(gè)視頻編碼標(biāo)準(zhǔn)，包括MPEG-2視頻、MPEG4視覺(jué)、H. 264/AVC和 肥VC。
[0047] 移動(dòng)設(shè)備的功率持久力可影響應(yīng)用性能。參考移動(dòng)平臺(tái)的功率使用可在多種條件 下被分析。例如，如處理器、顯示器、內(nèi)部和外部存儲(chǔ)器和無(wú)線電（例如，GSM/3G/4G/WiFi) 的部件的功率消耗可被評(píng)估。在