一種用于720度全景視頻網(wǎng)絡(luò)播放的碼流緩存機制的制作方法
【專利摘要】本發(fā)明公開了一種用于720度全景視頻網(wǎng)絡(luò)播放的碼流緩存機制，其涉及視頻全景圖像處理技術(shù)領(lǐng)域，主要將全景視頻流媒體進行分段處理，處理之后的數(shù)據(jù)塊分別存儲于緩存區(qū)域的靜態(tài)緩存區(qū)和動態(tài)緩存區(qū)。靜態(tài)緩存區(qū)主要存放主視角視頻幀數(shù)據(jù)，負責(zé)提供主視角目標區(qū)域的視頻流數(shù)據(jù)塊，避免由于網(wǎng)絡(luò)不穩(wěn)定而造成客戶端觀看視頻發(fā)生抖動和停頓的現(xiàn)象；動態(tài)緩存區(qū)主要為客戶端提供及時響應(yīng)，第一區(qū)段存放輔助視角數(shù)據(jù)包，當(dāng)觀看視角發(fā)生變化時，根據(jù)當(dāng)前主視角目標區(qū)域的位置，動態(tài)地更新并存儲相應(yīng)擴展區(qū)域內(nèi)鄰域視角的視頻流數(shù)據(jù)塊，第二區(qū)段根據(jù)用戶的操作習(xí)慣和特征，記錄全景視頻中感興趣的片段，提供快速響應(yīng)。
【專利說明】
一種用于720度全景視頻網(wǎng)絡(luò)播放的碼流緩存機制
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及視頻全景圖像處理技術(shù)領(lǐng)域，具體一種用于720度全景視頻網(wǎng)絡(luò)播放 的碼流緩存機制。
【背景技術(shù)】
[0002] 隨著網(wǎng)絡(luò)時代圖像信息技術(shù)的發(fā)展，使得全景視頻實現(xiàn)網(wǎng)絡(luò)交互式播放成為可 能。全景視頻是指通過多個攝像頭或全景攝像機在不同時刻采集的全景圖序列，承載著豐 富的信息量，可以將變化的場景進行實時播放。其中，720度全景視頻是指用戶可以通過鼠 標或頭盔，在水平360度和垂直360度方向任意選擇觀看角度，對全景視頻中感興趣的場景 進行瀏覽，如同身臨其境。由于全景視頻數(shù)據(jù)量巨大、實時性強、對同步要求較高，使其在網(wǎng) 絡(luò)上的應(yīng)用受到很大的限制。
[0003] 為了解決這一問題，利用流媒體技術(shù)將視頻信息通過網(wǎng)絡(luò)傳輸?shù)娇蛻舳?。但在?輸過程中一個實時的視頻或音頻文件可能被分解為多個數(shù)據(jù)包，動態(tài)變化的網(wǎng)絡(luò)環(huán)境下， 選擇不同路由的數(shù)據(jù)包，到達客戶端的時間延遲不等，可能出現(xiàn)先發(fā)出的數(shù)據(jù)包反而滯后 到達客戶端。因此，流式傳輸?shù)膶崿F(xiàn)需要使用緩存機制來彌補延遲和抖動的影響，確保數(shù)據(jù) 包順序的正確，使媒體數(shù)據(jù)能夠連續(xù)輸出，不因網(wǎng)絡(luò)的暫時擁堵而出現(xiàn)播放停頓現(xiàn)象。緩存 機制是在客戶端建立的緩沖區(qū)，將用戶頻繁請求的數(shù)據(jù)塊存儲于該緩沖區(qū)中，有選擇性的 丟棄已經(jīng)播放過的數(shù)據(jù)，有目的性的預(yù)存未來要播放的數(shù)據(jù)，并通過相應(yīng)的策略保證本節(jié) 點和鄰居節(jié)點能夠流暢平穩(wěn)的播放。緩存機制能有效地降低網(wǎng)絡(luò)堵塞，緩解帶寬瓶頸，減少 抖動，減輕服務(wù)器負載，從而得到快速響應(yīng)和平穩(wěn)的視頻數(shù)據(jù)。經(jīng)典的緩存機制有:FIF0、 LRU、LFU，另外還有基于概率的緩存機制、基于流行度的緩存機制、基于分組的緩存機制等。 FIF0(First In First Out)是先入先出算法，最符合人們慣性思維的經(jīng)典算法，該方法原 理簡單，較適合順序播放的視頻；LRU(Least Recently Used)最少最近使用方法與LFU (Least Frequently Used)最少頻繁使用算法都是廣泛使用的緩存替換算法，當(dāng)緩存空間 不足時LRU刪除最近訪問次數(shù)最少的數(shù)據(jù)塊，LFU刪除訪問頻率最小的數(shù)據(jù)，這兩種經(jīng)典算 法簡單、易于實現(xiàn)，但存在效率低，命中率低的問題;基于概率的緩存機制主要思想是通過 計算每個片段在下一時間被播放的概率，緩存高概率片段，替換低概率片段，這種算法對預(yù) 播片段起到很好的預(yù)測作用，但替換太頻繁，容易影響鄰居節(jié)點播放的流暢度;基于流行度 的緩存機制是按照片段流行度優(yōu)先級的高低進行緩存，該算法相對簡單，但對單一視頻的 優(yōu)化效果不明顯;基于分組的緩存機制是將所有節(jié)點分組，每組緩存不同的節(jié)目片段，并設(shè) 置代理節(jié)點響應(yīng)本組內(nèi)節(jié)點的請求，算法的優(yōu)勢在于降低了服務(wù)器的負載，確保系統(tǒng)的穩(wěn) 定性，但每個代理節(jié)點都只有本組的冗余信息，而無法確定整個系統(tǒng)的冗余度。

【發(fā)明內(nèi)容】

[0004] 針對上述技術(shù)問題，本發(fā)明提出了一種用于720度全景視頻網(wǎng)絡(luò)播放的碼流緩存 機制，通過緩存區(qū)域劃分的方式，合理設(shè)計動態(tài)和靜態(tài)緩存區(qū)，保證視頻播放的流暢度，對 全景視頻中用戶感興趣的片段進行定期動態(tài)存儲，降低服務(wù)器的負載。
[0005] 本發(fā)明的具體技術(shù)方案是：
[0006] 一種用于720度全景視頻網(wǎng)絡(luò)播放的碼流緩存機制，將緩存區(qū)域劃分為兩個部分， 主要包括靜態(tài)緩存區(qū)和動態(tài)緩存區(qū)。靜態(tài)緩存區(qū)主要存放主視角視頻幀數(shù)據(jù)，負責(zé)提供主 視角目標區(qū)域的視頻流數(shù)據(jù)塊，避免由于網(wǎng)絡(luò)不穩(wěn)定而造成客戶端觀看視頻發(fā)生抖動和停 頓的現(xiàn)象;動態(tài)緩存區(qū)主要為客戶端提供及時響應(yīng)，動態(tài)緩存區(qū)包括第一區(qū)段和第二區(qū)段， 所述第一區(qū)段存放輔助視角數(shù)據(jù)包，當(dāng)觀看視角發(fā)生變化時，根據(jù)當(dāng)前主視角目標區(qū)域的 位置，動態(tài)地更新并存儲相應(yīng)擴展區(qū)域內(nèi)鄰域視角的視頻流數(shù)據(jù)塊;所述第二區(qū)段根據(jù)用 戶的操作習(xí)慣和特征，記錄全景視頻中感興趣的片段，提供快速響應(yīng);通過碼流緩存機制的 合理設(shè)計，以保證觀眾在客戶端進行多方位、多角度瀏覽時，全景視頻能夠平穩(wěn)流暢的播 放。
[0007] 進一步優(yōu)選，所述靜態(tài)緩存區(qū)工作流程包括如下步驟：
[0008] (1.1)以視角點和時間作為全景視頻中某一幀圖像對應(yīng)關(guān)系的兩個特征量，將流 媒體數(shù)據(jù)按照不同視角點分類，分為主視角數(shù)據(jù)包、輔助視角數(shù)據(jù)包和其他視角數(shù)據(jù)包；
[0009] (1.2)按照步驟(1.1)中各視角視頻幀占用空間，在緩存區(qū)空間內(nèi)對每個視頻幀必 須保留部分冗余，估計視角碼流中一個完整幀所占用的最大體積，求取各視角所對應(yīng)的緩 存區(qū)體積，保證系統(tǒng)的穩(wěn)定性；
[0010] (1.3)根據(jù)需求設(shè)定緩存區(qū)空間大小之后，基于多視角碼流可分級編碼的編碼方 案，將全景視頻的碼流進行視角編號，并在TS包的頭部PID字段進行標記，通過視角編號與 PID字段值的對應(yīng)關(guān)系，各個視角的碼流加以區(qū)分；
[0011] (1.4)根據(jù)步驟(1.3)完成了多視角碼流的分離，將主視角碼流按照時間先后順序 存入靜態(tài)緩存區(qū)，為客戶端提供視頻播放數(shù)據(jù)。
[0012] 進一步優(yōu)選，所述動態(tài)緩存區(qū)主要負責(zé)客戶端操作的緊急響應(yīng)，并為播放區(qū)提前 準備播放數(shù)據(jù)，其工作流程包括以下步驟：
[0013] (2.1)將分離數(shù)據(jù)包中的輔助視角碼流，即主視角所對應(yīng)的四鄰域視角方向上的 視頻數(shù)據(jù)流，按照各自的視角編號存放在動態(tài)緩存區(qū)的第一區(qū)段；
[0014] (2.2)根據(jù)用戶觀看全景視頻的操作習(xí)慣和特征，通過對主視角及相應(yīng)輔助視角 中數(shù)據(jù)塊的請求次數(shù)，判斷視頻片段中數(shù)據(jù)塊是否流行，并計算各數(shù)據(jù)塊的流行度；
[0015] (2.3)由步驟(2.2)得到流行度值，按照數(shù)據(jù)塊流行度的高低進行排序，找出流行 度最高的數(shù)據(jù)塊，將包含這些數(shù)據(jù)塊的片段存儲在動態(tài)緩存區(qū)第二區(qū)段，為客戶端提供及 時響應(yīng)數(shù)據(jù)。
[0016] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：
[0017] 本發(fā)明提出的一種720度全景視頻網(wǎng)絡(luò)播放的碼流緩存機制，對緩存區(qū)域進行靜 態(tài)和動態(tài)區(qū)域劃分，通過碼流緩存機制的合理設(shè)計，以保證觀眾在客戶端進行多方位、多角 度瀏覽時，全景視頻能夠平穩(wěn)流暢的播放。
【附圖說明】
[0018] 圖1全景視頻網(wǎng)絡(luò)播放總框圖；
[0019] 圖2碼流緩存機制框圖；
[0020] 圖3不同視角視頻流分離示意圖。
【具體實施方式】
[0021] 以下將結(jié)合附圖對本發(fā)明做進一步詳細說明。
[0022] 將全景攝像機所采集的多媒體文件主要包括全景視頻數(shù)據(jù)和音頻數(shù)據(jù)兩個部分， 發(fā)布者通過網(wǎng)絡(luò)上對數(shù)據(jù)包進行壓縮并傳送到服務(wù)器端，當(dāng)客戶端發(fā)送播放請求時，服務(wù) 器對請求作出響應(yīng)，以流媒體傳輸?shù)男问綄?shù)據(jù)包發(fā)送至客戶端。而流式傳輸?shù)膶崿F(xiàn)需要 使用緩存機制來彌補延遲和抖動的影響，確保數(shù)據(jù)包順序的正確，使媒體數(shù)據(jù)能夠連續(xù)輸 出，不因網(wǎng)絡(luò)的暫時擁堵而出現(xiàn)播放停頓現(xiàn)象。再通過多碼流同步恢復(fù)技術(shù)和解碼之后，將 數(shù)據(jù)包按照需求發(fā)送至客戶端。為了保證客戶端接收到的視頻在用戶交互式操作情況下， 仍然能夠平穩(wěn)順暢地播放，對系統(tǒng)建立合理的緩存機制十分必要。
[0023] 將緩存區(qū)域劃分為兩個部分在客戶端對碼流數(shù)據(jù)包進行存儲，主要包括靜態(tài)緩存 區(qū)域和動態(tài)緩存區(qū)域。靜態(tài)存儲區(qū)域主要用來存放主視角數(shù)據(jù)包，保證主視角碼流可以完 整獨立地播放。動態(tài)緩存區(qū)域劃分了子區(qū)域，圖2中的第一區(qū)段存放輔助視角數(shù)據(jù)包，即主 視角四鄰域方向上的視角數(shù)據(jù)包，作為主視角的輔助緩存區(qū)，根據(jù)用戶的交互式操作，動態(tài) 地更替該區(qū)域內(nèi)所存放的數(shù)據(jù);第二區(qū)段根據(jù)用戶的操作習(xí)慣和特征，記錄用戶對全景視 頻感興趣的片段，將這些片段序列進行緩存，當(dāng)客戶端再次發(fā)出請求時，不需要向服務(wù)器端 提取數(shù)據(jù)，緩存區(qū)域能夠提供快速響應(yīng)。
[0024] 建立以視角點和時間為表征量的直角坐標系，橫坐標表示時間Time，縱坐標表示 視角點View，全景視頻的每一幀圖像與二者存在對應(yīng)關(guān)系，即在某個視角點v上的t時刻對 應(yīng)全景視頻中的一幀圖像。設(shè)全景視頻的播放總時長ST_Sum，則在視角點v上，從0時刻開 始播放至1'_51 1111時刻，所對應(yīng)的視頻數(shù)據(jù)為方向視角v上的一個局部完整視頻數(shù)據(jù)。同理，更 換視角點在視頻播放時段內(nèi)對應(yīng)多個不同視角的局部完整視頻數(shù)據(jù)，所有視角點在播放時 間內(nèi)的數(shù)據(jù)總和構(gòu)成了720度全景視頻所需要存儲的數(shù)據(jù)。根據(jù)視角點的不同將全景視頻 數(shù)據(jù)分離為Μ個獨立的視頻流，按照客戶端觀看需求將全景視頻按照視角點分為三大類:主 視角、輔助視角和其他視角。主視角是指所有視角中位于水平方向正中的視角，將其記作 V0;輔助視角中包含四個方向的數(shù)據(jù)塊，以主視角視頻幀為中心，將其相鄰的四鄰域(上、 下、左、右)方向上的視角視頻數(shù)據(jù)存放在輔助視角區(qū)，將其記作VI;其他視角的視頻數(shù)據(jù)劃 分為一類，記作V2。全景視頻在順序播放時不同時刻對應(yīng)不同的視頻幀，如圖3所示，表示在 Τ0時刻各個視角區(qū)所對應(yīng)的視頻幀，此時主視角V0區(qū)域?qū)?yīng)視頻幀Β1，輔助視角VI區(qū)域存 放著主視角的四鄰域視頻幀分別為上鄰域視頻幀Bl_up、下鄰域視頻幀Bl_down、左鄰域視 頻幀Bl_lef t、右鄰域視頻幀Bl_right，圖3中除B1、Bl_up、Bl_down、Bl_lef t和Bl_right的 其他部分區(qū)域的視頻幀數(shù)據(jù)則放置于其他視角V2區(qū)域。
[0025]視頻數(shù)據(jù)按照視角分為三大類之后，對相應(yīng)的緩存區(qū)域空間大小進行估算，設(shè)主 視角對應(yīng)的視頻幀總數(shù)為N，視頻序列分辨率為w*h，采用YUV 4:2:0格式，編碼壓縮率設(shè)為 R，則主視角I幀壓縮后的體積為VI = 12 ·?·!!/!?字節(jié)，要求實際存儲區(qū)域設(shè)置略有冗余，以 保證緩存區(qū)域讀取數(shù)據(jù)的穩(wěn)定性。主視角靜態(tài)緩存區(qū)域空間取
其中S為冗余控制量。利用公式估算視角碼流中 '.~ ， 一個完整幀所占用的最大體積，分別求取各視角所對應(yīng)的緩存區(qū)體積。
[0026] 基于多視角碼流可分級編碼的編碼方案，將全景視頻的碼流分離。根據(jù)系統(tǒng)層傳 輸流(Transport Stream，TS)可以根據(jù)不同的視角編號View_ID在TS包的頭部PID字段進行 標記，設(shè)置兩位數(shù)作為各視角編號，主視角編號為View_ID = 00，輔助視角設(shè)置為10、11、12、 13分別表示主視角相鄰的上下左右四個方向的視頻流，其他視角標號設(shè)置為View_ID = 20， 通過視角編號與PID字段值的對應(yīng)關(guān)系，各個視角的碼流加以區(qū)分。對全景視頻傳輸流進行 多視角碼流分離之后，將屬于不同視角的數(shù)據(jù)包封裝到不同的實時傳輸流數(shù)據(jù)包。封裝規(guī) 則如下:為確保一個RTP包中只包含相同視角的連續(xù)TS包信息，即如果連續(xù)出現(xiàn)具有相同視 角編號的TS包數(shù)目超過7個，則每7個TS包封裝一個RTP包。如果不到7個，則直接封裝。如TS 流中第1個TS包標記的視角編號為00,即為主視角，從此開始計數(shù)，直到第7個包發(fā)現(xiàn)其視角 編號還是00。這時將前7個TS包作為主視角實時傳輸流的負載數(shù)據(jù)封裝到一個RTP包。接著 計數(shù)器歸零，第8個TS包的視角編號為00,若未到7就檢測到視角編號變?yōu)?或者2開頭，則以 此為段封裝到輔助視角或其他視角實時傳輸流的一個RTP包中。接著計數(shù)器歸零，依此類 推，按照封裝規(guī)則將三大類視角碼流分離之后，分別傳輸?shù)綄?yīng)的視角區(qū)域。
[0027] 至此完成了多視角碼流的分離，將主視角碼流按照時間先后順序存入靜態(tài)緩存 區(qū)，為客戶端提供視頻播放數(shù)據(jù)。將輔助視角碼流存入動態(tài)緩存區(qū)第一區(qū)段內(nèi)，負責(zé)客戶端 改變觀看視角對視頻進行瀏覽時，動態(tài)存儲區(qū)段能根據(jù)操作做出及時響應(yīng)，提供更換視角 之后的全景視頻碼流，保證客戶端視頻順暢播放。
[0028]動態(tài)緩存區(qū)第二區(qū)段根據(jù)用戶對全景視頻觀看操作習(xí)慣和特征統(tǒng)計，判斷感興趣 的片段，將數(shù)據(jù)進行動態(tài)緩存，降低服務(wù)器的負荷。通過統(tǒng)計用戶對視頻片段中數(shù)據(jù)塊的請 求和交互式操作的記錄信息，計算視頻片段中數(shù)據(jù)塊的流行度，對流行度高的數(shù)據(jù)塊緩存。 流行度是一個短時間效應(yīng)的概念，即數(shù)據(jù)塊只在某個短時間內(nèi)流行度較高，它是動態(tài)變化 的。針對傳統(tǒng)數(shù)據(jù)塊流行度算法的不足，采用流行度分段疊加的方法計算和判斷數(shù)據(jù)塊流 行度的高低。設(shè)定數(shù)據(jù)統(tǒng)計周期為K，數(shù)據(jù)塊d在第i個統(tǒng)計周期內(nèi)被請求的次數(shù)為Di，第i個 周期內(nèi)總的數(shù)據(jù)請求次數(shù)為Ni，則數(shù)據(jù)塊d在統(tǒng)計周期內(nèi)的流行度pop_dS:
[0029]
其中 j = l，2,3."K
[0030] 按照K個統(tǒng)計周期時間段內(nèi)，數(shù)據(jù)塊流行度值的高低進行排序，找出這段時間內(nèi)數(shù) 據(jù)塊流行度最高的視頻片段，將包含這些數(shù)據(jù)塊的視頻片段存儲于動態(tài)緩存區(qū)第二區(qū)段， 根據(jù)數(shù)據(jù)塊在不同時間段內(nèi)的流行度不同，緩存區(qū)存儲的數(shù)據(jù)也隨之動態(tài)變化，為客戶端 對數(shù)據(jù)的請求提供快速響應(yīng)，提升響應(yīng)速度，降低服務(wù)器的請求負載。
[0031] 以上實施例僅起到解釋本發(fā)明技術(shù)方案的作用，本發(fā)明所要求的保護范圍并不局 限于上述實施例所述的實現(xiàn)系統(tǒng)和具體實施步驟。因此，僅對上述實施例中具體的公式及 算法進行簡單替換，但其實質(zhì)內(nèi)容仍與本發(fā)明所述方法相一致的技術(shù)方案，均應(yīng)屬于本發(fā) 明的保護范圍。
【主權(quán)項】
1. 一種用于720度全景視頻網(wǎng)絡(luò)播放的碼流緩存機制，其特征在于，將全景視頻流媒體 進行分段處理，處理之后的數(shù)據(jù)塊分別存儲于緩存區(qū)域的靜態(tài)緩存區(qū)和動態(tài)緩存區(qū)；靜態(tài) 緩存區(qū)主要存放主視角視頻幀數(shù)據(jù)，負責(zé)提供主視角目標區(qū)域的視頻流數(shù)據(jù)塊;動態(tài)緩存 區(qū)主要為客戶端提供及時響應(yīng)，動態(tài)緩存區(qū)包括第一區(qū)段和第二區(qū)段，所述第一區(qū)段存放 輔助視角數(shù)據(jù)包，當(dāng)觀看視角發(fā)生變化時，根據(jù)當(dāng)前主視角目標區(qū)域的位置，動態(tài)地更新并 存儲相應(yīng)擴展區(qū)域內(nèi)鄰域視角的視頻流數(shù)據(jù)塊;所述第二區(qū)段根據(jù)用戶的操作習(xí)慣和特 征，記錄全景視頻中感興趣的片段，提供快速響應(yīng)。2. 根據(jù)權(quán)利要求1所述的用于720度全景視頻網(wǎng)絡(luò)播放的碼流緩存機制，其特征在于， 所述靜態(tài)緩存區(qū)工作流程包括如下步驟： (1.1) 以視角點和時間作為全景視頻中某一幀圖像對應(yīng)關(guān)系的兩個特征量，將流媒體 數(shù)據(jù)按照不同視角點分類，分為主視角數(shù)據(jù)包、輔助視角數(shù)據(jù)包和其他視角數(shù)據(jù)包； (1.2) 按照步驟（I. 1)中各視角視頻幀占用空間，在緩存區(qū)空間內(nèi)對每個視頻幀必須保 留部分冗余，估算視角碼流中一個完整幀所占用的最大體積，求取各視角所對應(yīng)的緩存區(qū) 體積，保證系統(tǒng)的穩(wěn)定性； (1.3) 根據(jù)需求設(shè)定緩存區(qū)空間大小之后，基于多視角碼流可分級編碼的編碼方案，將 全景視頻的碼流進行視角編號，并在TS包的頭部PID字段進行標記，通過視角編號與PID字 段值的對應(yīng)關(guān)系，各個視角的碼流加以區(qū)分； (1.4) 根據(jù)步驟（1.3)完成了多視角碼流的分離，將主視角碼流按照時間先后順序存入 靜態(tài)緩存區(qū)，為客戶端提供視頻播放數(shù)據(jù)。3. 根據(jù)權(quán)利要求2所述的用于720度全景視頻網(wǎng)絡(luò)播放的碼流緩存機制，其特征在于， 所述碼流動態(tài)緩存區(qū)主要負責(zé)客戶端操作的緊急響應(yīng)，并為播放區(qū)提前準備播放數(shù)據(jù)，所 述碼流動態(tài)緩存區(qū)工作流程的主要步驟如下： (2.1) 將分離數(shù)據(jù)包中的輔助視角碼流，即主視角所對應(yīng)的四鄰域視角方向上的視頻 數(shù)據(jù)流，按照各自的視角編號存放在動態(tài)緩存區(qū)的第一區(qū)段； (2.2) 根據(jù)用戶觀看全景視頻的操作習(xí)慣和特征，通過對主視角及相應(yīng)輔助視角中數(shù) 據(jù)塊的請求次數(shù)，判斷視頻片段中數(shù)據(jù)塊是否流行，并計算各數(shù)據(jù)塊的流行度； (2.3) 由步驟(2.2)得到流行度值，按照數(shù)據(jù)塊流行度的高低進行排序，找出流行度最 高的數(shù)據(jù)塊，將包含這些數(shù)據(jù)塊的片段存儲在動態(tài)緩存區(qū)第二區(qū)段，為客戶端提供及時響 應(yīng)數(shù)據(jù)。
【文檔編號】H04L29/06GK105933343SQ201610488962
【公開日】2016年9月7日
【申請日】2016年6月29日
【發(fā)明人】羅文峰
【申請人】深圳市優(yōu)象計算技術(shù)有限公司