本發(fā)明涉及傳輸控制，尤其涉及一種基于多臂老虎機的信息年齡學(xué)習(xí)路徑感知恢復(fù)方法。

背景技術(shù)：

1、在現(xiàn)代網(wǎng)絡(luò)環(huán)境中，隨著視頻流量的持續(xù)高速增長，以及虛擬現(xiàn)實、增強現(xiàn)實和360度視頻等新興應(yīng)用的廣泛普及，對網(wǎng)絡(luò)技術(shù)的承載能力和傳輸服務(wù)質(zhì)量提出了更高的要求。

2、在利用現(xiàn)有技術(shù)進(jìn)行數(shù)據(jù)傳輸時，通常是發(fā)送端周期性地向接收端發(fā)送探測數(shù)據(jù)包，并設(shè)置超時閾值以監(jiān)控各個重傳路徑的狀態(tài)，當(dāng)探測數(shù)據(jù)包未能及時確認(rèn)時，激活探針超時機制，促使發(fā)送端采取快速恢復(fù)和快速重傳策略，以保證數(shù)據(jù)傳輸?shù)姆€(wěn)定性和可靠性。

3、然而，由于探針超時機制以數(shù)據(jù)包的確認(rèn)延遲來評估路徑的可用性。對于數(shù)據(jù)新鮮度要求較高的流媒體視頻等應(yīng)用，其重傳路徑切換感知遲緩，導(dǎo)致流媒體視頻傳輸服務(wù)質(zhì)量的劣化，進(jìn)而降低用戶體驗。因此，亟需提供一種方案改善上述問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于多臂老虎機的信息年齡學(xué)習(xí)路徑感知恢復(fù)方法，用以改善現(xiàn)有技術(shù)重傳路徑切換感知遲緩，導(dǎo)致流媒體視頻傳輸服務(wù)質(zhì)量效率低下的問題。

2、本發(fā)明提供的一種基于多臂老虎機的信息年齡學(xué)習(xí)路徑感知恢復(fù)方法，采用如下的技術(shù)方案：

3、基于流媒體視頻的發(fā)送端和接收端建立數(shù)據(jù)傳輸圖，發(fā)送端向接收端發(fā)送多個主數(shù)據(jù)包，當(dāng)數(shù)據(jù)傳輸失敗時，發(fā)送端向接收端發(fā)送多個重傳數(shù)據(jù)包，其中，發(fā)送端與接收端之間具有多條重傳路徑；

4、基于重傳數(shù)據(jù)包的生成時間和接收端的接收時間獲得所述重傳數(shù)據(jù)包的信息年齡，并對所述信息年齡進(jìn)行平滑處理后獲得平滑后重傳數(shù)據(jù)包的信息年齡；

5、計算所述平滑后重傳數(shù)據(jù)包的信息年齡的均值和方差，并基于所述均值和方差更新每條重傳路徑的收益后獲得使得所述收益最大化的最優(yōu)路徑，并在所述最優(yōu)路徑中進(jìn)行數(shù)據(jù)包的重傳。

6、本發(fā)明提供的一種基于多臂老虎機的信息年齡學(xué)習(xí)路徑感知恢復(fù)方法的有益效果在于，首先，本發(fā)明提出了重傳數(shù)據(jù)包的信息年齡概念，保證了重傳數(shù)據(jù)包的新鮮度，從而保證了流媒體數(shù)據(jù)進(jìn)行傳輸?shù)臅r效性，其次，利用貝葉斯可信邊界調(diào)節(jié)因子減少了計算資源需求，提高了數(shù)據(jù)的傳輸效率和準(zhǔn)確性，最后，基于收益最大化設(shè)計了數(shù)據(jù)包的重傳機制，確保在路徑狀態(tài)變化時，能夠迅速采取措施，保證數(shù)據(jù)傳輸?shù)姆€(wěn)定性和可靠性，提升了流媒體視頻傳輸?shù)姆?wù)質(zhì)量。

7、可選的，所述重傳數(shù)據(jù)包的信息年齡表示為：

8、；

9、其中，表示重傳數(shù)據(jù)包的信息年齡，表示接收端在路徑接收到重傳數(shù)據(jù)包的本地時間戳，表示發(fā)送端發(fā)送的第個重傳數(shù)據(jù)包的生成時間。

10、可選的，發(fā)送端向接收端發(fā)送多個主數(shù)據(jù)包時，若其中一個或者多個主數(shù)據(jù)包丟失，接收端向發(fā)送端發(fā)送重傳數(shù)據(jù)指令，發(fā)送端接收到所述重傳數(shù)據(jù)指令后開始向接收端上傳重傳數(shù)據(jù)包。

11、可選的，獲得使得所述收益最大化的最優(yōu)路徑的過程包括：

12、初始化老虎機臂的數(shù)量、重傳數(shù)據(jù)包的信息年齡和策略集合，其中，每條臂對應(yīng)一條重傳路徑，臂的數(shù)量為重傳路徑的數(shù)量，每條重傳路徑對應(yīng)一個收益的概率分布，所述策略集合由重傳數(shù)據(jù)包、重傳路徑集合、丟失輪次集合和調(diào)度輪次集合組成；

13、在每一個時間步長內(nèi)，基于探索概率從重傳路徑集合中隨機選取一條路徑進(jìn)行數(shù)據(jù)包的傳輸，并基于利用概率選擇當(dāng)前收益最大化的一條重傳路徑進(jìn)行數(shù)據(jù)包的傳輸；

14、若數(shù)據(jù)傳輸成功，基于貝葉斯可信邊界調(diào)節(jié)因子更新當(dāng)前收益；若傳輸失敗，接收端將數(shù)據(jù)包加入重傳數(shù)據(jù)包列表后返回發(fā)送端，發(fā)送端重新向接收端發(fā)送重傳數(shù)據(jù)包；

15、更新多臂老虎機當(dāng)前選擇的拉桿的頻次，并基于所述拉桿的頻次獲取使得收益最大化的最優(yōu)路徑，直到達(dá)到最大時間步長。

16、可選的，所述貝葉斯可信邊界調(diào)節(jié)因子可表示為：

17、；

18、其中，表示重傳路徑總數(shù)，表示平滑后重傳數(shù)據(jù)包信息年齡的方差，表示多臂老虎機當(dāng)前選擇的拉桿的頻次。

19、可選的，所述多臂老虎機當(dāng)前選擇的拉桿的頻次表示為：

20、；

21、其中，表示多臂老虎機當(dāng)前選擇的拉桿的頻次，表示重傳數(shù)據(jù)包丟失輪次的次數(shù)。

22、可選的，基于貝葉斯可信邊界調(diào)節(jié)因子更新當(dāng)前收益時，每條重傳路徑的收益值為：

23、<mstyle displaystyle="true" mathcolor="#000000"><mi>q</mi><mi>=</mi><msub><mi>e</mi><mrow><mi>r</mi><mi>～</mi><mi>π</mi></mrow></msub><mi>[</mi><mfrac><mn>1</mn><mrow><mi>e</mi><mi>(</mi><msub><mi>δ</mi><msub><mi>d</mi><mi>p</mi></msub></msub><mi>)</mi><mo>+</mo><msqrt><mfrac><mrow><mi>ln(|</mi><mi>p</mi><mi>|)</mi></mrow><mrow><msub><mi>n</mi><mi>t</mi></msub><mi>(</mi><msub><mi>d</mi><mi>p</mi></msub><mi>)</mi></mrow></mfrac><mi>·</mi><mi>θ</mi></msqrt></mrow></mfrac><mi>]</mi></mstyle>；

24、其中，表示每條重傳路徑的收益值，表示平滑后重傳數(shù)據(jù)包的信息年齡的均值，表示重傳路徑總數(shù)，表示多臂老虎機當(dāng)前選擇的拉桿的頻次，表示貝葉斯可信邊界調(diào)節(jié)因子。

25、可選的，平滑后重傳數(shù)據(jù)包的信息年齡服從對數(shù)正態(tài)分布，滿足關(guān)系：，其中：

26、；

27、；

28、其中，表示平滑后重傳數(shù)據(jù)包的信息年齡，表示對數(shù)信息年齡的均值，表示對數(shù)信息年齡的方差，表示平滑后重傳數(shù)據(jù)包的信息年齡的方差，表示平滑后重傳數(shù)據(jù)包的信息年齡的均值。