本申請(qǐng)涉及數(shù)據(jù)處理,具體涉及一種互聯(lián)網(wǎng)電視異常檢測(cè)方法及裝置。
背景技術(shù):
1、目前,互聯(lián)網(wǎng)電視ott?tv(over?the?top?tv),是指以廣域網(wǎng)即傳統(tǒng)互聯(lián)網(wǎng)或移動(dòng)互聯(lián)網(wǎng)為傳輸網(wǎng)絡(luò),以電視機(jī)為接收終端,向用戶提供視頻及圖文信息內(nèi)容等服務(wù)的電視形態(tài),隨著移動(dòng)互聯(lián)網(wǎng)規(guī)模在不斷地?cái)U(kuò)大,提升互聯(lián)網(wǎng)電視業(yè)務(wù)質(zhì)量十分重要。
2、相關(guān)技術(shù)中,多維電視指標(biāo)數(shù)據(jù)類型多樣,直接采用異常檢測(cè)技術(shù)對(duì)多維數(shù)據(jù)進(jìn)行降維后的表征難以保留足夠多的關(guān)鍵信息,若多維電視指標(biāo)數(shù)據(jù)不充足時(shí),異常檢測(cè)結(jié)果準(zhǔn)確率低;而且對(duì)降維后的數(shù)據(jù)直接進(jìn)行密度估計(jì)容易導(dǎo)致預(yù)測(cè)模型陷入局部最優(yōu),導(dǎo)致檢測(cè)結(jié)果準(zhǔn)確率不準(zhǔn)確。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供一種互聯(lián)網(wǎng)電視異常檢測(cè)方法及裝置,用以解決現(xiàn)有的異常檢測(cè)方法對(duì)高維數(shù)據(jù)進(jìn)行降維后的表征難以保留足夠多的關(guān)鍵信息,而直接對(duì)降維后的數(shù)據(jù)進(jìn)行密度估計(jì)容易導(dǎo)致預(yù)測(cè)模型陷入局部最優(yōu),導(dǎo)致檢測(cè)結(jié)果準(zhǔn)確率不準(zhǔn)確的技術(shù)問題。
2、第一方面,本申請(qǐng)實(shí)施例提供一種互聯(lián)網(wǎng)電視異常檢測(cè)方法,包括:
3、獲取互聯(lián)網(wǎng)電視的多維電視指標(biāo)數(shù)據(jù),所述多維電視指標(biāo)數(shù)據(jù)包括多種不同類型的電視指標(biāo)數(shù)據(jù);
4、基于電視指標(biāo)數(shù)據(jù)的不同類型對(duì)所述多維電視指標(biāo)數(shù)據(jù)進(jìn)行降噪處理,得到降噪后的數(shù)據(jù);
5、基于目標(biāo)異常檢測(cè)模型對(duì)所述降噪后的數(shù)據(jù)進(jìn)行降維處理和異常估計(jì),得到異常檢測(cè)結(jié)果;
6、其中,所述目標(biāo)異常檢測(cè)模型包括壓縮網(wǎng)絡(luò)和估計(jì)網(wǎng)絡(luò),所述目標(biāo)異常檢測(cè)模型以樣本多維電視指標(biāo)數(shù)據(jù)為訓(xùn)練樣本,以壓縮網(wǎng)絡(luò)的隱藏層大小及其激活函數(shù)和估計(jì)網(wǎng)絡(luò)的隱藏層大小及其激活函數(shù)為訓(xùn)練參數(shù)進(jìn)行聯(lián)合訓(xùn)練得到。
7、在一個(gè)實(shí)施例中,所述多維電視指標(biāo)數(shù)據(jù)包括網(wǎng)絡(luò)用戶數(shù)、網(wǎng)絡(luò)流量和網(wǎng)絡(luò)卡頓率中的至少兩項(xiàng);
8、所述基于電視指標(biāo)數(shù)據(jù)的不同類型對(duì)所述多維電視指標(biāo)數(shù)據(jù)進(jìn)行降噪處理,得到降噪后的數(shù)據(jù)包括:
9、在所述多維電視指標(biāo)數(shù)據(jù)包括所述網(wǎng)絡(luò)用戶數(shù)和所述網(wǎng)絡(luò)流量中的至少一項(xiàng)的情況下,采用s-g平滑濾波技術(shù)對(duì)所述網(wǎng)絡(luò)用戶數(shù)和所述網(wǎng)絡(luò)流量中的至少一項(xiàng)進(jìn)行濾波,得到所述降噪后的數(shù)據(jù);
10、在所述多維電視指標(biāo)數(shù)據(jù)包括所述網(wǎng)絡(luò)卡頓率的情況下,采用k-mean濾波技術(shù)對(duì)所述網(wǎng)絡(luò)卡頓率進(jìn)行濾波,得到所述降噪后的數(shù)據(jù)。
11、在一個(gè)實(shí)施例中,所述目標(biāo)異常檢測(cè)模型為訓(xùn)練后的深度自動(dòng)編碼高斯混合模型dagmm,所述壓縮網(wǎng)絡(luò)為所述dagmm的自編碼器,所述估計(jì)網(wǎng)絡(luò)為所述dagmm的至少一個(gè)高斯混合模型;
12、所述目標(biāo)異常檢測(cè)模型通過如下步驟訓(xùn)練得到:
13、將所述樣本多維電視指標(biāo)數(shù)據(jù)輸入至所述自編碼器,得到低維數(shù)據(jù);
14、對(duì)所述樣本多維電視指標(biāo)數(shù)據(jù)和所述低維數(shù)據(jù)進(jìn)行誤差重構(gòu),得到重構(gòu)誤差特征;
15、將所述重構(gòu)誤差特征與所述低維數(shù)據(jù)進(jìn)行拼接,得到重組特征;并以所述重組特征為輸入特征,以第一函數(shù)為目標(biāo)函數(shù)對(duì)所述至少一個(gè)高斯混合模型進(jìn)行訓(xùn)練,在所述dagmm收斂的情況下,得到所述目標(biāo)異常檢測(cè)模型;
16、其中,所述第一函數(shù)基于所述自編碼器的重構(gòu)誤差表示、所述至少一個(gè)高斯混合模型的樣本能量和正則項(xiàng)確定。
17、在一個(gè)實(shí)施例中,在所述得到異常檢測(cè)結(jié)果之后,所述方法還包括:
18、將所述異常檢測(cè)結(jié)果與預(yù)設(shè)閾值進(jìn)行比較,在所述異常檢測(cè)結(jié)果大于所述預(yù)設(shè)閾值的情況下,生成異常告警信息。
19、在一個(gè)實(shí)施例中,所述第一函數(shù)應(yīng)用如下公式得到:
20、
21、其中,j為所述第一函數(shù),θe和θd為壓縮網(wǎng)絡(luò)參數(shù),θm為估計(jì)網(wǎng)絡(luò)參數(shù),n為樣本多維電視指標(biāo)數(shù)據(jù)的數(shù)量,l為所述重構(gòu)誤差表示,xi為第i個(gè)樣本多維電視指標(biāo)數(shù)據(jù),x′i為xi的重構(gòu)表示,e為所述樣本能量,zi為第i個(gè)低維電視指標(biāo)數(shù)據(jù),為所述正則項(xiàng);λ1和λ2為權(quán)重系數(shù)。
22、第二方面,本申請(qǐng)實(shí)施例提供一種互聯(lián)網(wǎng)電視異常檢測(cè)裝置,包括:
23、數(shù)據(jù)獲取模塊,用于獲取互聯(lián)網(wǎng)電視的多維電視指標(biāo)數(shù)據(jù),所述多維電視指標(biāo)數(shù)據(jù)包括多種不同類型的電視指標(biāo)數(shù)據(jù);
24、降噪模塊,用于基于電視指標(biāo)數(shù)據(jù)的不同類型對(duì)所述多維電視指標(biāo)數(shù)據(jù)進(jìn)行降噪處理,得到降噪后的數(shù)據(jù);
25、檢測(cè)模塊,用于基于目標(biāo)異常檢測(cè)模型對(duì)所述降噪后的數(shù)據(jù)進(jìn)行降維處理和異常估計(jì),得到異常檢測(cè)結(jié)果;
26、其中,所述目標(biāo)異常檢測(cè)模型包括壓縮網(wǎng)絡(luò)和估計(jì)網(wǎng)絡(luò),所述目標(biāo)異常檢測(cè)模型以樣本多維電視指標(biāo)數(shù)據(jù)為訓(xùn)練樣本,以壓縮網(wǎng)絡(luò)的隱藏層大小及其激活函數(shù)和估計(jì)網(wǎng)絡(luò)的隱藏層大小及其激活函數(shù)為訓(xùn)練參數(shù)進(jìn)行聯(lián)合訓(xùn)練得到。
27、在一個(gè)實(shí)施例中,所述多維電視指標(biāo)數(shù)據(jù)包括網(wǎng)絡(luò)用戶數(shù)、網(wǎng)絡(luò)流量和網(wǎng)絡(luò)卡頓率中的至少兩項(xiàng);
28、降噪模塊具體用于:
29、在所述多維電視指標(biāo)數(shù)據(jù)包括所述網(wǎng)絡(luò)用戶數(shù)和所述網(wǎng)絡(luò)流量中的至少一項(xiàng)的情況下,采用s-g平滑濾波技術(shù)對(duì)所述網(wǎng)絡(luò)用戶數(shù)和所述網(wǎng)絡(luò)流量中的至少一項(xiàng)進(jìn)行濾波,得到所述降噪后的數(shù)據(jù);
30、在所述多維電視指標(biāo)數(shù)據(jù)包括所述網(wǎng)絡(luò)卡頓率的情況下,采用k-mean濾波技術(shù)對(duì)所述網(wǎng)絡(luò)卡頓率進(jìn)行濾波,得到所述降噪后的數(shù)據(jù)。
31、第三方面,本申請(qǐng)實(shí)施例提供一種電子設(shè)備,包括處理器和存儲(chǔ)有計(jì)算機(jī)程序的存儲(chǔ)器,所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)第一方面所述的互聯(lián)網(wǎng)電視異常檢測(cè)方法的步驟。
32、第四方面,本申請(qǐng)實(shí)施例提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述的互聯(lián)網(wǎng)電視異常檢測(cè)方法的步驟。
33、第五方面,本申請(qǐng)實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述的互聯(lián)網(wǎng)電視異常檢測(cè)方法的步驟。
34、本申請(qǐng)實(shí)施例提供的互聯(lián)網(wǎng)電視異常檢測(cè)方法及裝置,通過電視指標(biāo)數(shù)據(jù)的不同類型對(duì)多維電視指標(biāo)數(shù)據(jù)進(jìn)行降噪處理,得到降噪后的數(shù)據(jù),并根據(jù)目標(biāo)異常檢測(cè)模型對(duì)降噪后的數(shù)據(jù)進(jìn)行降維處理和異常估計(jì),得到異常檢測(cè)結(jié)果,通過目標(biāo)異常檢測(cè)模型的壓縮網(wǎng)絡(luò)與估計(jì)網(wǎng)絡(luò)端對(duì)端的聯(lián)合學(xué)習(xí),能夠同時(shí)實(shí)現(xiàn)將高維數(shù)據(jù)進(jìn)行降維處理,并對(duì)低維空間密度進(jìn)行估計(jì)實(shí)現(xiàn)異常感知,提高了異常檢測(cè)結(jié)果的準(zhǔn)確率。
1.一種互聯(lián)網(wǎng)電視異常檢測(cè)方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)電視異常檢測(cè)方法,其特征在于,所述多維電視指標(biāo)數(shù)據(jù)包括網(wǎng)絡(luò)用戶數(shù)、網(wǎng)絡(luò)流量和網(wǎng)絡(luò)卡頓率中的至少兩項(xiàng);
3.根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)電視異常檢測(cè)方法,其特征在于,所述目標(biāo)異常檢測(cè)模型為訓(xùn)練后的深度自動(dòng)編碼高斯混合模型dagmm,所述壓縮網(wǎng)絡(luò)為所述dagmm的自編碼器,所述估計(jì)網(wǎng)絡(luò)為所述dagmm的至少一個(gè)高斯混合模型;
4.根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)電視異常檢測(cè)方法,其特征在于,在所述得到異常檢測(cè)結(jié)果之后,所述方法還包括:
5.根據(jù)權(quán)利要求3所述的互聯(lián)網(wǎng)電視異常檢測(cè)方法,其特征在于,所述第一函數(shù)應(yīng)用如下公式得到:
6.一種互聯(lián)網(wǎng)電視異常檢測(cè)裝置,其特征在于,包括:
7.根據(jù)權(quán)利要求6所述的互聯(lián)網(wǎng)電視異常檢測(cè)裝置,其特征在于,所述多維電視指標(biāo)數(shù)據(jù)包括網(wǎng)絡(luò)用戶數(shù)、網(wǎng)絡(luò)流量和網(wǎng)絡(luò)卡頓率中的至少兩項(xiàng);
8.一種電子設(shè)備,包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序,其特征在于,所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至5任一項(xiàng)所述互聯(lián)網(wǎng)電視異常檢測(cè)方法。
9.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,其特征在于,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5任一項(xiàng)所述互聯(lián)網(wǎng)電視異常檢測(cè)方法。
10.一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,其特征在于,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5任一項(xiàng)所述互聯(lián)網(wǎng)電視異常檢測(cè)方法。