本發(fā)明涉及數(shù)據(jù)處理，尤其涉及一種流量壓縮方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著計(jì)算機(jī)技術(shù)的發(fā)展，越來越多的技術(shù)應(yīng)用在金融領(lǐng)域，目前金融行業(yè)的業(yè)務(wù)一般通過線上的應(yīng)用系統(tǒng)處理，解放大量的人工，提高了處理效率、實(shí)時(shí)性、安全性和準(zhǔn)確性。而在使用應(yīng)用系統(tǒng)進(jìn)行業(yè)務(wù)處理時(shí)，由于應(yīng)用系統(tǒng)的處理方法固定，當(dāng)業(yè)務(wù)結(jié)構(gòu)發(fā)生變形或應(yīng)用場(chǎng)景等發(fā)生變更時(shí)，就需要對(duì)應(yīng)用系統(tǒng)做適應(yīng)性改寫或變更參數(shù)等操作，進(jìn)一步保證處理效率、實(shí)時(shí)性、安全性和準(zhǔn)確性。相應(yīng)的，需要對(duì)更新后的應(yīng)用系統(tǒng)進(jìn)行測(cè)試。

2、網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)主要監(jiān)視網(wǎng)絡(luò)上的流量，通過對(duì)流量的分析來與已知的網(wǎng)絡(luò)攻擊集合進(jìn)行匹配，從而捕獲攻擊或檢測(cè)異常行為。為了檢測(cè)網(wǎng)絡(luò)入侵系統(tǒng)的有效性，需要在網(wǎng)絡(luò)靶場(chǎng)中構(gòu)建逼真環(huán)境和各種攻擊流量來進(jìn)行檢驗(yàn)。其次，對(duì)于含有未知攻擊的流量，需要在靶場(chǎng)中進(jìn)行回放以發(fā)現(xiàn)未知的攻擊類型。對(duì)于繁忙時(shí)的網(wǎng)絡(luò)空間性能測(cè)試需要對(duì)流量進(jìn)行加速回放以驗(yàn)證劇增的網(wǎng)絡(luò)流量。流量加速回放還可幫助實(shí)驗(yàn)人員快速找到流量中所存在的問題。但是目前在流量回放過程中，無法有效地壓縮原始流量，導(dǎo)致壓縮后的原始流量存在丟包和誤差大的問題。

3、上述內(nèi)容僅用于輔助理解本發(fā)明的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種流量壓縮方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)在流量回放過程中，無法有效地壓縮原始流量，導(dǎo)致壓縮后的原始流量存在丟包和誤差大的問題的技術(shù)問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種流量壓縮方法，所述方法包括以下步驟：

3、獲取原始流量中各數(shù)據(jù)包之間的時(shí)間間隔，并基于至少一個(gè)所述時(shí)間間隔構(gòu)建間隔集合；

4、確定所述間隔集合中待壓縮的目標(biāo)間隔，對(duì)所述目標(biāo)間隔進(jìn)行壓縮，并基于壓縮后的所述目標(biāo)間隔更新所述間隔集合，獲得目標(biāo)集合；

5、基于所述目標(biāo)集合對(duì)所述原始流量進(jìn)行壓縮。

6、可選地，所述確定所述間隔集合中待壓縮的目標(biāo)間隔，對(duì)所述目標(biāo)間隔進(jìn)行壓縮，并基于壓縮后的所述目標(biāo)間隔更新所述間隔集合，包括：

7、基于所述間隔集合構(gòu)建二叉樹結(jié)構(gòu)；

8、基于所述二叉樹結(jié)構(gòu)確定所述間隔集合中待壓縮的目標(biāo)間隔，對(duì)所述目標(biāo)間隔進(jìn)行壓縮，并基于壓縮后的所述目標(biāo)間隔更新所述間隔集合。

9、可選地，所述二叉樹結(jié)構(gòu)包括大根堆結(jié)構(gòu)；所述基于所述二叉樹結(jié)構(gòu)確定所述間隔集合中待壓縮的目標(biāo)間隔，對(duì)所述目標(biāo)間隔進(jìn)行壓縮，并基于壓縮后的所述目標(biāo)間隔更新所述間隔集合，包括：

10、基于所述大根堆結(jié)構(gòu)中的堆頂元素確定所述間隔集合中待壓縮的目標(biāo)間隔；

11、對(duì)所述目標(biāo)間隔進(jìn)行壓縮，并基于壓縮后的所述目標(biāo)間隔更新所述間隔集合；

12、判斷更新后的所述間隔集合是否滿足預(yù)設(shè)的壓縮條件；

13、若更新后的所述間隔集合滿足預(yù)設(shè)壓縮條件，則基于更新后的所述間隔集合獲得目標(biāo)集合；

14、若更新后的所述間隔集合不滿足預(yù)設(shè)壓縮條件，則基于壓縮后的所述目標(biāo)間隔調(diào)整所述大根堆結(jié)構(gòu)，并返回所述基于所述大根堆結(jié)構(gòu)中的堆頂元素確定所述間隔集合中待壓縮的目標(biāo)間隔的步驟。

15、可選地，所述判斷更新后的所述間隔集合是否滿足預(yù)設(shè)的壓縮條件之前，還包括：

16、獲取所述原始流量的壓縮幅度；

17、基于所述壓縮幅度確定壓縮參數(shù)；

18、獲取所述原始流量的原始時(shí)長(zhǎng)；

19、基于所述壓縮參數(shù)和所述原始時(shí)長(zhǎng)確定目標(biāo)壓縮時(shí)長(zhǎng)；

20、基于所述目標(biāo)壓縮時(shí)長(zhǎng)生成壓縮條件。

21、可選地，所述基于所述間隔集合構(gòu)建二叉樹結(jié)構(gòu)，包括：

22、根據(jù)所述間隔集合中的所述時(shí)間間隔確定節(jié)點(diǎn)元素；

23、基于各所述時(shí)間間隔的時(shí)長(zhǎng)確定各節(jié)點(diǎn)元素的節(jié)點(diǎn)值；

24、根據(jù)所述節(jié)點(diǎn)值確定各節(jié)點(diǎn)元素之間的層級(jí)關(guān)系；

25、基于所述層級(jí)關(guān)系和所述節(jié)點(diǎn)元素構(gòu)建二叉樹結(jié)構(gòu)。

26、可選地，所述基于所述目標(biāo)集合對(duì)所述原始流量進(jìn)行壓縮之后，所述流量壓縮方法還包括：

27、基于壓縮后的原始流量進(jìn)行流量回放；

28、對(duì)流量回放過程進(jìn)行監(jiān)測(cè)，獲取所述壓縮后的原始流量中的目標(biāo)數(shù)據(jù)包；

29、基于所述原始流量中各數(shù)據(jù)包和所述目標(biāo)數(shù)據(jù)包獲取所述原始流量與所述壓縮后的原始流量之間的相似信息；

30、基于所述相似信息對(duì)所述流量回放過程進(jìn)行評(píng)價(jià)。

31、可選地，所述基于所述原始流量中各數(shù)據(jù)包和所述目標(biāo)數(shù)據(jù)包獲取所述原始流量與所述壓縮后的原始流量之間的相似信息，包括：

32、基于所述原始流量中各數(shù)據(jù)包生成第一向量；

33、基于所述目標(biāo)數(shù)據(jù)包生成第二向量；

34、確定所述第一向量與所述第二向量之間的余弦相似度；

35、基于所述余弦相似度獲取所述原始流量與所述壓縮后的原始流量之間的相似信息。

36、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提出一種流量壓縮裝置，所述流量壓縮裝置包括：

37、集合構(gòu)建模塊，用于獲取原始流量中各數(shù)據(jù)包之間的時(shí)間間隔，并基于至少一個(gè)所述時(shí)間間隔構(gòu)建間隔集合；

38、間隔壓縮模塊，用于確定所述間隔集合中待壓縮的目標(biāo)間隔，對(duì)所述目標(biāo)間隔進(jìn)行壓縮，并基于壓縮后的所述目標(biāo)間隔更新所述間隔集合，獲得目標(biāo)集合；

39、流量壓縮模塊，用于基于所述目標(biāo)集合對(duì)所述原始流量進(jìn)行壓縮。

40、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提出一種流量壓縮設(shè)備，所述流量壓縮設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的流量壓縮程序，所述流量壓縮程序配置為實(shí)現(xiàn)如上文所述的流量壓縮方法的步驟。

41、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提出一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有流量壓縮程序，所述流量壓縮程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的流量壓縮方法的步驟。

42、本發(fā)明通過獲取原始流量中各數(shù)據(jù)包之間的時(shí)間間隔，并基于至少一個(gè)所述時(shí)間間隔構(gòu)建間隔集合，確定所述間隔集合中待壓縮的目標(biāo)間隔，對(duì)所述目標(biāo)間隔進(jìn)行壓縮，并基于壓縮后的所述目標(biāo)間隔更新所述間隔集合，獲得目標(biāo)集合，基于所述目標(biāo)集合對(duì)所述原始流量進(jìn)行壓縮；由于本發(fā)明通過構(gòu)建原始流量的間隔集合，確定間隔集合中待壓縮的目標(biāo)間隔，將目標(biāo)間隔壓縮后更新間隔集合，獲得目標(biāo)集合，基于目標(biāo)集合對(duì)原始流量進(jìn)行壓縮，從而實(shí)現(xiàn)在流量回放過程中，有效地壓縮原始流量，有效地避免流量壓縮存在的丟包和誤差問題，確保流量壓縮的完整性。

技術(shù)特征：

1.一種流量壓縮方法，其特征在于，所述流量壓縮方法包括：

2.如權(quán)利要求1所述的流量壓縮方法，其特征在于，所述確定所述間隔集合中待壓縮的目標(biāo)間隔，對(duì)所述目標(biāo)間隔進(jìn)行壓縮，并基于壓縮后的所述目標(biāo)間隔更新所述間隔集合，包括：

3.如權(quán)利要求2所述的流量壓縮方法，其特征在于，所述二叉樹結(jié)構(gòu)包括大根堆結(jié)構(gòu)；所述基于所述二叉樹結(jié)構(gòu)確定所述間隔集合中待壓縮的目標(biāo)間隔，對(duì)所述目標(biāo)間隔進(jìn)行壓縮，并基于壓縮后的所述目標(biāo)間隔更新所述間隔集合，包括：

4.如權(quán)利要求3所述的流量壓縮方法，其特征在于，所述判斷更新后的所述間隔集合是否滿足預(yù)設(shè)的壓縮條件之前，還包括：

5.如權(quán)利要求2所述的流量壓縮方法，其特征在于，所述基于所述間隔集合構(gòu)建二叉樹結(jié)構(gòu)，包括：

6.如權(quán)利要求1至5中任一項(xiàng)所述的流量壓縮方法，其特征在于，所述基于所述目標(biāo)集合對(duì)所述原始流量進(jìn)行壓縮之后，所述流量壓縮方法還包括：

7.如權(quán)利要求6所述的流量壓縮方法，其特征在于，所述基于所述原始流量中各數(shù)據(jù)包和所述目標(biāo)數(shù)據(jù)包獲取所述原始流量與所述壓縮后的原始流量之間的相似信息，包括：

8.一種流量壓縮裝置，其特征在于，所述流量壓縮裝置包括：

9.一種流量壓縮設(shè)備，其特征在于，所述流量壓縮設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的流量壓縮程序，所述流量壓縮程序配置為實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的流量壓縮方法。

10.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有流量壓縮程序，所述流量壓縮程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的流量壓縮方法。

技術(shù)總結(jié)
本發(fā)明公開了一種流量壓縮方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，涉及數(shù)據(jù)處理領(lǐng)域，所述方法包括：獲取原始流量中各數(shù)據(jù)包之間的時(shí)間間隔，并基于至少一個(gè)所述時(shí)間間隔構(gòu)建間隔集合，確定所述間隔集合中待壓縮的目標(biāo)間隔，對(duì)所述目標(biāo)間隔進(jìn)行壓縮，并基于壓縮后的所述目標(biāo)間隔更新所述間隔集合，獲得目標(biāo)集合，基于所述目標(biāo)集合對(duì)所述原始流量進(jìn)行壓縮；由于本發(fā)明通過構(gòu)建原始流量的間隔集合，確定間隔集合中待壓縮的目標(biāo)間隔，將目標(biāo)間隔壓縮后更新間隔集合，獲得目標(biāo)集合，基于目標(biāo)集合對(duì)原始流量進(jìn)行壓縮，從而實(shí)現(xiàn)在流量回放過程中，有效地壓縮原始流量，有效地避免流量壓縮存在的丟包和誤差問題，確保流量壓縮的完整性。

技術(shù)研發(fā)人員：王明月,陳明,申志敏,連靜
受保護(hù)的技術(shù)使用者：中移動(dòng)金融科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21