本申請(qǐng)涉及大數(shù)據(jù)及數(shù)據(jù)庫(kù)，具體涉及一種數(shù)據(jù)處理方法、裝置及電子設(shè)備。

背景技術(shù)：

1、數(shù)據(jù)庫(kù)是按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)，是以一定方式儲(chǔ)存在一起、能為多個(gè)用戶(hù)共享、具有盡可能小的冗余度的特點(diǎn)、是與應(yīng)用程序彼此獨(dú)立的數(shù)據(jù)集合。大數(shù)據(jù)則是以容量大、類(lèi)型多、存取速度快、應(yīng)用價(jià)值高為主要特征的數(shù)據(jù)集合，采用分布式架構(gòu)，對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，因此必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)。

2、但在目前的大數(shù)據(jù)環(huán)境中對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行處理時(shí)，由于二者的數(shù)據(jù)存儲(chǔ)方式和處理邏輯不同，無(wú)法對(duì)數(shù)據(jù)進(jìn)行區(qū)分，造成在大數(shù)據(jù)環(huán)境中出現(xiàn)數(shù)據(jù)交叉的現(xiàn)象，存在數(shù)據(jù)冗余的問(wèn)題，導(dǎo)致占用系統(tǒng)的處理空間較大，處理時(shí)間較長(zhǎng)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法、裝置及電子設(shè)備，主要目的在于改善目前大數(shù)據(jù)環(huán)境中對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行處理時(shí)無(wú)法對(duì)數(shù)據(jù)進(jìn)行區(qū)分，存在數(shù)據(jù)冗余的問(wèn)題。

2、第一方面，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法，包括：

3、獲取前端應(yīng)用采集到的初始信令數(shù)據(jù)；

4、通過(guò)數(shù)據(jù)分類(lèi)模型對(duì)所述初始信令數(shù)據(jù)進(jìn)行數(shù)據(jù)分類(lèi)處理，得到分類(lèi)數(shù)據(jù)；

5、對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行特征提取和標(biāo)準(zhǔn)格式處理，形成數(shù)據(jù)標(biāo)簽；

6、基于所述數(shù)據(jù)標(biāo)簽，對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行有效性檢驗(yàn)，篩選出未通過(guò)所述有效性檢驗(yàn)的異常數(shù)據(jù)并剔除。

7、可選地，所述通過(guò)數(shù)據(jù)分類(lèi)模型對(duì)所述初始信令數(shù)據(jù)進(jìn)行數(shù)據(jù)分類(lèi)處理，得到分類(lèi)數(shù)據(jù)，包括：通過(guò)數(shù)據(jù)分類(lèi)模型對(duì)初始信令數(shù)據(jù)進(jìn)行讀取，提取所述初始信令數(shù)據(jù)中的業(yè)務(wù)類(lèi)型數(shù)據(jù)；確定所述業(yè)務(wù)類(lèi)型數(shù)據(jù)的數(shù)據(jù)來(lái)源；依據(jù)所述數(shù)據(jù)來(lái)源，將所述業(yè)務(wù)類(lèi)型數(shù)據(jù)與相同數(shù)據(jù)來(lái)源的數(shù)據(jù)庫(kù)進(jìn)行匹配，得到所述分類(lèi)數(shù)據(jù)。

8、可選地，所述對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行特征提取和標(biāo)準(zhǔn)格式處理，形成數(shù)據(jù)標(biāo)簽，包括：對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行特征提取，并依據(jù)提取后的特征進(jìn)行打包得到數(shù)據(jù)集；對(duì)所述數(shù)據(jù)集的格式進(jìn)行標(biāo)準(zhǔn)格式處理，形成數(shù)據(jù)標(biāo)簽。

9、可選地，所述采集初始信令數(shù)據(jù)，包括：通過(guò)設(shè)置采集時(shí)間間隔，采集所述初始信令數(shù)據(jù)；和/或，通過(guò)設(shè)置單次所述初始信令數(shù)據(jù)采集的數(shù)據(jù)量，采集所述初始信令數(shù)據(jù)。

10、可選地，在采集初始信令數(shù)據(jù)后，所述方法還包括：對(duì)所述采集時(shí)間間隔和單次的所述初始信令數(shù)據(jù)采集的數(shù)據(jù)量進(jìn)行補(bǔ)償調(diào)節(jié)。

11、可選地，所述基于所述數(shù)據(jù)標(biāo)簽對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行有效性檢驗(yàn)，篩選出未通過(guò)所述有效性檢驗(yàn)的異常數(shù)據(jù)并剔除，包括：基于所述數(shù)據(jù)標(biāo)簽，生成數(shù)據(jù)校驗(yàn)約束條件；判斷分類(lèi)數(shù)據(jù)是否符合數(shù)據(jù)校驗(yàn)約束條件；若符合，則通過(guò)所述有效性檢驗(yàn)；若不符合，則判定為異常數(shù)據(jù)并對(duì)所述異常數(shù)據(jù)進(jìn)行剔除。

12、可選地，在所述基于所述數(shù)據(jù)標(biāo)簽對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行有效性檢驗(yàn)，篩選出未通過(guò)所述有效性檢驗(yàn)的異常數(shù)據(jù)并剔除之后，所述方法還包括：構(gòu)建異常數(shù)據(jù)預(yù)測(cè)模型；利用所述異常數(shù)據(jù)預(yù)測(cè)模型對(duì)所述異常數(shù)據(jù)進(jìn)行分析，生成標(biāo)準(zhǔn)數(shù)據(jù)曲線；基于所述標(biāo)準(zhǔn)數(shù)據(jù)曲線，判定傳輸數(shù)據(jù)中是否存在異常數(shù)據(jù)。

13、可選地，所述利用所述異常數(shù)據(jù)預(yù)測(cè)模型對(duì)所述異常數(shù)據(jù)進(jìn)行分析，生成標(biāo)準(zhǔn)數(shù)據(jù)曲線，包括：獲取所述異常數(shù)據(jù)的數(shù)據(jù)特征信息；將所述數(shù)據(jù)特征信息輸入至所述異常數(shù)據(jù)預(yù)測(cè)模型，得到所述標(biāo)準(zhǔn)數(shù)據(jù)曲線。

14、可選地，所述基于所述標(biāo)準(zhǔn)數(shù)據(jù)曲線，判定傳輸數(shù)據(jù)中是否存在異常數(shù)據(jù)，包括：將所述標(biāo)準(zhǔn)數(shù)據(jù)曲線的曲線系數(shù)與預(yù)設(shè)閾值進(jìn)行比較，若所述曲線系數(shù)大于所述預(yù)設(shè)閾值，則判定為異常數(shù)據(jù)。

15、可選地，在所述基于所述數(shù)據(jù)標(biāo)簽對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行有效性檢驗(yàn)，篩選出未通過(guò)所述有效性檢驗(yàn)的異常數(shù)據(jù)并剔除之后，所述方法還包括：對(duì)數(shù)據(jù)傳輸通道的穩(wěn)定性進(jìn)行評(píng)估。

16、可選地，所述對(duì)數(shù)據(jù)傳輸通道的穩(wěn)定性進(jìn)行評(píng)估，包括：根據(jù)網(wǎng)絡(luò)節(jié)點(diǎn)在接收數(shù)據(jù)時(shí)的流量變動(dòng)情況，確定所述數(shù)據(jù)傳輸通道的流暢度；基于所述流暢度，計(jì)算所述數(shù)據(jù)傳輸通道的數(shù)據(jù)傳輸效率；通過(guò)所述數(shù)據(jù)傳輸效率，對(duì)數(shù)據(jù)傳輸通道的穩(wěn)定性進(jìn)行評(píng)估。

17、可選地，所述根據(jù)網(wǎng)絡(luò)節(jié)點(diǎn)在接收數(shù)據(jù)時(shí)的流量變動(dòng)情況，確定所述數(shù)據(jù)傳輸通道的流暢度，包括：利用標(biāo)準(zhǔn)網(wǎng)絡(luò)流，確定所述網(wǎng)絡(luò)節(jié)點(diǎn)在接收數(shù)據(jù)時(shí)的初始流量特征和瞬間流量特征；將所述初始流量特征和所述瞬間流量特征進(jìn)行比對(duì)，確定所述流量變動(dòng)情況；根據(jù)所述網(wǎng)絡(luò)節(jié)點(diǎn)接收每個(gè)數(shù)據(jù)時(shí)的流量變動(dòng)情況，確定所述數(shù)據(jù)傳輸通道的流暢度。

18、第二方面，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理裝置，包括：

19、獲取單元，被配置為獲取前端應(yīng)用采集到的初始信令數(shù)據(jù)；

20、分類(lèi)單元，被配置為通過(guò)數(shù)據(jù)分類(lèi)模型對(duì)所述初始信令數(shù)據(jù)進(jìn)行數(shù)據(jù)分類(lèi)處理，得到分類(lèi)數(shù)據(jù)；

21、提取單元，被配置為對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行特征提取和標(biāo)準(zhǔn)格式處理，形成數(shù)據(jù)標(biāo)簽；

22、處理單元，被配置為基于所述數(shù)據(jù)標(biāo)簽，對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行有效性檢驗(yàn)，篩選出未通過(guò)所述有效性檢驗(yàn)的異常數(shù)據(jù)并剔除。

23、第三方面，本申請(qǐng)?zhí)峁┝艘环N計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述的數(shù)據(jù)處理方法。

24、第四方面，本申請(qǐng)?zhí)峁┝艘环N電子設(shè)備，包括存儲(chǔ)介質(zhì)、處理器及存儲(chǔ)在存儲(chǔ)介質(zhì)上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)第一方面所述的數(shù)據(jù)處理方法。

25、借由上述技術(shù)方案，本申請(qǐng)?zhí)峁┑囊环N數(shù)據(jù)處理方法、裝置及電子設(shè)備，本申請(qǐng)首先獲取前端應(yīng)用采集到的初始信令數(shù)據(jù)，并通過(guò)數(shù)據(jù)分類(lèi)模型對(duì)初始信令數(shù)據(jù)進(jìn)行數(shù)據(jù)分類(lèi)處理，得到分類(lèi)數(shù)據(jù)。進(jìn)而對(duì)分類(lèi)數(shù)據(jù)進(jìn)行特征提取和標(biāo)準(zhǔn)格式處理，形成數(shù)據(jù)標(biāo)簽，最后基于數(shù)據(jù)標(biāo)簽對(duì)數(shù)據(jù)進(jìn)行有效性檢驗(yàn)，篩選出未通過(guò)有效性檢驗(yàn)的異常數(shù)據(jù)并剔除。在前端數(shù)據(jù)采集時(shí)對(duì)初始信令數(shù)據(jù)進(jìn)行分類(lèi)處理，保證數(shù)據(jù)處理過(guò)程中依據(jù)識(shí)別的數(shù)據(jù)業(yè)務(wù)類(lèi)型如大數(shù)據(jù)類(lèi)型或數(shù)據(jù)庫(kù)類(lèi)型，進(jìn)行數(shù)據(jù)處理；同時(shí)對(duì)分類(lèi)數(shù)據(jù)進(jìn)行特征提取和標(biāo)準(zhǔn)格式處理形成數(shù)據(jù)標(biāo)簽，保證數(shù)據(jù)格式的統(tǒng)一；并進(jìn)行冗余數(shù)據(jù)的剔除，降低了系統(tǒng)在處理數(shù)據(jù)時(shí)的占用空間，提高系統(tǒng)對(duì)數(shù)據(jù)的分析計(jì)算能力和效率，解決了數(shù)據(jù)處理邏輯不同無(wú)法對(duì)數(shù)據(jù)區(qū)分，存在數(shù)據(jù)冗余的問(wèn)題。

26、上述說(shuō)明僅是本申請(qǐng)技術(shù)方案的概述，為了能夠更清楚了解本申請(qǐng)的技術(shù)手段，而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本申請(qǐng)的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本申請(qǐng)的具體實(shí)施方式。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)數(shù)據(jù)分類(lèi)模型對(duì)所述初始信令數(shù)據(jù)進(jìn)行數(shù)據(jù)分類(lèi)處理，得到分類(lèi)數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行特征提取和標(biāo)準(zhǔn)格式處理，形成數(shù)據(jù)標(biāo)簽，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采集初始信令數(shù)據(jù)，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在采集初始信令數(shù)據(jù)后，所述方法還包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述數(shù)據(jù)標(biāo)簽對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行有效性檢驗(yàn)，篩選出未通過(guò)所述有效性檢驗(yàn)的異常數(shù)據(jù)并剔除，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述基于所述數(shù)據(jù)標(biāo)簽對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行有效性檢驗(yàn)，篩選出未通過(guò)所述有效性檢驗(yàn)的異常數(shù)據(jù)并剔除之后，所述方法還包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述利用所述異常數(shù)據(jù)預(yù)測(cè)模型對(duì)所述異常數(shù)據(jù)進(jìn)行分析，生成標(biāo)準(zhǔn)數(shù)據(jù)曲線，包括：

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述基于所述標(biāo)準(zhǔn)數(shù)據(jù)曲線，判定傳輸數(shù)據(jù)中是否存在異常數(shù)據(jù)，包括：

10.根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的方法，其特征在于，在所述基于所述數(shù)據(jù)標(biāo)簽對(duì)所述分類(lèi)數(shù)據(jù)進(jìn)行有效性檢驗(yàn)，篩選出未通過(guò)所述有效性檢驗(yàn)的異常數(shù)據(jù)并剔除之后，所述方法還包括：

11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述對(duì)數(shù)據(jù)傳輸通道的穩(wěn)定性進(jìn)行評(píng)估，包括：

12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述根據(jù)網(wǎng)絡(luò)節(jié)點(diǎn)在接收數(shù)據(jù)時(shí)的流量變動(dòng)情況，確定所述數(shù)據(jù)傳輸通道的流暢度，包括：

13.一種數(shù)據(jù)處理裝置，其特征在于，包括：

14.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至12中任一項(xiàng)所述的方法。

15.一種電子設(shè)備，包括存儲(chǔ)介質(zhì)、處理器及存儲(chǔ)在存儲(chǔ)介質(zhì)上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至12中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種數(shù)據(jù)處理方法、裝置及電子設(shè)備，涉及大數(shù)據(jù)及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域。方法包括：獲取前端應(yīng)用采集到的初始信令數(shù)據(jù)；通過(guò)數(shù)據(jù)分類(lèi)模型對(duì)初始信令數(shù)據(jù)進(jìn)行數(shù)據(jù)分類(lèi)處理，得到分類(lèi)數(shù)據(jù)；對(duì)分類(lèi)數(shù)據(jù)進(jìn)行特征提取和標(biāo)準(zhǔn)格式處理，形成數(shù)據(jù)標(biāo)簽；基于數(shù)據(jù)標(biāo)簽，對(duì)分類(lèi)數(shù)據(jù)進(jìn)行有效性檢驗(yàn)，篩選出未通過(guò)有效性檢驗(yàn)的異常數(shù)據(jù)并剔除。通過(guò)對(duì)初始信令數(shù)據(jù)進(jìn)行分類(lèi)，保證數(shù)據(jù)處理過(guò)程中依據(jù)數(shù)據(jù)類(lèi)型如大數(shù)據(jù)類(lèi)型或數(shù)據(jù)庫(kù)類(lèi)型進(jìn)行處理；解決了數(shù)據(jù)處理邏輯不同導(dǎo)致無(wú)法對(duì)數(shù)據(jù)區(qū)分的問(wèn)題。同時(shí)對(duì)分類(lèi)數(shù)據(jù)進(jìn)行特征提取和標(biāo)準(zhǔn)格式處理形成數(shù)據(jù)標(biāo)簽，保證數(shù)據(jù)格式的統(tǒng)一；異常數(shù)據(jù)的剔除降低了系統(tǒng)占用空間，提高對(duì)數(shù)據(jù)的分析計(jì)算能力和效率。

技術(shù)研發(fā)人員：劉娟,謝新標(biāo),項(xiàng)凱,崔凱峰,李龍飛,班正波,鄭夢(mèng)妍,王珊珊,周婧,麻曉珍
受保護(hù)的技術(shù)使用者：中國(guó)移動(dòng)通信集團(tuán)貴州有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21