本發(fā)明涉及數(shù)據(jù)處理，具體為一種計算機的數(shù)據(jù)處理方法及系統(tǒng)。

背景技術：

1、數(shù)據(jù)處理是信息技術領域廣泛使用的術語，是指以系統(tǒng)、有效的方式組織、分析和轉換信息所采取的一系列行動和程序。此過程涉及使用不同的工具和技術，使您能夠操作原始數(shù)據(jù)并將其轉換為有用且相關的信息以進行決策。

2、數(shù)據(jù)處理是將數(shù)據(jù)轉換為有用信息的一組活動。它包括系統(tǒng)地收集、組織、分析和呈現(xiàn)數(shù)據(jù)。使用各種技術和工具將數(shù)據(jù)轉化為知識，能夠做出明智的決策并解決問題。

3、數(shù)據(jù)處理的第一步是收集相關信息。這涉及確定分析所需的數(shù)據(jù)源，無論是通過調(diào)查、數(shù)據(jù)庫、測量還是其他方式。收集數(shù)據(jù)后，必須以連貫且結構化的方式對其進行組織。這是通過使用分類和分類技術來實現(xiàn)的，確保數(shù)據(jù)被正確標記和排序。

4、一旦數(shù)據(jù)被組織起來，分析就開始了。這涉及應用統(tǒng)計技術和算法來識別數(shù)據(jù)之間的模式、趨勢和關系。分析可能包括使用特定的軟件工具，例如電子表格、統(tǒng)計分析程序或專門的編程語言。最后，使用圖表、表格或其他有助于理解所生成信息的視覺手段，以清晰簡潔的方式呈現(xiàn)分析結果。

5、在申請公布號為cn114691698b的中國發(fā)明專利中，公開了一種計算機系統(tǒng)的數(shù)據(jù)處理系統(tǒng)及方法，屬于數(shù)據(jù)處理技術領域，分別對不同的存儲區(qū)域和數(shù)據(jù)包進行數(shù)據(jù)采集和處理訓練得到對應的存估系數(shù)和請估系數(shù)，基于存估系數(shù)和請估系數(shù)對不同的存儲區(qū)域和數(shù)據(jù)包進行整體評估；通過分總的結構來對不同的存儲區(qū)域和數(shù)據(jù)包進行分析以及綜合評估，有效提高了存儲區(qū)域和數(shù)據(jù)包分析的準確性和多樣性；本發(fā)明還公開了一種計算機系統(tǒng)的數(shù)據(jù)處理方法。

6、以上申請中記載的技術方案中，可以解決現(xiàn)有方案中沒有對計算機系統(tǒng)中不同的存儲區(qū)域和請求處理的數(shù)據(jù)包進行預處理和分類，并自適應的動態(tài)調(diào)整存儲區(qū)域的處理對象，導致不同存儲區(qū)域和數(shù)據(jù)包的整體處理效果不佳的技術問題，但是結合現(xiàn)有技術和以上申請，在獲取到數(shù)據(jù)信息后，未對數(shù)據(jù)信息進行預處理，造成數(shù)據(jù)信息混亂，并且數(shù)據(jù)信息內(nèi)部存在有大量的錯誤，容易引起數(shù)據(jù)后續(xù)處理的錯誤，并且不便于對數(shù)據(jù)信息進行存儲和查詢等問題。

7、為此，本發(fā)明提供了一種計算機的數(shù)據(jù)處理方法及系統(tǒng)。

技術實現(xiàn)思路

1、(一)解決的技術問題

2、針對現(xiàn)有技術的不足，本發(fā)明提供了一種計算機的數(shù)據(jù)處理方法及系統(tǒng)，通過對數(shù)據(jù)信息進行分組處理，通過局部敏感哈希判定兩組數(shù)據(jù)信的相似度，便于對數(shù)據(jù)信息進行查詢，獲取相同類型的數(shù)據(jù)，以及在預處理的時候，對數(shù)據(jù)信息進行檢測和清洗，對數(shù)據(jù)信息中的無用信息和錯誤信息進行除去，進而可以提高數(shù)據(jù)信息的精準度，便于數(shù)據(jù)信息的后續(xù)計算處理，通過人工神經(jīng)網(wǎng)絡對數(shù)據(jù)信息進行計算處理，便于提取數(shù)據(jù)信息中的有用信息，便于對數(shù)據(jù)處理整合，方便視覺觀測，并且為了提高數(shù)據(jù)信息的存儲和查詢效率，將計算處理后的數(shù)據(jù)信息進行分片存儲，便于進行存儲和查詢，從而解決了背景技術記載的技術問題。

3、(二)技術方案

4、為實現(xiàn)以上目的，本發(fā)明通過以下技術方案予以實現(xiàn)：

5、一種計算機的數(shù)據(jù)處理方法，包括，

6、計算機通過查找算法對計算機中的數(shù)據(jù)信息進行獲取，將獲取的后的數(shù)據(jù)信息進行分組，分別為a組和b組，再對a組和b組內(nèi)的數(shù)據(jù)信息進行相似度計算，通過局部敏感哈?？焖俟烙媰蓚€集合的相似度；

7、對數(shù)據(jù)組內(nèi)部的數(shù)據(jù)信息進行預處理，并且對數(shù)據(jù)組內(nèi)的數(shù)據(jù)信息進行檢測和清洗，對數(shù)據(jù)信息中的無用信息和錯誤信息進行除去，基于關聯(lián)數(shù)據(jù)之間的一致性來檢測數(shù)據(jù)潛在的錯誤，利用統(tǒng)計分析的方法對出現(xiàn)的錯誤值進行識別，再對錯誤數(shù)據(jù)進行清除；

8、關聯(lián)數(shù)據(jù)建立關聯(lián)門，門限過濾既是閾值判定，對不滿足閾值的數(shù)據(jù)進行刪除；

9、門限的公式表示為：et＝πgs(t)12，其中，g為門限的閾值，s(t)為狀態(tài)預測協(xié)方差；

10、測量數(shù)據(jù)與設定數(shù)據(jù)之間的馬氏距離滿足閾值：zi(t)＜g2，則表示測量數(shù)據(jù)與設定數(shù)據(jù)之間有關聯(lián)，

11、設矩陣為j＝1,2,…,m；t＝0,1,…,t，其中j表示矩陣的行，t表示矩陣的列，mk為測量數(shù)據(jù)的個數(shù)，t為設定數(shù)據(jù)個數(shù)；

12、

13、再進行數(shù)據(jù)計算，通過各種算術和邏輯運算，對數(shù)據(jù)信息進行計算處理，即通過人工神經(jīng)網(wǎng)絡對數(shù)據(jù)信息進行計算處理，以及通過分布式遺傳算法和貝葉斯定理對數(shù)據(jù)信息進行計算處理的優(yōu)先級；

14、將處理后的數(shù)據(jù)信息進行數(shù)據(jù)存儲，將原始數(shù)據(jù)或計算的結果保存起來，供以后使用，并且將數(shù)據(jù)文件分片，對每個數(shù)據(jù)分片進行加密和生成哈希，然后進行復制；

15、最后對存儲的數(shù)據(jù)信息進行查詢，通過蟻群算法對數(shù)據(jù)信息的存儲節(jié)點進行計算查詢，蟻群算法的計算公式如下：

16、節(jié)點之間的有向圖g＝(n，a)，

17、其中，n＝{1，2，…，3}a＝{(i，j)|i，j∈n}，

18、目標函數(shù)：

19、其中，w＝(i1，i2，…，in)，l為節(jié)點的一個排列，且in+1＝il，為兩節(jié)點之間的距離。

20、進一步的，所述查找算法中包括有快速查找、線性查找和哈希查找，通過快速查找、線性查找和哈希查找對計算機中各項數(shù)據(jù)信息，包括有計算機中存儲的數(shù)據(jù)信息，以及包括有大數(shù)據(jù)查詢的數(shù)據(jù)信息；

21、所述哈希查找在查找某一數(shù)據(jù)信息的時候，首先通過哈希函數(shù)計算其哈希地址，然后比較地址的值是否等于目標值，如果相等則查找結束，則利用處理沖突的方法確定新的地址，再進行比較；如果哈希地址為空，則查找失敗；

22、所述哈希算法的公式如下：

23、address＝h[key]；

24、所述哈希算法的哈希沖突的解決算法采用的是線性探查法；

25、所述線性探查法的公式如下：

26、hi＝(h(key)+i)％m，0≤i≤m-1；

27、即探查時從地址d開始，首先探查t[d]，然后依次探查t[d+1]，…，直到t[m-1]，此后又循環(huán)到t[0]，t[1]，…，直到探查到有空余地址或者到t[d-1]為止。

28、進一步的，所述局部敏感哈希的相似度計算過程如下：

29、假設a組和b組，jaccard指數(shù)是交集的基數(shù)與其并集的基數(shù)之間的比率；a組和b組之間的相似性如公式：

30、

31、將h(x)定義為將x映射到整數(shù)的哈希函數(shù)，而hmin(s)是分組中的所有元素被h(x)映射到整數(shù)后的最小哈希值，且將a組設為集合s1，將b組設為集合s2，選擇k個哈希函數(shù)：

32、h1(x),h1(x),…,hk-1(x),hk(x)，

33、然后使用哈希函數(shù)分別對集合s1和集合s2進行hmin(s)運算：

34、

35、得到集合mins1和集合mins2，集合s1和集合s2之間的相似度為：

36、

37、最后使用結果來評估樣本之間的相似性。

38、進一步的，所述統(tǒng)計分析采用的是一元線性回歸模型，即數(shù)據(jù)信息之間成線性相關；

39、設數(shù)據(jù)信息為y和x，且y和x之間的依存關系表示為：

40、yi＝α+βxi+εi；

41、其中α、β是常數(shù)，εi隨機擾動項是無法直接觀測的隨機變量；

42、且均值為：

43、e(yi)＝α+βxi，以e(yi)示給定自變量值xi時因變量的均值或期望值，α、β統(tǒng)稱為總體回歸方程的參數(shù)，中α是總體回歸方程的常數(shù)項，總體回歸直線在y軸上的截距；β是總體回歸系數(shù)，也是總體回歸直線的斜率；

44、即通過一元線性回歸模型檢測數(shù)據(jù)信息是否一致，若數(shù)據(jù)信息不一致，則不在一元線性回歸模型上，進行剔除，若數(shù)據(jù)信息一致，則在一元線性回歸模型的附近或者線上，進行存儲使用。

45、進一步的，所述人工神經(jīng)網(wǎng)絡的神經(jīng)網(wǎng)絡輸入神經(jīng)元信息和對應的權重矩陣w來決定的，wtxt，x是一個向量，w是一個權重矩陣，通過w來將x轉換成另外的向量；

46、前一個時刻的隱藏層神經(jīng)元向當前時刻的神經(jīng)元的信息傳遞，其值有st-1和對應的權重矩陣u來決定，utst-1，st-1是一個向量，u是一個權重矩陣，通過u來將st-1轉換成另外的向量；

47、主要是當前時刻的神經(jīng)元ht，將上述兩個部分的輸入整合，激活生成當前時刻隱藏層神經(jīng)元的輸出，整合的過程就是向量相加：wtxt+utst-1；

48、在假設激活函數(shù)為f，則激活后生成當前時刻神經(jīng)元的值：st＝f(wtxt+utst-1)；

49、信息傳遞主要是將當前時刻隱藏層神經(jīng)元的值傳遞到當前時刻的輸出神經(jīng)元中去：

50、ot＝g(vtst)；

51、則向前的公式如下：

52、st＝f(wtxt+utst-1),ot＝g(vtst)＝g(vtf(wtxt+utst-1))；

53、在整個神經(jīng)網(wǎng)絡中，一共包含的三中權重矩陣，第一個矩陣是w，給矩陣的維度為(n，k)，n表示隱藏層神經(jīng)元值的向量維度，k表示輸入神經(jīng)單元的向量的維度，第二個權重矩陣是v，該矩陣的維度為(l，n)，其中p表示輸出層的神經(jīng)元的向量維度，第三個是權重矩陣u，該矩陣的維度是(n，n)。

54、進一步的，所述分布式遺傳算法的計算公式如下：

55、初始化種群：

56、

57、其中，xi(0)是第i個個體，j表示第j維；

58、

59、其中，和分別為第j維的下界和上界，rand(0,1)表示在區(qū)間[0,1]上的隨機數(shù)。

60、進一步的，所述貝葉斯定理用于計算在數(shù)據(jù)信息計算處理優(yōu)選級的概率，每個數(shù)據(jù)信息的概率給出x的值，即實現(xiàn)對兩個群體級之間進行比較，判定優(yōu)先概率；

61、

62、p(c|x)是給定預測變量x時，c數(shù)據(jù)信息的概率；

63、p(x|c)是給定預測變量c時，x數(shù)據(jù)信息的概率；

64、p0是數(shù)據(jù)信息的概率；

65、p(x)為預測計算的概率；

66、即通過數(shù)據(jù)信息的優(yōu)先級的概率，去得出計算數(shù)據(jù)信息的概率；

67、即通過數(shù)據(jù)信息的之間的相互作用確定群體級，然后通過判定各個群體級之間的優(yōu)先級進行計算處理。

68、進一步的，所述數(shù)據(jù)分片的步驟流程如下：

69、創(chuàng)建數(shù)據(jù)分片：存儲系統(tǒng)將數(shù)據(jù)分成更小的片段，將數(shù)據(jù)分解為可管理的塊，分布在多個節(jié)點上；

70、加密每個分片：分片之后，存儲系統(tǒng)需要加密本地系統(tǒng)上的每個數(shù)據(jù)分片；

71、為每個分片生成哈希：存儲系統(tǒng)根據(jù)分片的數(shù)據(jù)或加密密鑰生成唯一的哈?！垂潭ㄩL度的加密輸出字符串，哈希將添加到分類帳和分片元數(shù)據(jù)，以便于存儲數(shù)據(jù)分片；

72、復制每個分片：存儲系統(tǒng)復制每個分片，防止性能下降和數(shù)據(jù)丟失。

73、進一步的，所述分片生成的哈希計算如下：

74、哈希函數(shù)用于查詢數(shù)據(jù)存儲位置；

75、表示為：

76、address＝h[key]；

77、所述哈希函數(shù)包括有直接定址法：

78、取關鍵字或關鍵字的某個線性函數(shù)值為散列地址；

79、即h(key)＝key或h(key)＝a*key+b，其中a和b為常數(shù)；

80、所述哈希函數(shù)包括有除留余數(shù)法：

81、取關鍵字被某個不大于散列表長度m的數(shù)p求余，得到的作為散列地址；

82、即h(key)＝key/p，p<m；

83、哈希函數(shù)用于加密存儲數(shù)據(jù)：

84、設解密函數(shù)為d，則p＝d(k，c)，其中c為密文，k為密鑰，p為明文，把密文c和密鑰k作為解密函數(shù)的參數(shù)輸入，則解密函數(shù)會輸出明文p；

85、設加密函數(shù)為e，則c＝e(k，p)，其中p為明文，k為密鑰，c為密文，把明文p和密鑰k作為加密函數(shù)的參數(shù)輸入，則加密函數(shù)e會輸出密文c。

86、一種計算機的數(shù)據(jù)處理系統(tǒng)，包括：

87、數(shù)據(jù)信息獲取，對計算機中的數(shù)據(jù)性進行查詢獲取，以及實現(xiàn)通過互聯(lián)網(wǎng)查詢大數(shù)據(jù)信息，并且對數(shù)據(jù)進行分組和相似度計算；

88、數(shù)據(jù)信息預處理，將分組處理后的數(shù)據(jù)信息進行預處理，實現(xiàn)對數(shù)據(jù)信息進行檢測和清洗，將數(shù)據(jù)信息中的無用信息和錯誤信息進行剔除；

89、數(shù)據(jù)信息計算，數(shù)據(jù)信息預處理后，數(shù)據(jù)信息更加的精準，再通過人工神經(jīng)網(wǎng)絡對數(shù)據(jù)信息進行計算處理，以及通過分布式遺傳算法和貝葉斯定理對數(shù)據(jù)信息的計算處理的優(yōu)先級進行計算判定；

90、數(shù)據(jù)信息存儲，用于將處理后的數(shù)據(jù)信息進行存儲，并且采用將數(shù)據(jù)分片存儲，通加密保持數(shù)據(jù)的安全性，以及哈希的設定便于數(shù)據(jù)分片進行查詢；

91、數(shù)據(jù)信息查詢，通過數(shù)據(jù)信息查詢，便于計算機對儲存單元中的數(shù)據(jù)信息進行查詢，即通過蟻群算法對存儲的數(shù)據(jù)分片進行查詢。

92、(三)有益效果

93、本發(fā)明提供了一種計算機的數(shù)據(jù)處理方法及系統(tǒng)，具備以下有益效果：

94、本發(fā)明通過計算機查詢獲取到數(shù)據(jù)信息，并且對數(shù)據(jù)信息進行分組，通過局部敏感哈希對兩分組數(shù)據(jù)信息進行相似度比較，可以對數(shù)據(jù)信息中的錯誤信息進行查詢，并且還通過預處理對數(shù)據(jù)信息進行檢測，實現(xiàn)對數(shù)據(jù)信息進行檢測和清洗，將數(shù)據(jù)信息中的無用信息和錯誤信息進行除去，基于關聯(lián)數(shù)據(jù)之間的一致性來檢測數(shù)據(jù)潛在的錯誤，利用統(tǒng)計分析的方法對出現(xiàn)的錯誤值進行識別，再對錯誤數(shù)據(jù)進行清除；

95、在對數(shù)據(jù)信息進行計算的時候，通過各種算術和邏輯運算進行計算處理，通過人工神經(jīng)網(wǎng)絡對數(shù)據(jù)信息進行計算處理，以及通過分布式遺傳算法和貝葉斯定理對數(shù)據(jù)信息進行計算處理的優(yōu)先級，即先計算得出處理的優(yōu)先級，然后再通過人工神經(jīng)網(wǎng)絡對數(shù)據(jù)信息進行計算，便于獲取數(shù)據(jù)信息中的有效信息；

96、為了提高數(shù)據(jù)信息的存儲和查詢，將數(shù)據(jù)文件分片，對每個數(shù)據(jù)分片進行加密和生成哈希，便于對數(shù)據(jù)信息進行加密，提高安全性，并且便于對數(shù)據(jù)信息分片進行查詢，且數(shù)據(jù)信息的查詢通過蟻群算法進行計算查詢，便于獲取數(shù)據(jù)信息分片。