本公開涉及數(shù)據(jù)存儲(chǔ)，特別是涉及一種存儲(chǔ)服務(wù)器數(shù)據(jù)存儲(chǔ)方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)：

1、隨著云計(jì)算和大數(shù)據(jù)技術(shù)的快速發(fā)展，存儲(chǔ)服務(wù)器面臨著前所未有的挑戰(zhàn)。數(shù)據(jù)集群基數(shù)大、存儲(chǔ)需求高、對(duì)存儲(chǔ)速率和安全性的要求也日益提升。

2、相關(guān)技術(shù)中，常用拓?fù)浣Y(jié)構(gòu)如cpu-hba-sas擴(kuò)展卡-硬盤背板等雖能滿足一定需求，但是，在處理大數(shù)據(jù)時(shí)仍存在存儲(chǔ)進(jìn)度緩慢、卡頓甚至卡死的問題。

技術(shù)實(shí)現(xiàn)思路

1、為克服相關(guān)技術(shù)中存在的問題，本公開提供一種存儲(chǔ)服務(wù)器數(shù)據(jù)存儲(chǔ)方法、裝置、電子設(shè)備及介質(zhì)。本公開的技術(shù)方案如下：

2、根據(jù)本公開實(shí)施例的第一方面，提供一種存儲(chǔ)服務(wù)器數(shù)據(jù)存儲(chǔ)方法，包括：檢測(cè)是否滿足對(duì)需要存儲(chǔ)的數(shù)據(jù)進(jìn)行分段操作的分段條件；

3、每當(dāng)滿足分段條件時(shí)，進(jìn)行一次分段操作，得到一個(gè)數(shù)據(jù)段；

4、通過多個(gè)子存儲(chǔ)模塊輪流對(duì)經(jīng)多次分段操作所得到的多個(gè)所述數(shù)據(jù)段進(jìn)行存儲(chǔ)，一個(gè)所述子存儲(chǔ)模塊每次存儲(chǔ)一個(gè)所述數(shù)據(jù)段；

5、在各個(gè)所述子存儲(chǔ)模塊均存儲(chǔ)有數(shù)據(jù)段的情況下，對(duì)所述子存儲(chǔ)模塊分別存儲(chǔ)的所述數(shù)據(jù)段進(jìn)行處理合并；

6、在對(duì)所述數(shù)據(jù)段進(jìn)行合并后，清空所述子存儲(chǔ)模塊的存儲(chǔ)空間；

7、將合并后的總數(shù)據(jù)發(fā)送至總存儲(chǔ)模塊進(jìn)行存儲(chǔ)。

8、可選地，所述通過多個(gè)子存儲(chǔ)模塊輪流對(duì)經(jīng)多次分段操作所得到的多個(gè)數(shù)據(jù)段進(jìn)行存儲(chǔ)，包括：

9、將各個(gè)所述子存儲(chǔ)模塊排列為一個(gè)存儲(chǔ)隊(duì)列；

10、從所述存儲(chǔ)隊(duì)列中確定存儲(chǔ)上一次獲得的所述數(shù)據(jù)段的所述子存儲(chǔ)模塊，將所述子存儲(chǔ)模塊確定為第一子存儲(chǔ)模塊；

11、在所述第一子存儲(chǔ)模塊不位于所述存儲(chǔ)隊(duì)列隊(duì)尾的情況下，將與所述第一子存儲(chǔ)模塊相鄰的下一個(gè)所述子存儲(chǔ)模塊確定為第二子存儲(chǔ)模塊；

12、在所述第一子存儲(chǔ)模塊位于所述存儲(chǔ)隊(duì)列隊(duì)尾的情況下，將位于所述存儲(chǔ)隊(duì)列隊(duì)首的所述子存儲(chǔ)模塊確定為第二子存儲(chǔ)模塊；

13、通過所述第二子存儲(chǔ)模塊對(duì)本次獲得的所述數(shù)據(jù)段進(jìn)行存儲(chǔ)。

14、可選地，所述檢測(cè)是否滿足對(duì)需要存儲(chǔ)的數(shù)據(jù)進(jìn)行分段操作的分段條件，包括：

15、創(chuàng)建計(jì)時(shí)器；所述計(jì)數(shù)器用于跟蹤時(shí)間；

16、通過所述計(jì)數(shù)器確定時(shí)間閾值；

17、初始化容量計(jì)數(shù)器；所述容量計(jì)數(shù)器用于跟蹤當(dāng)前接收到的數(shù)據(jù)大小；

18、設(shè)置數(shù)據(jù)段大小；

19、通過所述容量計(jì)數(shù)器和所述數(shù)據(jù)段大小確定所述數(shù)據(jù)量閾值；

20、在所述需要存儲(chǔ)的數(shù)據(jù)滿足時(shí)間閾值，和/或，數(shù)據(jù)量閾值的情況下，進(jìn)行一次分段操作，得到一個(gè)數(shù)據(jù)段；

21、在通過所述子存儲(chǔ)模塊對(duì)所述數(shù)據(jù)段進(jìn)行存儲(chǔ)之后，重置所述容量計(jì)數(shù)器和所述計(jì)時(shí)器。

22、可選地，在所述通過多個(gè)子存儲(chǔ)模塊輪流對(duì)經(jīng)多次分段操作所得到的多個(gè)數(shù)據(jù)段進(jìn)行存儲(chǔ)的過程中，還包括：

23、實(shí)時(shí)監(jiān)測(cè)所述子存儲(chǔ)模塊的存儲(chǔ)過程；

24、在發(fā)現(xiàn)異常的情況下，對(duì)所述異常進(jìn)行定位，確定異常子存儲(chǔ)模塊；

25、獲取所述異常子存儲(chǔ)模塊對(duì)應(yīng)的異常數(shù)據(jù)；所述異常數(shù)據(jù)包括所述異常子存儲(chǔ)模塊需要存儲(chǔ)的所述數(shù)據(jù)段中未存儲(chǔ)數(shù)據(jù)和已存儲(chǔ)數(shù)據(jù)；

26、將所述異常數(shù)據(jù)轉(zhuǎn)移到備用存儲(chǔ)模塊，在所述備用存儲(chǔ)模塊中對(duì)所述異常數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和異常處理；

27、在完成所述數(shù)據(jù)分析和所述異常處理之后，判定所述異常數(shù)據(jù)是否恢復(fù)正常；將恢復(fù)正常的所述異常數(shù)據(jù)和未出現(xiàn)異常的各個(gè)所述子存儲(chǔ)模塊對(duì)應(yīng)的數(shù)據(jù)進(jìn)行合并。

28、可選地，所述實(shí)時(shí)監(jiān)測(cè)所述子存儲(chǔ)模塊的存儲(chǔ)過程，包括：

29、獲取所述數(shù)據(jù)段攜帶的第一哈希值；

30、計(jì)算各個(gè)所述子存儲(chǔ)模塊中所述數(shù)據(jù)段的第二哈希值；

31、將各個(gè)所述第二哈希值和對(duì)應(yīng)的所述第一哈希值進(jìn)行比較；

32、在所述第一哈希值和所述第二哈希值不一致的情況下，判斷所述子存儲(chǔ)模塊出現(xiàn)異常；

33、所述判定所述異常數(shù)據(jù)是否恢復(fù)正常，包括：

34、計(jì)算完成所述數(shù)據(jù)分析和所述異常處理之后的所述異常數(shù)據(jù)的第三哈希值；

35、將各個(gè)所述第三哈希值和對(duì)應(yīng)的所述第一哈希值進(jìn)行比較；

36、在所述第三哈希值和所述第一哈希值一致的情況下，判定所述異常數(shù)據(jù)恢復(fù)正常；其中，所述獲取所述數(shù)據(jù)段攜帶的第一哈希值，包括：

37、在通過所述子存儲(chǔ)模塊對(duì)所述數(shù)據(jù)段進(jìn)行存儲(chǔ)之前，計(jì)算所述數(shù)據(jù)段的第一哈希值；所述第一哈希值用于表征所述數(shù)據(jù)段的摘要；

38、在所述數(shù)據(jù)段中添加所述第一哈希值；

39、所述第一哈希值與所述數(shù)據(jù)段一起進(jìn)行傳輸和保存。

40、可選地，所述對(duì)所述子存儲(chǔ)模塊分別存儲(chǔ)的所述數(shù)據(jù)段進(jìn)行處理合并，包括：為各個(gè)所述數(shù)據(jù)段生成對(duì)應(yīng)的數(shù)據(jù)幀，并設(shè)置對(duì)應(yīng)的第一索引；所述數(shù)據(jù)幀用于包含所述數(shù)據(jù)幀；

41、根據(jù)所述數(shù)據(jù)幀各自的時(shí)間戳，對(duì)所述數(shù)據(jù)幀進(jìn)行排序；

42、將任一所述數(shù)據(jù)幀確定為基礎(chǔ)數(shù)據(jù)幀，通過將各個(gè)所述數(shù)據(jù)幀與所述基礎(chǔ)數(shù)據(jù)幀對(duì)齊，對(duì)各個(gè)所述數(shù)據(jù)幀中的所述數(shù)據(jù)段進(jìn)行合并，得到合并數(shù)據(jù)幀。

43、可選地，在所述對(duì)所述子存儲(chǔ)模塊分別存儲(chǔ)的所述數(shù)據(jù)段進(jìn)行處理合并之后，還包括：

44、對(duì)所述合并數(shù)據(jù)進(jìn)行清洗；所述清洗包括去除異常值、重復(fù)數(shù)據(jù)或不必要的字段；對(duì)所述合并數(shù)據(jù)幀的各個(gè)列重新命名；

45、重置各個(gè)所述數(shù)據(jù)幀對(duì)應(yīng)的第一索引，為所述合并數(shù)據(jù)幀配置對(duì)應(yīng)的第二索引；將所述合并數(shù)據(jù)幀中對(duì)應(yīng)的合并數(shù)據(jù)存儲(chǔ)為數(shù)據(jù)集；

46、將所述數(shù)據(jù)集進(jìn)行導(dǎo)出。

47、可選地，在所述進(jìn)行一次分段操作的過程中，還包括：

48、發(fā)送特定的模擬信號(hào)；所述模擬信號(hào)為預(yù)設(shè)的波形或數(shù)據(jù)序列；

49、采用跟蹤機(jī)制監(jiān)控所述模擬信號(hào)的傳輸和處理過程；

50、在各個(gè)傳輸環(huán)節(jié)比較接收到的所述模擬信號(hào)的波形和所述模擬信號(hào)預(yù)設(shè)的波形，或，比較接收到的所述模擬信號(hào)的數(shù)據(jù)序列和所述模擬信號(hào)預(yù)設(shè)的數(shù)據(jù)序列；在所述波形或所述數(shù)據(jù)序列不一致的情況下，定位異常環(huán)節(jié)；

51、在所述模擬信號(hào)傳輸經(jīng)過數(shù)據(jù)傳輸系統(tǒng)的每一個(gè)環(huán)節(jié)之后，捕獲并解析所述模擬信號(hào)，評(píng)估所述數(shù)據(jù)傳輸系統(tǒng)的健康狀態(tài)和性能。

52、根據(jù)本公開實(shí)施例的第二方面，提供一種存儲(chǔ)服務(wù)器數(shù)據(jù)存儲(chǔ)裝置，包括：檢測(cè)模塊，用于檢測(cè)是否滿足對(duì)需要存儲(chǔ)的數(shù)據(jù)進(jìn)行分段操作的分段條件；分段模塊，用于每當(dāng)滿足分段條件時(shí)，進(jìn)行一次分段操作，得到一個(gè)數(shù)據(jù)段；第一存儲(chǔ)模塊，用于通過多個(gè)子存儲(chǔ)模塊輪流對(duì)經(jīng)多次分段操作所得到的多個(gè)所述數(shù)據(jù)段進(jìn)行存儲(chǔ)，一個(gè)所述子存儲(chǔ)模塊每次存儲(chǔ)一個(gè)所述數(shù)據(jù)段；

53、合并模塊，用于在各個(gè)所述子存儲(chǔ)模塊均存儲(chǔ)有數(shù)據(jù)段的情況下，對(duì)所述子存儲(chǔ)模塊分別存儲(chǔ)的所述數(shù)據(jù)段進(jìn)行處理合并；

54、清空模塊，用于在對(duì)所述數(shù)據(jù)段進(jìn)行合并后，清空所述子存儲(chǔ)模塊的存儲(chǔ)空間；第二存儲(chǔ)模塊，用于將合并后的總數(shù)據(jù)發(fā)送至總存儲(chǔ)模塊進(jìn)行存儲(chǔ)。

55、根據(jù)本公開實(shí)施例的第三方面，提供一種電子設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)如第一方面中所述的存儲(chǔ)服務(wù)器數(shù)據(jù)存儲(chǔ)方法的步驟。

56、根據(jù)本公開實(shí)施例的第四方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如第一方面中所述的存儲(chǔ)服務(wù)器數(shù)據(jù)存儲(chǔ)方法的步驟。

57、根據(jù)本公開實(shí)施例的第五方面，提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)第一方面所述的存儲(chǔ)服務(wù)器數(shù)據(jù)存儲(chǔ)方法的步驟。

58、本公開通過將大數(shù)據(jù)分段，然后通過多個(gè)子存儲(chǔ)模塊輪流存儲(chǔ)這些分段，可以顯著提高數(shù)據(jù)的存儲(chǔ)速率。每個(gè)子存儲(chǔ)模塊只負(fù)責(zé)一個(gè)數(shù)據(jù)段的存儲(chǔ)，簡(jiǎn)化了數(shù)據(jù)處理流程，同時(shí)也減少了處理單個(gè)大數(shù)據(jù)文件時(shí)可能出現(xiàn)的錯(cuò)誤和延遲。通過輪流使用多個(gè)子存儲(chǔ)模塊來存儲(chǔ)數(shù)據(jù)段，可以更均勻地利用服務(wù)器的存儲(chǔ)資源，避免某些存儲(chǔ)單元過度使用而其他存儲(chǔ)單元空閑的情況。在所有子存儲(chǔ)模塊均存儲(chǔ)有數(shù)據(jù)段的情況下，進(jìn)行數(shù)據(jù)處理和合并，這不僅保證了數(shù)據(jù)的完整性，也增強(qiáng)了數(shù)據(jù)的安全性，因?yàn)閿?shù)據(jù)在合并前是分散存儲(chǔ)的，減少了數(shù)據(jù)泄露的風(fēng)險(xiǎn)。采用分段存儲(chǔ)和周期性清空子存儲(chǔ)模塊的方式，有助于在數(shù)據(jù)損壞或丟失時(shí)，快速定位問題并進(jìn)行數(shù)據(jù)恢復(fù)。清空子存儲(chǔ)模塊的存儲(chǔ)空間還可以幫助維持存儲(chǔ)設(shè)備的最佳性能狀態(tài)。