本發(fā)明涉及數據處理，具體涉及一種海量數據處理系統和協調控制方法、裝置及存儲介質。

背景技術：

1、隨著互聯網、物聯網和移動設備的普及，大規(guī)模數據的產生呈現出爆炸性增長的趨勢。這些數據包含了各種各樣的信息，如大型工程項目數據、設備集群監(jiān)控數據、大型路網交通數據等。然而，如何從這些海量數據中提取有用的信息成了一個巨大的挑戰(zhàn)。

2、在大規(guī)模數據處理中，數據采集和存儲是首要的步驟。傳感器網絡、云計算和分布式存儲系統的發(fā)展使得數據采集和存儲變得更加高效和可靠。同時，隨著數據量的增加，數據的備份和保護也變得尤為重要。

3、大規(guī)模數據中常常包含噪聲、缺失值和異常值等問題，這些問題會對后續(xù)的數據分析和建模造成困擾。因此，數據清洗和預處理是大規(guī)模數據處理中不可或缺的環(huán)節(jié)。通過使用統計學和機器學習的方法，可以對數據進行清洗和預處理，提高數據的質量和可用性。

4、海量數據是發(fā)展趨勢，對數據分析和挖掘也越來越重要，從海量數據中提取有用信息重要而緊迫，這便要求處理要準確，精度要高，而且處理時間要短，得到有價值信息要快，所以，對海量數據的研究很有前途，也很值得進行廣泛深入的研究。

5、但是，海量數據由于數據量大導致處理困難。因此，亟需提出一種針對海量數據的處理方法。

技術實現思路

1、有鑒于此，本發(fā)明提供了一種海量數據處理系統和協調控制方法、裝置及存儲介質，以解決海量數據由于數據量大導致處理困難的問題。

2、第一方面，本發(fā)明提供了一種海量數據處理系統，該系統包括：協調控制子系統、數據拆分子系統、數據對比更新子系統、數據預測子系統和數據評估子系統；

3、協調控制子系統，用于獲取待處理海量數據和多個待處理任務信息，并當多個待處理任務信息滿足預設第一條件且待處理海量數據滿足預設第二條件時，將待處理海量數據發(fā)送至數據拆分子系統，以及將多個待處理任務信息發(fā)送至數據拆分子系統、數據對比更新子系統、數據預測子系統和數據評估子系統；數據拆分子系統，用于對待處理海量數據和多個待處理任務信息進行處理，得到多個關聯數據塊，并將多個關聯數據塊發(fā)送至數據對比更新子系統、數據預測子系統和數據評估子系統；數據對比更新子系統，用于基于多個待處理任務信息，將多個關聯數據塊和多個預設標準數據進行比對，得到數據比對結果，并將數據比對結果發(fā)送至數據評估子系統；數據預測子系統，用于基于預設目標需求、多個關聯數據塊和多個待處理任務信息，利用平滑指數預測方法進行數據預測，得到待處理海量數據的數據預測結果，并將數據預測結果發(fā)送至數據評估子系統；數據評估子系統，基于多個待處理任務信息、多個關聯數據塊、數據比對結果和數據預測結果進行數據評估，得到待處理海量數據的數據評估結果。

4、本發(fā)明提供的海量數據處理系統，通過數據拆分子系統、數據對比更新子系統、數據預測子系統和數據評估子系統分別對待處理海量數據進行處理，可以實現海量數據的對比、預測和評估三控制的任務目標，使得海量數據的處理更加全面和準確。進一步，通過協調控制子系統可以控制海量數據處理過程中數據拆分子系統、數據對比更新子系統、數據預測子系統和數據評估子系統的運行，實現了海量數據處理的協調控制。

5、在一種可選的實施方式中，數據拆分子系統，包括：節(jié)點識別模塊、拆分模塊和關聯模塊；

6、節(jié)點識別模塊，用于利用ai技術對多個待處理任務信息進行識別，得到多個任務關鍵節(jié)點和多個數據里程碑信息，以及將多個任務關鍵節(jié)點和多個數據里程碑信息發(fā)送至拆分模塊，將多個待處理任務信息發(fā)送至關聯模塊；拆分模塊，用于基于多個任務關鍵節(jié)點和多個數據里程碑信息對待處理海量數據進行拆分，得到多個數據塊，以及將多個數據塊發(fā)送至關聯模塊；關聯模塊，用于基于數據簽證將多個數據塊與多個待處理任務信息進行關聯，得到多個關聯數據塊。

7、本發(fā)明通過ai技術識別可以得到多個任務關鍵節(jié)點和多個數據里程碑信息，進一步，通過多個數據里程碑信息可以全面、準確地反映待處理海量數據的整體狀況，進一步，可以提高后續(xù)數據拆分和分類的準確性和處理分析的合理性，為后續(xù)數據預測、對比等處理提供了數據支持。

8、在一種可選的實施方式中，數據對比更新子系統，包括：數據獲取模塊和對比模塊；

9、數據獲取模塊，用于獲取多個預設標準數據，并將多個預設標準數據發(fā)送至對比模塊；對比模塊，用于將多個關聯數據塊和預設標準數據進行比對，得到數據比對結果，并將數據比對結果發(fā)送至數據評估子系統。

10、在一種可選的實施方式中，數據對比更新子系統，還包括：更新模塊，用于基于多個待處理任務信息更新多個預設標準數據。

11、本發(fā)明可以根據收到的多個待處理任務信息實時更新對應的預設標準數據。

12、在一種可選的實施方式中，數據預測子系統，包括：分類編輯模塊和預測模塊；

13、分類編輯模塊，用于根據預設目標需求對多個關聯數據塊進行分類編輯，得到多個數據組，并將多個數據組發(fā)送至預測模塊；預測模塊，用于基于多個待處理任務信息，將多個數據組經過平滑指數預測方法處理，得到數據預測結果，并將數據預測結果發(fā)送至數據評估子系統。

14、本發(fā)明通過分類編輯模塊對關聯數據塊進行分類編輯，可以便于后續(xù)進行數據預測，進一步，結合平滑指數預測方法可以實現對海量數據的預測處理。

15、在一種可選的實施方式中，數據評估子系統，包括：分組編碼模塊、第一模型構建模塊、第二模型構建模塊和計算評估模塊；

16、分組編碼模塊，用于基于多個待處理任務信息對多個關聯數據塊進行分組編碼，得到多個分塊編碼序列，并將多個分塊編碼序列發(fā)送至計算評估模塊，每個分塊編碼序列對應一個關聯數據塊；第一模型構建模塊，用于基于數據比對結果建立第一數據評估標準模型，并將第一數據評估標準模型發(fā)送至計算評估模塊；第二模型構建模塊，用于基于數據預測結果建立第二數據評估標準模型，并將第二數據評估標準模型發(fā)送至計算評估模塊；計算評估模塊，用于基于多個分塊編碼序列，經過預設計算方法、第一數據評估標準模型和第二數據評估標準模型處理，得到數據評估結果。

17、本發(fā)明通過構建第一數據評估標準模型和第二數據評估標準模型可以從不同角度全面分析待處理海量數據，進而可以提高數據評估結果的準確性。

18、在一種可選的實施方式中，計算評估模塊，包括：第一計算子模塊、第一處理子模塊、第二處理子模塊和第二計算子模塊；

19、第一計算子模塊，用于基于多個分塊編碼序列，經過預設計算方法，得到多個第一數據評估指標和多個第二數據評估指標，并將多個第一數據評估指標發(fā)送至第一處理子模塊，將多個第二數據評估指標發(fā)送至第二處理子模塊；第一處理子模塊，用于將多個第一數據評估指標輸入第一數據評估標準模型，得到多個第一數據評估值，以及將多個第一數據評估值發(fā)送至第二計算子模塊；第二處理子模塊，用于將多個第二數據評估指標輸入第二數據評估標準模型，得到多個第二數據評估值，以及將多個第二數據評估值發(fā)送至第二計算子模塊；第二計算子模塊，用于基于多個第一數據評估值和多個第二數據評估值，計算得到數據評估結果。

20、在一種可選的實施方式中，第一計算子模塊，包括：第一計算單元、第二計算單元和第三計算單元；

21、第一計算單元，用于基于多個分塊編碼序列，經過預設第一關系式計算，得到多個數據塊編碼對比值，并將多個數據塊編碼對比值發(fā)送至第二計算單元；第二計算單元，用于基于多個分塊編碼序列和多個數據塊編碼對比值，經過預設第二關系式計算，得到多個數據塊編碼預測值，并將多個數據塊編碼預測值發(fā)送至第三計算單元；第三計算單元，用于基于多個數據塊編碼預測值，經過預設第三關系式計算，得到多個第一數據評估指標和多個第二數據評估指標。

22、在一種可選的實施方式中，數據評估子系統，還包括：檢測模塊，用于接收計算評估模塊發(fā)送的數據評估結果，并基于預設評估閾值范圍檢測數據評估結果是否滿足預設標準，得到檢測結果。

23、本發(fā)明通過預設評估閾值范圍可以檢測數據評估結果是否滿足預設標準，進而可以為后續(xù)數據評估提供支持。

24、在一種可選的實施方式中，數據對比更新子系統，還用于將數據比對結果通過數據預測子系統發(fā)送至數據評估子系統。

25、在一種可選的實施方式中，協調控制子系統，還用于當多個待處理任務信息滿足預設第一條件且待處理海量數據不滿足預設第二條件時，將待處理海量數據分別發(fā)送至數據對比更新子系統、數據預測子系統和數據評估子系統進行處理，并得到待處理海量數據的數據評估結果。

26、本發(fā)明通過協調控制子系統可以控制海量數據處理過程中數據拆分子系統、數據對比更新子系統、數據預測子系統和數據評估子系統的運行，實現了海量數據處理的協調控制。

27、在一種可選的實施方式中，協調控制子系統包括：獲取模塊、判斷模塊、比對模塊和確定模塊；

28、獲取模塊，用于獲取待處理海量數據的數據量和數據處理速度，并將數據量發(fā)送至判斷模塊，將數據處理速度發(fā)送至比對模塊；判斷模塊，用于判斷數據量是否滿足預設第三條件，并將判斷結果發(fā)送至確定模塊；比對模塊，用于將數據處理速度與預設閾值進行比對，并將比對結果發(fā)送至確定模塊；確定模塊，用于基于判斷結果或比對結果確定待處理海量數據是否滿足預設第二條件。

29、本發(fā)明通過待處理海量數據的數據量或數據處理速度都可以判斷出待處理海量數據是否滿足預設第二條件，為后續(xù)協調控制子系統的協調控制提供了支持。

30、在一種可選的實施方式中，確定模塊，用于當判斷結果為數據量滿足預設第三條件，或比對結果為數據處理速度大于預設閾值時，確定待處理海量數據不滿足預設第二條件；確定模塊，還用于當判斷結果為數據量不滿足預設第三條件，或比對結果為數據處理速度小于預設閾值時，確定待處理海量數據滿足預設第二條件。

31、在一種可選的實施方式中，協調控制子系統，還用于當多個待處理任務信息不滿足預設第一條件時，確定目標控制子系統，并控制數據拆分子系統、數據對比更新子系統、數據預測子系統和數據評估子系統中除目標控制子系統外的其他子系統全部暫停，目標控制子系統基于多個待處理任務信息確定，為數據拆分子系統、數據對比更新子系統、數據預測子系統和數據評估子系統中的一個。

32、第二方面，本發(fā)明提供了一種協調控制方法，用于上述第一方面或其對應的任一實施方式的海量數據處理系統內協調控制子系統；該方法包括：

33、獲取待處理海量數據和多個待處理任務信息；基于待處理海量數據和多個待處理任務信息，經過預設判斷方法處理，得到協調控制策略；利用協調控制策略對待處理海量數據在海量數據處理系統內的處理流程進行協調控制，得到協調控制結果。

34、本發(fā)明提供的協調控制方法，通過待處理海量數據是否滿足預設第二條件的判斷結果和多個待處理任務信息可以確定出協調控制子系統的協調控制策略，進一步，通過該協調控制策實現了待處理海量數據在海量數據處理系統內的處理流程的協調控制。

35、第三方面，本發(fā)明提供了一種協調控制裝置，用于執(zhí)行上述第二方面提供的協調控制方法；該裝置包括：

36、獲取單元，用于獲取待處理海量數據和多個待處理任務信息；判斷單元，用于基于待處理海量數據和多個待處理任務信息，經過預設判斷方法處理，得到協調控制策略；控制單元，用于利用協調控制策略對待處理海量數據在海量數據處理系統內的處理流程進行協調控制，得到協調控制結果。

37、第四方面，本發(fā)明提供了一種計算機可讀存儲介質，該計算機可讀存儲介質上存儲有計算機指令，計算機指令用于使計算機執(zhí)行上述第二方面提供的協調控制方法。

38、第五方面，本發(fā)明提供了一種計算機程序產品，包括計算機指令，計算機指令用于使計算機執(zhí)行上述第二方面提供的協調控制方法。