本技術(shù)涉及通信，具體涉及一種數(shù)據(jù)處理方法、裝置、電子設(shè)備、產(chǎn)品及存儲介質(zhì)。

背景技術(shù)：

1、隨著企業(yè)數(shù)字化轉(zhuǎn)型的不斷推進(jìn)，數(shù)據(jù)中臺和數(shù)據(jù)生產(chǎn)在業(yè)務(wù)中的重要性和地位日益凸顯，對業(yè)務(wù)連續(xù)性的要求也不斷提高。然而，在實踐中，保障數(shù)據(jù)生產(chǎn)業(yè)務(wù)的連續(xù)性面臨諸多挑戰(zhàn)，如資源冗余度大、浪費嚴(yán)重，以及靈活性和穩(wěn)定性不足等問題。這些問題不僅會對企業(yè)的運營效率和成本產(chǎn)生負(fù)面影響，還可能對企業(yè)的聲譽(yù)與客戶滿意度造成損害。

2、目前關(guān)于數(shù)據(jù)中臺的數(shù)據(jù)生產(chǎn)業(yè)務(wù)連續(xù)性保障的方式存在多種方法。(1)檢測第一與第二數(shù)據(jù)中心的心跳響應(yīng)情況判定數(shù)據(jù)中心是否存在異常，并自動對雙數(shù)據(jù)中心識別異常狀況并做出相應(yīng)切換操作。該方法僅考慮了全局?jǐn)?shù)據(jù)中心發(fā)生故障的情況，未考慮部分?jǐn)?shù)據(jù)故障的情況。(2)自適應(yīng)觸發(fā)生產(chǎn)端的存儲設(shè)備與容災(zāi)端的存儲設(shè)備的數(shù)據(jù)同步，減少生產(chǎn)端的存儲設(shè)備與容災(zāi)端的存儲設(shè)備的數(shù)據(jù)差異，降低故障發(fā)生時的數(shù)據(jù)丟失量。該方法雖考慮了基于數(shù)據(jù)的生產(chǎn)端與容災(zāi)端的自適應(yīng)觸發(fā)同步充分利用到了容災(zāi)端的資源，但未考慮對數(shù)據(jù)生產(chǎn)任務(wù)代碼的一致性以及數(shù)據(jù)生產(chǎn)全流程的容災(zāi)端建設(shè)。

3、綜上可知，現(xiàn)有的企業(yè)數(shù)據(jù)生產(chǎn)的效率低。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供一種數(shù)據(jù)處理方法、裝置、電子設(shè)備、產(chǎn)品及存儲介質(zhì)，用以解決現(xiàn)有的企業(yè)數(shù)據(jù)生產(chǎn)的效率低的技術(shù)問題。

2、第一方面，本技術(shù)實施例提供一種數(shù)據(jù)處理方法，包括：基于預(yù)先生成的調(diào)度信息和遠(yuǎn)程過程調(diào)用rpc，控制運行態(tài)調(diào)度組對數(shù)據(jù)服務(wù)使用方的數(shù)據(jù)進(jìn)行加載，基于加載結(jié)果，得到匯聚數(shù)據(jù)；基于路徑集合bop算法，對生產(chǎn)端代碼和容災(zāi)端代碼進(jìn)行一致性校驗；當(dāng)所述生產(chǎn)端代碼和所述容災(zāi)端代碼校驗一致時，執(zhí)行所述生產(chǎn)端代碼，得到每個數(shù)據(jù)分析業(yè)務(wù)的第一完成情況，執(zhí)行所述容災(zāi)端代碼，得到每個所述數(shù)據(jù)分析業(yè)務(wù)的第二完成情況，基于每個所述數(shù)據(jù)分析業(yè)務(wù)的第一完成情況和第二完成情況，獲取每個所述數(shù)據(jù)分析業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)；基于所述rpc，控制所述運行態(tài)調(diào)度組，將所述業(yè)務(wù)數(shù)據(jù)加載至所述數(shù)據(jù)服務(wù)使用方。

3、在一個實施例中，所述基于路徑集合bop算法，對生產(chǎn)端代碼和容災(zāi)端代碼進(jìn)行一致性校驗，包括：將所述生產(chǎn)端代碼輸入語言編譯器，得到第一結(jié)構(gòu)化查詢語言，將所述容災(zāi)端代碼輸入所述語言編譯器，得到第二結(jié)構(gòu)化查詢語言；基于所述第一結(jié)構(gòu)化查詢語言，確定生產(chǎn)端路徑集合，基于所述第二結(jié)構(gòu)化查詢語言，確定容災(zāi)端路徑集合；比較所述生產(chǎn)端路徑集合的路徑與所述容災(zāi)端路徑集合的路徑的余弦相似度，當(dāng)所述余弦相似度大于設(shè)定閾值時，確定所述生產(chǎn)端代碼和所述容災(zāi)端代碼一致。

4、在一個實施例中，所述基于所述第一結(jié)構(gòu)化查詢語言，確定生產(chǎn)端路徑集合，包括：根據(jù)結(jié)構(gòu)化查詢語言的語法規(guī)則，將所述第一結(jié)構(gòu)化查詢語言拆分成單詞，基于所述單詞和所述單詞之間的組合關(guān)系，確定根節(jié)點、中間節(jié)點和葉子節(jié)點，以構(gòu)建生產(chǎn)端抽象語法樹；從所述生產(chǎn)端抽象語法樹的根節(jié)點開始，隨機(jī)遍歷中間節(jié)點直至遍歷到葉子節(jié)點，得到一條路徑，基于所述生產(chǎn)端抽象語法樹的所有所述根節(jié)點，得到所述生產(chǎn)端路徑集合，所述生產(chǎn)端路徑集合包括多條所述路徑。

5、在一個實施例中，所述基于每個所述數(shù)據(jù)分析業(yè)務(wù)的第一完成情況和第二完成情況，獲取每個所述數(shù)據(jù)分析業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)，包括：當(dāng)所述數(shù)據(jù)分析業(yè)務(wù)的所述第一完成情況和所述第二完成情況均為已完成時，基于所述第一完成情況，得到所述業(yè)務(wù)數(shù)據(jù)；當(dāng)所述數(shù)據(jù)分析業(yè)務(wù)的所述第一完成情況為未完成，所述第二完成情況為已完成時，基于所述第二完成情況，得到所述業(yè)務(wù)數(shù)據(jù)。

6、在一個實施例中，所述運行態(tài)調(diào)度組包括生產(chǎn)調(diào)度組和容災(zāi)調(diào)度組，所述基于所述rpc，控制所述運行態(tài)調(diào)度組的接口，將所述業(yè)務(wù)數(shù)據(jù)加載至所述數(shù)據(jù)服務(wù)使用方，包括：當(dāng)基于所述第一完成情況，得到所述業(yè)務(wù)數(shù)據(jù)時，基于所述數(shù)據(jù)服務(wù)使用方的業(yè)務(wù)配置信息和所述rpc，控制所述生產(chǎn)調(diào)度組的所述接口，將所述業(yè)務(wù)數(shù)據(jù)從生產(chǎn)端加載至所述數(shù)據(jù)服務(wù)使用方，所述生產(chǎn)端用于執(zhí)行所述生產(chǎn)端代碼，以得到所述業(yè)務(wù)數(shù)據(jù)；當(dāng)基于所述第二完成情況，得到所述業(yè)務(wù)數(shù)據(jù)時，基于所述業(yè)務(wù)配置信息和所述rpc，控制所述容災(zāi)調(diào)度組的所述接口，將所述業(yè)務(wù)數(shù)據(jù)從容災(zāi)端加載至所述數(shù)據(jù)服務(wù)使用方，所述容災(zāi)端用于執(zhí)行所述容災(zāi)端代碼，以得到所述業(yè)務(wù)數(shù)據(jù)。

7、在一個實施例中，所述調(diào)度信息是基于以下步驟確定的：基于預(yù)先生成的數(shù)據(jù)匯聚模板，獲取每個數(shù)據(jù)業(yè)務(wù)的名稱、每個數(shù)據(jù)業(yè)務(wù)的啟動時間、每個數(shù)據(jù)業(yè)務(wù)的源端數(shù)據(jù)源信息、每個數(shù)據(jù)業(yè)務(wù)的目標(biāo)端數(shù)據(jù)源信息和所述運行態(tài)調(diào)度組的信息，以得到所述調(diào)度信息。

8、第二方面，本技術(shù)實施例提供一種數(shù)據(jù)處理裝置，包括：數(shù)據(jù)匯聚模塊，用于基于預(yù)先生成的調(diào)度信息和遠(yuǎn)程過程調(diào)用rpc，控制運行態(tài)調(diào)度組對數(shù)據(jù)服務(wù)使用方的數(shù)據(jù)進(jìn)行加載，基于加載結(jié)果，得到匯聚數(shù)據(jù)；校驗?zāi)K，用于基于路徑集合bop算法，對生產(chǎn)端代碼和容災(zāi)端代碼進(jìn)行一致性校驗；業(yè)務(wù)數(shù)據(jù)獲取模塊，用于當(dāng)所述生產(chǎn)端代碼和所述容災(zāi)端代碼校驗一致時，執(zhí)行所述生產(chǎn)端代碼，得到每個數(shù)據(jù)分析業(yè)務(wù)的第一完成情況，執(zhí)行所述容災(zāi)端代碼，得到每個所述數(shù)據(jù)分析業(yè)務(wù)的第二完成情況，基于每個所述數(shù)據(jù)分析業(yè)務(wù)的第一完成情況和第二完成情況，獲取每個所述數(shù)據(jù)分析業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)；數(shù)據(jù)開放模塊，用于基于所述rpc，控制所述運行態(tài)調(diào)度組，將所述業(yè)務(wù)數(shù)據(jù)加載至所述數(shù)據(jù)服務(wù)使用方。

9、第三方面，本技術(shù)實施例提供一種電子設(shè)備，包括處理器和存儲有計算機(jī)程序的存儲器，所述處理器執(zhí)行所述程序時實現(xiàn)第一方面所述的數(shù)據(jù)處理方法。

10、第四方面，本技術(shù)實施例提供一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)第一方面所述的數(shù)據(jù)處理方法。

11、第五方面，本技術(shù)實施例提供一種非暫態(tài)計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)第一方面所述的數(shù)據(jù)處理方法。

12、本技術(shù)實施例提供的數(shù)據(jù)處理方法、裝置、電子設(shè)備、產(chǎn)品及存儲介質(zhì)，基于預(yù)先生成的調(diào)度信息和遠(yuǎn)程過程調(diào)用rpc，控制運行態(tài)調(diào)度組對數(shù)據(jù)服務(wù)使用方的數(shù)據(jù)進(jìn)行加載，基于加載結(jié)果，得到匯聚數(shù)據(jù)；基于路徑集合bop算法，對生產(chǎn)端代碼和容災(zāi)端代碼進(jìn)行一致性校驗；當(dāng)所述生產(chǎn)端代碼和所述容災(zāi)端代碼校驗一致時，執(zhí)行所述生產(chǎn)端代碼，得到每個數(shù)據(jù)分析業(yè)務(wù)的第一完成情況，執(zhí)行所述容災(zāi)端代碼，得到每個所述數(shù)據(jù)分析業(yè)務(wù)的第二完成情況，基于每個所述數(shù)據(jù)分析業(yè)務(wù)的第一完成情況和第二完成情況，獲取每個所述數(shù)據(jù)分析業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)；基于所述rpc，控制所述運行態(tài)調(diào)度組，將所述業(yè)務(wù)數(shù)據(jù)加載至所述數(shù)據(jù)服務(wù)使用方。本技術(shù)通過rpc獲取匯聚數(shù)據(jù)，有利于降低數(shù)據(jù)匯聚的成本。通過對生產(chǎn)端代碼和容災(zāi)端代碼進(jìn)行一致性校驗，避免了生產(chǎn)端與容災(zāi)端之間的差異，有利于確保業(yè)務(wù)數(shù)據(jù)生產(chǎn)的一致性。根據(jù)每個所述數(shù)據(jù)分析業(yè)務(wù)的第一完成情況和第二完成情況，獲取每個所述數(shù)據(jù)分析業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)，充分利用了容災(zāi)端的資源，有利于提高生產(chǎn)數(shù)據(jù)的效率。本技術(shù)通過rpc獲取匯聚數(shù)據(jù)，通過bop算法進(jìn)行一致性校驗，根據(jù)第一完成情況和第二完成情況獲取業(yè)務(wù)數(shù)據(jù)，提高了對數(shù)據(jù)服務(wù)使用方的數(shù)據(jù)進(jìn)行生產(chǎn)的效率。