本說明書實(shí)施例涉及數(shù)據(jù)處理，尤其是一種跨工作流任務(wù)平臺(tái)的數(shù)據(jù)同步調(diào)度方法和裝置。

背景技術(shù)：

1、現(xiàn)有的數(shù)據(jù)同步方案在針對(duì)跨工作流任務(wù)平臺(tái)的大規(guī)模數(shù)倉遷移問題時(shí)，由于各數(shù)據(jù)庫表、數(shù)據(jù)作業(yè)之間錯(cuò)綜復(fù)雜的依賴關(guān)系，難以尋找出一種有效的、表級(jí)粒度的、且在不影響日常業(yè)務(wù)批量運(yùn)行的數(shù)據(jù)同步調(diào)度方案。

2、有鑒于此，本說明書實(shí)施例旨在提供一種跨工作流任務(wù)平臺(tái)的數(shù)據(jù)同步調(diào)度方法和裝置。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的上述問題，本說明書實(shí)施例的目的在于，提供一種跨工作流任務(wù)平臺(tái)的數(shù)據(jù)同步調(diào)度方法和裝置，以解決現(xiàn)有技術(shù)中難以在不影響日常業(yè)務(wù)批量運(yùn)行的情況下，一次性完成跨工作流任務(wù)平臺(tái)的大規(guī)模的數(shù)據(jù)同步的問題。

2、為了解決上述技術(shù)問題，本說明書實(shí)施例的具體技術(shù)方案如下：

3、第一方面，本說明書實(shí)施例提供一種跨工作流任務(wù)平臺(tái)的數(shù)據(jù)同步調(diào)度方法，包括：

4、接收數(shù)據(jù)同步任務(wù)；

5、根據(jù)所述數(shù)據(jù)同步任務(wù)生成導(dǎo)出作業(yè)，所述導(dǎo)出作業(yè)包括所述導(dǎo)出作業(yè)的導(dǎo)出條件；

6、將所述導(dǎo)出作業(yè)部署至導(dǎo)出端etl調(diào)度集群上，以使所述導(dǎo)出端etl調(diào)度集群根據(jù)所述導(dǎo)出條件和負(fù)載均衡算法，將所述導(dǎo)出作業(yè)對(duì)應(yīng)的數(shù)據(jù)庫表從導(dǎo)出端數(shù)倉集群中導(dǎo)出并落在導(dǎo)入端etl調(diào)度集群的子節(jié)點(diǎn)上；

7、監(jiān)聽所述數(shù)據(jù)庫表在所述導(dǎo)入端etl調(diào)度集群的子節(jié)點(diǎn)上的落入動(dòng)作；

8、根據(jù)監(jiān)聽結(jié)果和所述數(shù)據(jù)同步任務(wù)生成導(dǎo)入作業(yè)，所述導(dǎo)入作業(yè)包括導(dǎo)入條件；

9、將所述導(dǎo)入作業(yè)部署至導(dǎo)入端etl調(diào)度集群上，以使所述導(dǎo)入端etl調(diào)度集群根據(jù)所述導(dǎo)入條件，將所述子節(jié)點(diǎn)上的所述數(shù)據(jù)庫表導(dǎo)入至導(dǎo)入端數(shù)倉集群中。

10、具體地，所述數(shù)據(jù)同步任務(wù)中攜帶有數(shù)據(jù)同步配置信息，所述同步配置信息包括待同步數(shù)據(jù)庫表、同步數(shù)據(jù)日期、頻度、同步模式、第一檢查標(biāo)識(shí)和與導(dǎo)出端日常批量的第一依賴關(guān)系；

11、根據(jù)所述數(shù)據(jù)同步任務(wù)生成導(dǎo)出作業(yè)，進(jìn)一步為：

12、根據(jù)所述待同步數(shù)據(jù)庫表的源庫源表信息、同步數(shù)據(jù)日期、頻度和同步模式，修改預(yù)設(shè)的導(dǎo)出模板腳本得到導(dǎo)出腳本；

13、根據(jù)所述第一檢查標(biāo)識(shí)、所述第一依賴關(guān)系和所述頻度，確定導(dǎo)出條件；

14、根據(jù)所述導(dǎo)出腳本和所述導(dǎo)出條件，得到所述導(dǎo)出作業(yè)。

15、進(jìn)一步地，以使所述導(dǎo)出端etl調(diào)度集群根據(jù)所述導(dǎo)出條件和負(fù)載均衡算法，將所述導(dǎo)出作業(yè)對(duì)應(yīng)的數(shù)據(jù)庫表從導(dǎo)出端數(shù)倉集群中導(dǎo)出并落在導(dǎo)入端etl調(diào)度集群的子節(jié)點(diǎn)上，包括：

16、所述導(dǎo)出端etl調(diào)度集群根據(jù)所述第一檢查標(biāo)識(shí)，判斷是否需要根據(jù)所述第一依賴關(guān)系執(zhí)行所述導(dǎo)出作業(yè)；

17、若需要，則在所述第一依賴關(guān)系和所述頻度滿足后，根據(jù)負(fù)載均衡算法將所述數(shù)據(jù)庫表從所述導(dǎo)出端數(shù)倉集群中導(dǎo)出至所述導(dǎo)入端etl調(diào)度集群的子節(jié)點(diǎn)上；

18、若不需要，則根據(jù)所述第一檢查標(biāo)識(shí)，判斷所述導(dǎo)出作業(yè)的優(yōu)先級(jí)是否為最高等級(jí)；

19、若是，則直接執(zhí)行所述導(dǎo)出作業(yè)；

20、若否，則在所述導(dǎo)出端的日常批量全部完成后，執(zhí)行所述導(dǎo)出作業(yè)。

21、具體地，所述導(dǎo)出端etl調(diào)度集群根據(jù)如下方法判斷所述第一依賴關(guān)系是否滿足：

22、根據(jù)所述第一依賴關(guān)系中的各依賴作業(yè)的作業(yè)名，查詢各所述依賴作業(yè)的作業(yè)狀態(tài)；

23、判斷各所述依賴作業(yè)的作業(yè)狀態(tài)是否為已完成；

24、若是，則滿足所述第一依賴關(guān)系。

25、具體地，所述同步配置信息還包括所述導(dǎo)入作業(yè)的類型、第二檢查標(biāo)識(shí)和與導(dǎo)入端日常批量的第二依賴關(guān)系；

26、根據(jù)監(jiān)聽結(jié)果和所述數(shù)據(jù)同步任務(wù)生成導(dǎo)入作業(yè)，進(jìn)一步為：

27、根據(jù)所述待同步數(shù)據(jù)庫表的目標(biāo)庫目標(biāo)表信息、同步數(shù)據(jù)日期和頻度，修改預(yù)設(shè)的導(dǎo)入模板腳本得到導(dǎo)入腳本；

28、根據(jù)監(jiān)聽到的所述數(shù)據(jù)庫表所落入的導(dǎo)入端etl調(diào)度集群子節(jié)點(diǎn)的ip地址，配置所述導(dǎo)入作業(yè)的邏輯權(quán)值；

29、根據(jù)導(dǎo)入作業(yè)的類型配置所述導(dǎo)入作業(yè)在導(dǎo)入端所占用資源的資源消耗權(quán)值，所占用資源包括內(nèi)存、cpu和i/o中的一種或幾種的組合；

30、根據(jù)所述第二檢查標(biāo)識(shí)、所述第二依賴關(guān)系、所述頻度和所述資源消耗權(quán)值，確定導(dǎo)入條件；

31、根據(jù)所述導(dǎo)入腳本和所述導(dǎo)入條，得到所述導(dǎo)入作業(yè)。

32、進(jìn)一步地，以使所述導(dǎo)入端etl調(diào)度集群根據(jù)所述導(dǎo)入條件，將所述子節(jié)點(diǎn)上的所述數(shù)據(jù)庫表導(dǎo)入至導(dǎo)入端數(shù)倉集群中，包括：

33、判斷所述導(dǎo)入端etl調(diào)度集群所執(zhí)行的所有作業(yè)的所述資源消耗權(quán)值之和是否大于預(yù)設(shè)的資源消耗值上限；

34、若是，則等待資源釋放直至所有作業(yè)所占用的所述資源消耗權(quán)值之和小于等于所述資源消耗值上限；

35、若否，則根據(jù)所述第二檢查標(biāo)識(shí)，判斷是否需要根據(jù)所述第二依賴關(guān)系執(zhí)行所述導(dǎo)入作業(yè)；

36、若需要，則在所述第二依賴關(guān)系和所述頻度滿足后，將所述數(shù)據(jù)庫表從由所述邏輯權(quán)值確定出的子節(jié)點(diǎn)處導(dǎo)入至所述導(dǎo)入端數(shù)倉集群中；

37、若不需要，則根據(jù)所述第二檢查標(biāo)識(shí)，判斷所述導(dǎo)出作業(yè)的優(yōu)先級(jí)是否為最高等級(jí)；

38、若是，則直接執(zhí)行所述導(dǎo)入作業(yè)；

39、若否，則在所述導(dǎo)入端的日常批量全部完成后，執(zhí)行所述導(dǎo)入作業(yè)。

40、優(yōu)選地，將所述子節(jié)點(diǎn)上的所述數(shù)據(jù)庫表導(dǎo)入至導(dǎo)入端數(shù)倉集群中，包括：

41、將所述數(shù)據(jù)庫表導(dǎo)入至預(yù)先建立的臨時(shí)庫臨時(shí)表中；

42、對(duì)源庫源表中的數(shù)據(jù)庫表和導(dǎo)入至所述臨時(shí)庫臨時(shí)表中的數(shù)據(jù)庫表進(jìn)行一致性校驗(yàn)；

43、當(dāng)一致性校驗(yàn)通過時(shí)，將數(shù)據(jù)庫表從所述臨時(shí)庫臨時(shí)表同步至目標(biāo)庫目標(biāo)表中。

44、具體地，所述方法還包括：

45、將監(jiān)聽到的所述數(shù)據(jù)庫表所落入的導(dǎo)入端etl調(diào)度集群子節(jié)點(diǎn)的ip地址，記錄在數(shù)據(jù)同步任務(wù)的運(yùn)行記錄中，以使所述導(dǎo)出端etl調(diào)度集群利用所述運(yùn)行記錄對(duì)導(dǎo)出作業(yè)進(jìn)行負(fù)載均衡。

46、第二方面，本說明書實(shí)施例提供一種跨工作流任務(wù)平臺(tái)的數(shù)據(jù)同步調(diào)度裝置，包括：

47、接收模塊，用于接收數(shù)據(jù)同步任務(wù)；

48、第一生成模塊，用于根據(jù)所述數(shù)據(jù)同步任務(wù)生成導(dǎo)出作業(yè)，所述導(dǎo)出作業(yè)包括所述導(dǎo)出作業(yè)的導(dǎo)出條件；

49、第一部署模塊，用于將所述導(dǎo)出作業(yè)部署至導(dǎo)出端etl調(diào)度集群上，以使所述導(dǎo)出端etl調(diào)度集群根據(jù)所述導(dǎo)出條件和負(fù)載均衡算法，將所述導(dǎo)出作業(yè)對(duì)應(yīng)的數(shù)據(jù)庫表從導(dǎo)出端數(shù)倉集群中導(dǎo)出并落在導(dǎo)入端etl調(diào)度集群的子節(jié)點(diǎn)上；

50、監(jiān)聽模塊，用于監(jiān)聽所述數(shù)據(jù)庫表在所述導(dǎo)入端etl調(diào)度集群的子節(jié)點(diǎn)上的落入動(dòng)作；

51、第二生成模塊，用于根據(jù)監(jiān)聽結(jié)果和所述數(shù)據(jù)同步任務(wù)生成導(dǎo)入作業(yè)，所述導(dǎo)入作業(yè)包括導(dǎo)入條件；

52、第二部署模塊，用于將所述導(dǎo)入作業(yè)部署至導(dǎo)入端etl調(diào)度集群上，以使所述導(dǎo)入端etl調(diào)度集群根據(jù)所述導(dǎo)入條件，將所述子節(jié)點(diǎn)上的所述數(shù)據(jù)庫表導(dǎo)入至導(dǎo)入端數(shù)倉集群中。

53、第三方面，本說明書實(shí)施例提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述技術(shù)方案提供的方法。

54、采用上述技術(shù)方案，本說明書實(shí)施例提供的一種跨工作流任務(wù)平臺(tái)的數(shù)據(jù)同步調(diào)度方法和裝置，將數(shù)據(jù)同步任務(wù)拆分為導(dǎo)出作業(yè)和導(dǎo)入作業(yè)兩個(gè)部分，分別部署至導(dǎo)出端etl調(diào)度集群和導(dǎo)入端etl調(diào)度集群上，以利用導(dǎo)出端etl調(diào)度集群和導(dǎo)入端etl調(diào)度集群的已有功能，節(jié)約了開發(fā)資源；且導(dǎo)出作業(yè)與導(dǎo)入作業(yè)相分離，不會(huì)影響導(dǎo)出端和導(dǎo)入端各自的日常批量作業(yè)的運(yùn)行；此外，還利用數(shù)據(jù)同步調(diào)度服務(wù)集群作為總控，對(duì)導(dǎo)出端etl調(diào)度集群和導(dǎo)入端etl調(diào)度集群進(jìn)行監(jiān)控，使得導(dǎo)出作業(yè)與對(duì)應(yīng)的導(dǎo)入作業(yè)相銜接，實(shí)現(xiàn)對(duì)數(shù)據(jù)同步任務(wù)狀態(tài)的流轉(zhuǎn)。

55、為讓本說明書實(shí)施例的上述和其他目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附圖式，作詳細(xì)說明如下。