本發(fā)明涉及計(jì)算機(jī)，尤其涉及一種數(shù)據(jù)處理方法、裝置及電子設(shè)備。

背景技術(shù)：

1、隨著數(shù)據(jù)規(guī)模的不斷增長和業(yè)務(wù)需求的不斷提升，分布式數(shù)據(jù)庫成為處理大規(guī)模數(shù)據(jù)的關(guān)鍵技術(shù)之一，而在設(shè)計(jì)分布式數(shù)據(jù)庫時(shí)，如何選擇合適的分片鍵成為焦點(diǎn)問題。

2、通常，可以通過人工干預(yù)的方式確定分片鍵，但是，由于分布式數(shù)據(jù)庫中包含的字段越來越多，通過人工干預(yù)的方式確定分片鍵就存在確定效率和確定準(zhǔn)確性差的問題，影響用戶對(duì)分布式數(shù)據(jù)庫的使用體驗(yàn)，不能滿足日益增長的業(yè)務(wù)處理需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例的目的是提供一種數(shù)據(jù)處理方法、裝置及電子設(shè)備，以解決現(xiàn)有技術(shù)中在確定分布式數(shù)據(jù)庫的分片鍵中，存在的確定效率和確定準(zhǔn)確性差的問題。

2、為解決上述技術(shù)問題，本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的：

3、第一方面，本發(fā)明實(shí)施例提供的一種數(shù)據(jù)處理方法，所述方法包括：

4、接收針對(duì)目標(biāo)數(shù)據(jù)庫中業(yè)務(wù)數(shù)據(jù)的分布式存儲(chǔ)請(qǐng)求，響應(yīng)于所述分布式存儲(chǔ)請(qǐng)求，獲取所述目標(biāo)數(shù)據(jù)庫中業(yè)務(wù)數(shù)據(jù)表的表結(jié)構(gòu)信息，以及針對(duì)業(yè)務(wù)處理需求對(duì)所述目標(biāo)數(shù)據(jù)庫中業(yè)務(wù)數(shù)據(jù)表的數(shù)據(jù)查詢信息，并基于所述表結(jié)構(gòu)信息以及所述數(shù)據(jù)查詢信息，確定候選分片鍵字段；

5、基于所述表結(jié)構(gòu)信息、所述查詢信息，以及預(yù)設(shè)評(píng)估指標(biāo)，確定所述候選分片鍵字段與每個(gè)所述預(yù)設(shè)評(píng)估指標(biāo)對(duì)應(yīng)的評(píng)估值，所述評(píng)估指標(biāo)包括數(shù)據(jù)均勻性指標(biāo)、數(shù)據(jù)增長率指標(biāo)以及訪問模式指標(biāo)，其中，所述數(shù)據(jù)均勻性指標(biāo)用于表征數(shù)據(jù)在各個(gè)分片中的分布特征，所述數(shù)據(jù)增利率指標(biāo)用于表征數(shù)據(jù)在所述目標(biāo)數(shù)據(jù)庫中的增長速度，所述訪問模式指標(biāo)用于表征數(shù)據(jù)的讀寫操作模式；

6、基于所述評(píng)估指標(biāo)對(duì)應(yīng)的權(quán)重值，對(duì)所述評(píng)估指標(biāo)對(duì)應(yīng)的評(píng)估值進(jìn)行加權(quán)處理，得到所述候選分片鍵字段對(duì)應(yīng)的重要性分值，并基于所述候選分片鍵字段對(duì)應(yīng)的重要性分值，從所述候選分片鍵字段中選取目標(biāo)分片鍵字段；

7、基于所述目標(biāo)分片鍵字段，對(duì)所述目標(biāo)數(shù)據(jù)庫中的業(yè)務(wù)數(shù)據(jù)進(jìn)行分片處理，并將分片處理得到的業(yè)務(wù)數(shù)據(jù)分別存儲(chǔ)在不同的業(yè)務(wù)數(shù)據(jù)處理節(jié)點(diǎn)。

8、可選地，所述評(píng)估指標(biāo)還包括基數(shù)指標(biāo)、查詢頻率指標(biāo)、數(shù)據(jù)關(guān)聯(lián)性指標(biāo)和業(yè)務(wù)優(yōu)先級(jí)指標(biāo)中的一個(gè)或多個(gè)，所述查詢頻率指標(biāo)用于表征所述候選分片鍵字段被查詢的頻率，所述數(shù)據(jù)關(guān)聯(lián)性指標(biāo)用于表征所述候選分片鍵字段與其他字段之間的關(guān)系，所述業(yè)務(wù)優(yōu)先級(jí)指標(biāo)用于表征所述候選分片鍵字段對(duì)應(yīng)的業(yè)務(wù)需求和優(yōu)先級(jí)。

9、可選地，所述基于所述候選分片鍵字段對(duì)應(yīng)的重要性分值，從所述候選分片鍵字段中選取目標(biāo)分片鍵字段，包括：

10、基于所述候選分片鍵字段對(duì)應(yīng)的重要性分值，對(duì)所述候選分片鍵字段進(jìn)行排序，并基于排序后的候選分片鍵字段，從所述候選分片鍵字段中選取所述目標(biāo)分片鍵字段。

11、可選地，所述基于所述候選分片鍵字段對(duì)應(yīng)的重要性分值，從所述候選分片鍵字段中選取目標(biāo)分片鍵字段，包括：

12、接收用戶基于所述候選分片鍵字段對(duì)應(yīng)的重要性分值，輸入的針對(duì)所述候選分片鍵字段的選擇指令；

13、將與所述選擇指令對(duì)應(yīng)的候選分片鍵字段，確定為所述目標(biāo)分片鍵字段。

14、可選地，所述方法，還包括：

15、基于預(yù)設(shè)負(fù)載均衡指標(biāo)和分片處理得到的每個(gè)數(shù)據(jù)分片中包含的業(yè)務(wù)數(shù)據(jù)，確定所述每個(gè)數(shù)據(jù)分片對(duì)應(yīng)的負(fù)載評(píng)估結(jié)果，所述負(fù)載均衡指標(biāo)包括數(shù)據(jù)量指標(biāo)、查詢頻率指標(biāo)以及響應(yīng)時(shí)間指標(biāo)中的一個(gè)或多個(gè)；

16、基于所述每個(gè)數(shù)據(jù)分片對(duì)應(yīng)的負(fù)載評(píng)估結(jié)果，對(duì)預(yù)設(shè)負(fù)載均衡策略進(jìn)行調(diào)整處理。

17、可選地，所述方法還包括：

18、基于分片處理結(jié)果，獲取所述目標(biāo)數(shù)據(jù)庫的分片情況以及數(shù)據(jù)分布圖；

19、基于所述每個(gè)數(shù)據(jù)分片對(duì)應(yīng)的負(fù)載評(píng)估結(jié)果、所述目標(biāo)數(shù)據(jù)庫的分片情況以及所述數(shù)據(jù)分布圖，生成可視化交互界面；

20、接收用戶基于所述可視化交互界面輸入的調(diào)整指令，所述調(diào)整指令包括針對(duì)所述預(yù)設(shè)評(píng)估指標(biāo)的調(diào)整指令、針對(duì)所述預(yù)設(shè)評(píng)估指標(biāo)的權(quán)重值的調(diào)整指令，以及針對(duì)所述目標(biāo)分片鍵字段的調(diào)整指令中的一個(gè)或多個(gè)；

21、響應(yīng)于所述調(diào)整指令，對(duì)所述調(diào)整指令包含的待調(diào)整對(duì)象進(jìn)行調(diào)整處理。

22、可選地，所述方法還包括：

23、獲取分片處理得到的每個(gè)數(shù)據(jù)分片對(duì)應(yīng)的數(shù)據(jù)訪問模式；

24、基于所述目標(biāo)分片鍵字段和所述數(shù)據(jù)分片對(duì)應(yīng)的數(shù)據(jù)訪問模式，確定所述每個(gè)數(shù)據(jù)分片對(duì)應(yīng)的索引類型；

25、基于所述目標(biāo)分片鍵字段和所述數(shù)據(jù)分片對(duì)應(yīng)的索引類型，確定每個(gè)所述數(shù)據(jù)分片對(duì)應(yīng)的索引。

26、第二方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理裝置，所述裝置包括：

27、請(qǐng)求接收模塊，用于接收針對(duì)目標(biāo)數(shù)據(jù)庫中業(yè)務(wù)數(shù)據(jù)的分布式存儲(chǔ)請(qǐng)求，響應(yīng)于所述分布式存儲(chǔ)請(qǐng)求，獲取所述目標(biāo)數(shù)據(jù)庫中業(yè)務(wù)數(shù)據(jù)表的表結(jié)構(gòu)信息，以及針對(duì)業(yè)務(wù)處理需求對(duì)所述目標(biāo)數(shù)據(jù)庫中業(yè)務(wù)數(shù)據(jù)表的數(shù)據(jù)查詢信息，并基于所述表結(jié)構(gòu)信息以及所述數(shù)據(jù)查詢信息，確定候選分片鍵字段；

28、數(shù)據(jù)評(píng)估模塊，用于基于所述表結(jié)構(gòu)信息、所述查詢信息，以及預(yù)設(shè)評(píng)估指標(biāo)，確定所述候選分片鍵字段與每個(gè)所述預(yù)設(shè)評(píng)估指標(biāo)對(duì)應(yīng)的評(píng)估值，所述評(píng)估指標(biāo)包括數(shù)據(jù)均勻性指標(biāo)、數(shù)據(jù)增長率指標(biāo)以及訪問模式指標(biāo)，其中，所述數(shù)據(jù)均勻性指標(biāo)用于表征數(shù)據(jù)在各個(gè)分片中的分布特征，所述數(shù)據(jù)增利率指標(biāo)用于表征數(shù)據(jù)在所述目標(biāo)數(shù)據(jù)庫中的增長速度，所述訪問模式指標(biāo)用于表征數(shù)據(jù)的讀寫操作模式；

29、字段確定模塊，用于基于所述評(píng)估指標(biāo)對(duì)應(yīng)的權(quán)重值，對(duì)所述評(píng)估指標(biāo)對(duì)應(yīng)的評(píng)估值進(jìn)行加權(quán)處理，得到所述候選分片鍵字段對(duì)應(yīng)的重要性分值，并基于所述候選分片鍵字段對(duì)應(yīng)的重要性分值，從所述候選分片鍵字段中選取目標(biāo)分片鍵字段；

30、數(shù)據(jù)存儲(chǔ)模塊，用于基于所述目標(biāo)分片鍵字段，對(duì)所述目標(biāo)數(shù)據(jù)庫中的業(yè)務(wù)數(shù)據(jù)進(jìn)行分片處理，并將分片處理得到的業(yè)務(wù)數(shù)據(jù)分別存儲(chǔ)在不同的業(yè)務(wù)數(shù)據(jù)處理節(jié)點(diǎn)。

31、可選地，所述評(píng)估指標(biāo)還包括基數(shù)指標(biāo)、查詢頻率指標(biāo)、數(shù)據(jù)關(guān)聯(lián)性指標(biāo)和業(yè)務(wù)優(yōu)先級(jí)指標(biāo)中的一個(gè)或多個(gè)，所述查詢頻率指標(biāo)用于表征所述候選分片鍵字段被查詢的頻率，所述數(shù)據(jù)關(guān)聯(lián)性指標(biāo)用于表征所述候選分片鍵字段與其他字段之間的關(guān)系，所述業(yè)務(wù)優(yōu)先級(jí)指標(biāo)用于表征所述候選分片鍵字段對(duì)應(yīng)的業(yè)務(wù)需求和優(yōu)先級(jí)。

32、可選地，所述字段確定模塊，用于：

33、基于所述候選分片鍵字段對(duì)應(yīng)的重要性分值，對(duì)所述候選分片鍵字段進(jìn)行排序，并基于排序后的候選分片鍵字段，從所述候選分片鍵字段中選取所述目標(biāo)分片鍵字段。

34、可選地，所述字段確定模塊，用于：

35、接收用戶基于所述候選分片鍵字段對(duì)應(yīng)的重要性分值，輸入的針對(duì)所述候選分片鍵字段的選擇指令；

36、將與所述選擇指令對(duì)應(yīng)的候選分片鍵字段，確定為所述目標(biāo)分片鍵字段。

37、可選地，所述裝置，還包括：

38、負(fù)載評(píng)估模塊，用于基于預(yù)設(shè)負(fù)載均衡指標(biāo)和分片處理得到的每個(gè)數(shù)據(jù)分片中包含的業(yè)務(wù)數(shù)據(jù)，確定所述每個(gè)數(shù)據(jù)分片對(duì)應(yīng)的負(fù)載評(píng)估結(jié)果，所述負(fù)載均衡指標(biāo)包括數(shù)據(jù)量指標(biāo)、查詢頻率指標(biāo)以及響應(yīng)時(shí)間指標(biāo)中的一個(gè)或多個(gè)；

39、負(fù)載調(diào)整模塊，用于基于所述每個(gè)數(shù)據(jù)分片對(duì)應(yīng)的負(fù)載評(píng)估結(jié)果，對(duì)預(yù)設(shè)負(fù)載均衡策略進(jìn)行調(diào)整處理。

40、可選地，所述裝置還包括：

41、信息獲取模塊，用于基于分片處理結(jié)果，獲取所述目標(biāo)數(shù)據(jù)庫的分片情況以及數(shù)據(jù)分布圖；

42、界面生成模塊，用于基于所述每個(gè)數(shù)據(jù)分片對(duì)應(yīng)的負(fù)載評(píng)估結(jié)果、所述目標(biāo)數(shù)據(jù)庫的分片情況以及所述數(shù)據(jù)分布圖，生成可視化交互界面；

43、指令接收模塊，用于接收用戶基于所述可視化交互界面輸入的調(diào)整指令，所述調(diào)整指令包括針對(duì)所述預(yù)設(shè)評(píng)估指標(biāo)的調(diào)整指令、針對(duì)所述預(yù)設(shè)評(píng)估指標(biāo)的權(quán)重值的調(diào)整指令，以及針對(duì)所述目標(biāo)分片鍵字段的調(diào)整指令中的一個(gè)或多個(gè)；

44、對(duì)象調(diào)整模塊，用于響應(yīng)于所述調(diào)整指令，對(duì)所述調(diào)整指令包含的待調(diào)整對(duì)象進(jìn)行調(diào)整處理。

45、可選地，所述裝置還包括：

46、模式獲取模塊，用于獲取分片處理得到的每個(gè)數(shù)據(jù)分片對(duì)應(yīng)的數(shù)據(jù)訪問模式；

47、類型確定模塊，用于基于所述目標(biāo)分片鍵字段和所述數(shù)據(jù)分片對(duì)應(yīng)的數(shù)據(jù)訪問模式，確定所述每個(gè)數(shù)據(jù)分片對(duì)應(yīng)的索引類型；

48、索引確定模塊，用于基于所述目標(biāo)分片鍵字段和所述數(shù)據(jù)分片對(duì)應(yīng)的索引類型，確定每個(gè)所述數(shù)據(jù)分片對(duì)應(yīng)的索引。

49、第三方面，本發(fā)明實(shí)施例提供一種電子設(shè)備，包括處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)上述實(shí)施例提供的數(shù)據(jù)處理方法的步驟。

50、第四方面，本發(fā)明實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述實(shí)施例提供的數(shù)據(jù)處理方法的步驟。

51、第五方面，本發(fā)明實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述實(shí)施例提供的數(shù)據(jù)處理方法的步驟。

52、由以上本發(fā)明實(shí)施例提供的技術(shù)方案可見，本發(fā)明實(shí)施例通過接收針對(duì)目標(biāo)數(shù)據(jù)庫中業(yè)務(wù)數(shù)據(jù)的分布式存儲(chǔ)請(qǐng)求，響應(yīng)于分布式存儲(chǔ)請(qǐng)求，獲取目標(biāo)數(shù)據(jù)庫中業(yè)務(wù)數(shù)據(jù)表的表結(jié)構(gòu)信息，以及針對(duì)業(yè)務(wù)處理需求對(duì)目標(biāo)數(shù)據(jù)庫中業(yè)務(wù)數(shù)據(jù)表的數(shù)據(jù)查詢信息，并基于表結(jié)構(gòu)信息以及數(shù)據(jù)查詢信息，確定候選分片鍵字段，基于表結(jié)構(gòu)信息、查詢信息，以及預(yù)設(shè)評(píng)估指標(biāo)，確定候選分片鍵字段與每個(gè)預(yù)設(shè)評(píng)估指標(biāo)對(duì)應(yīng)的評(píng)估值，評(píng)估指標(biāo)可以包括數(shù)據(jù)均勻性指標(biāo)、數(shù)據(jù)增長率指標(biāo)以及訪問模式指標(biāo)，其中，數(shù)據(jù)均勻性指標(biāo)可以用于表征數(shù)據(jù)在各個(gè)分片中的分布特征，數(shù)據(jù)增利率指標(biāo)可以用于表征數(shù)據(jù)在所述目標(biāo)數(shù)據(jù)庫中的增長速度，訪問模式指標(biāo)可以用于表征數(shù)據(jù)的讀寫操作模式，基于評(píng)估指標(biāo)對(duì)應(yīng)的權(quán)重值，對(duì)評(píng)估指標(biāo)對(duì)應(yīng)的評(píng)估值進(jìn)行加權(quán)處理，得到候選分片鍵字段對(duì)應(yīng)的重要性分值，并基于候選分片鍵字段對(duì)應(yīng)的重要性分值，從候選分片鍵字段中選取目標(biāo)分片鍵字段，基于目標(biāo)分片鍵字段，對(duì)目標(biāo)數(shù)據(jù)庫中的業(yè)務(wù)數(shù)據(jù)進(jìn)行分片處理，并將分片處理得到的業(yè)務(wù)數(shù)據(jù)分別存儲(chǔ)在不同的業(yè)務(wù)數(shù)據(jù)處理節(jié)點(diǎn)。這樣，通過預(yù)設(shè)評(píng)估指標(biāo)對(duì)應(yīng)的評(píng)估值和權(quán)重值，可以快速的確定候選分片鍵字段對(duì)應(yīng)的重要性分值，進(jìn)而基于候選分片鍵字段對(duì)應(yīng)的重要性分值，確定目標(biāo)分片鍵字段，避免了通過人工干預(yù)的方式導(dǎo)致的工作效率較低的問題，即可以通過自動(dòng)化的方式提高分片鍵的確定效率，另外，通過數(shù)據(jù)均勻性指標(biāo)、數(shù)據(jù)增長率指標(biāo)以及訪問模式指標(biāo)等預(yù)設(shè)評(píng)估指標(biāo)，可以對(duì)候選分片鍵字段進(jìn)行綜合評(píng)估，避免了僅依賴單一因素確定目標(biāo)分片鍵字段的方式存在的局限性問題，即可以提高分片鍵的確定準(zhǔn)確性，以通過目標(biāo)分片鍵對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分片處理，提高業(yè)務(wù)處理效率和準(zhǔn)確性。