本公開涉及業(yè)務(wù)支撐，尤其涉及一種數(shù)據(jù)表智能管理方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、報(bào)表系統(tǒng)是賬務(wù)結(jié)算生產(chǎn)中極其重要的組成部分，其報(bào)表各層數(shù)據(jù)的保留策略是報(bào)表系統(tǒng)提供報(bào)表審計(jì)、報(bào)表回溯等服務(wù)滿意度的關(guān)鍵。例如，某省報(bào)表系統(tǒng)承載著500+張報(bào)表，供省/市財(cái)務(wù)部、市場(chǎng)部、集客部、賬務(wù)室等多個(gè)業(yè)務(wù)線條訪問，涵蓋營業(yè)、賬務(wù)、出賬、收入、結(jié)算等各種不同類型的報(bào)表。

2、其中，報(bào)表系統(tǒng)在存儲(chǔ)資源有限與報(bào)表數(shù)量較多的情況下，保證與提高各業(yè)務(wù)線用戶對(duì)報(bào)表審計(jì)、報(bào)表回溯等服務(wù)的滿意度存在一定困難。具體地，如每月需求新增的報(bào)表會(huì)增加現(xiàn)有存量報(bào)表的存儲(chǔ)資源壓力，同時(shí)各個(gè)業(yè)務(wù)線用戶對(duì)報(bào)表的關(guān)注范圍與報(bào)表賬期不完全相同?；诖?，需要設(shè)置合理的報(bào)表數(shù)據(jù)清理策略，以確保滿足各個(gè)業(yè)務(wù)線用戶的需求，保障各個(gè)業(yè)務(wù)部門的運(yùn)營生產(chǎn)工作。

3、現(xiàn)有技術(shù)中，基于人為預(yù)設(shè)的固定保留周期進(jìn)行清理的，依賴維護(hù)人員日常經(jīng)驗(yàn)，會(huì)存在不應(yīng)清理而被清理或應(yīng)清理而未清理等不合理的情況，從而無法滿足各個(gè)業(yè)務(wù)線用戶的需求。同時(shí)，根據(jù)用戶的反饋，再對(duì)報(bào)表數(shù)據(jù)清理策略預(yù)設(shè)的參數(shù)進(jìn)行調(diào)優(yōu)，只能從磁帶恢復(fù)歷史數(shù)據(jù)再補(bǔ)采集來補(bǔ)救，用戶服務(wù)滿意度較低。

技術(shù)實(shí)現(xiàn)思路

1、為克服相關(guān)技術(shù)中存在的問題，本公開提供一種數(shù)據(jù)表智能管理方法、裝置及存儲(chǔ)介質(zhì)。

2、根據(jù)本公開實(shí)施例的第一方面，提供一種數(shù)據(jù)表智能管理方法，所述方法包括：

3、獲取報(bào)表系統(tǒng)中需要管理的數(shù)據(jù)表的日志數(shù)據(jù)；

4、對(duì)所述日志數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到所述數(shù)據(jù)表對(duì)應(yīng)的特征數(shù)據(jù)；

5、基于所述特征數(shù)據(jù)，通過數(shù)據(jù)表智能管理模型得到所述數(shù)據(jù)表對(duì)應(yīng)的分級(jí)結(jié)果；

6、基于所述數(shù)據(jù)表的分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)所述數(shù)據(jù)表進(jìn)行調(diào)整。

7、可選的，在本公開實(shí)施例中，所述日志數(shù)據(jù)，包括：

8、各數(shù)據(jù)表/索引使用的空間數(shù)據(jù)；

9、各數(shù)據(jù)表之間的依賴關(guān)系數(shù)據(jù)；

10、用戶訪問數(shù)據(jù)表的日志數(shù)據(jù)；

11、數(shù)據(jù)表清理策略配置表。

12、可選的，在本公開實(shí)施例中，所述對(duì)所述日志數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到所述數(shù)據(jù)表對(duì)應(yīng)的特征數(shù)據(jù)，包括：

13、對(duì)所述日志數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到所述日志數(shù)據(jù)對(duì)應(yīng)的標(biāo)準(zhǔn)化數(shù)據(jù)，其中，所述標(biāo)準(zhǔn)化數(shù)據(jù)包括數(shù)據(jù)表使用空間情況明細(xì)、數(shù)據(jù)表前置依賴關(guān)系、數(shù)據(jù)表訪問情況明細(xì)和數(shù)據(jù)表清理策略明細(xì)；

14、對(duì)所述標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行數(shù)據(jù)關(guān)聯(lián)，得到所述標(biāo)準(zhǔn)化數(shù)據(jù)對(duì)應(yīng)的關(guān)聯(lián)數(shù)據(jù)，其中，所述關(guān)聯(lián)數(shù)據(jù)包括數(shù)據(jù)表每賬期的數(shù)據(jù)存儲(chǔ)資源使用空間寬表、數(shù)據(jù)表每賬期的數(shù)據(jù)訪問需求寬表和數(shù)據(jù)表的清理策略寬表；

15、對(duì)所述關(guān)聯(lián)數(shù)據(jù)進(jìn)行關(guān)鍵特征指標(biāo)的計(jì)算，得到所述關(guān)聯(lián)數(shù)據(jù)對(duì)應(yīng)的特征數(shù)據(jù)，其中，所述特征數(shù)據(jù)包括數(shù)據(jù)表的存儲(chǔ)成本特征數(shù)據(jù)、訪問需求特征數(shù)據(jù)和清理策略初始配置。

16、可選的，在本公開實(shí)施例中，所述對(duì)所述關(guān)聯(lián)數(shù)據(jù)進(jìn)行關(guān)鍵特征指標(biāo)的計(jì)算，得到所述關(guān)聯(lián)數(shù)據(jù)對(duì)應(yīng)的特征數(shù)據(jù)，包括：

17、基于所述數(shù)據(jù)存儲(chǔ)資源使用空間寬表中每個(gè)數(shù)據(jù)表的現(xiàn)分區(qū)數(shù)和存儲(chǔ)大小，將通過計(jì)算得到的數(shù)據(jù)表每個(gè)分區(qū)平均使用的存儲(chǔ)大小在所有數(shù)據(jù)表每個(gè)分區(qū)平均使用的存儲(chǔ)大小總值的比例，確定為數(shù)據(jù)表的存儲(chǔ)成本特征數(shù)據(jù)；

18、基于所述數(shù)據(jù)訪問需求寬表中預(yù)設(shè)時(shí)間段內(nèi)每個(gè)數(shù)據(jù)表的訪問用戶數(shù)，將通過計(jì)算得到的訪問用戶數(shù)與所述報(bào)表系統(tǒng)總訪問用戶數(shù)的比例和平均訪問賬期數(shù)，確定為數(shù)據(jù)表的訪問需求特征數(shù)據(jù)；

19、基于所述清理策略初始配置中每個(gè)數(shù)據(jù)表的保留分區(qū)數(shù)，確定為數(shù)據(jù)表的清理策略初始配置。

20、可選的，在本公開實(shí)施例中，所述基于所述特征數(shù)據(jù)，通過數(shù)據(jù)表智能管理模型得到所述數(shù)據(jù)表對(duì)應(yīng)的分級(jí)結(jié)果，包括：

21、基于所述特征數(shù)據(jù)，確定數(shù)據(jù)表的訪問需求因子和存儲(chǔ)成本因子；

22、基于所述數(shù)據(jù)表的訪問需求因子和存儲(chǔ)成本因子，確定所述數(shù)據(jù)表處于所述數(shù)據(jù)表智能管理模型中的目標(biāo)等級(jí)區(qū)域；

23、將所述目標(biāo)等級(jí)區(qū)域?qū)?yīng)的目標(biāo)分級(jí)確定為所述數(shù)據(jù)表對(duì)應(yīng)的分級(jí)結(jié)果。

24、可選的，在本公開實(shí)施例中，所述基于所述數(shù)據(jù)表的分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)所述數(shù)據(jù)表進(jìn)行調(diào)整，包括：

25、基于所述數(shù)據(jù)表的分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略確定所述數(shù)據(jù)表需要調(diào)整的保留分區(qū)數(shù)量；

26、基于所述需要調(diào)整的保留分區(qū)數(shù)量對(duì)所述數(shù)據(jù)表進(jìn)行調(diào)整。

27、可選的，在本公開實(shí)施例中，所述基于所述數(shù)據(jù)表的分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)所述數(shù)據(jù)表進(jìn)行調(diào)整之前，所述方法還包括：

28、基于所述特征數(shù)據(jù)，確定每個(gè)數(shù)據(jù)表需要調(diào)整的優(yōu)先級(jí)排名。

29、可選的，在本公開實(shí)施例中，所述基于所述數(shù)據(jù)表的分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)所述數(shù)據(jù)表進(jìn)行調(diào)整，包括：基于所述優(yōu)先級(jí)排名和分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)所述數(shù)據(jù)表進(jìn)行調(diào)整。

30、根據(jù)本公開實(shí)施例的第二方面，提供一種數(shù)據(jù)表智能管理裝置，所述裝置包括：

31、獲取模塊，用于獲取數(shù)據(jù)表系統(tǒng)中需要管理數(shù)據(jù)表的日志數(shù)據(jù)；

32、第一處理模塊，用于對(duì)所述日志數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到所述數(shù)據(jù)表對(duì)應(yīng)的特征數(shù)據(jù)；

33、第二處理模塊，用于基于所述特征數(shù)據(jù)，通過數(shù)據(jù)表智能管理模型得到所述數(shù)據(jù)表對(duì)應(yīng)的分級(jí)結(jié)果；

34、調(diào)整模塊，用于基于所述數(shù)據(jù)表的分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)所述數(shù)據(jù)表進(jìn)行調(diào)整。

35、根據(jù)本公開實(shí)施例的第三方面，提供了一種電子設(shè)備，包括：

36、處理器；

37、用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

38、其中，所述處理器被配置為實(shí)現(xiàn)前述第一方面中所述的方法。

39、根據(jù)本公開實(shí)施例的第四方面，提供了一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令；所述計(jì)算機(jī)可執(zhí)行指令被處理器執(zhí)行后，能夠?qū)崿F(xiàn)前述第一方面中所述的方法。

40、本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

41、本公開提出的一種數(shù)據(jù)表智能管理方法中，該方法包括：獲取報(bào)表系統(tǒng)中需要管理的數(shù)據(jù)表的日志數(shù)據(jù)；對(duì)日志數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到數(shù)據(jù)表對(duì)應(yīng)的特征數(shù)據(jù)；基于特征數(shù)據(jù)，通過數(shù)據(jù)表智能管理模型得到數(shù)據(jù)表對(duì)應(yīng)的分級(jí)結(jié)果；基于數(shù)據(jù)表的分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)數(shù)據(jù)表進(jìn)行調(diào)整。由此，本公開可以通過數(shù)據(jù)表智能管理模型確定數(shù)據(jù)表的分級(jí)結(jié)果，并根據(jù)分級(jí)結(jié)果合理和動(dòng)態(tài)的對(duì)數(shù)據(jù)表進(jìn)行自動(dòng)調(diào)整，無需依賴人工維護(hù)，避免出現(xiàn)不應(yīng)清理而被清理或應(yīng)清理而未清理的不合理情況，滿足了各個(gè)業(yè)務(wù)線用戶的需求，有效緩解了數(shù)據(jù)存儲(chǔ)資源壓力，提升了系統(tǒng)服務(wù)體驗(yàn)質(zhì)量。

42、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。

技術(shù)特征：

1.一種數(shù)據(jù)表智能管理方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述日志數(shù)據(jù)，包括：

3.如權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述日志數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到所述數(shù)據(jù)表對(duì)應(yīng)的特征數(shù)據(jù)，包括：

4.如權(quán)利要求3所述的方法，其特征在于，所述對(duì)所述關(guān)聯(lián)數(shù)據(jù)進(jìn)行關(guān)鍵特征指標(biāo)的計(jì)算，得到所述關(guān)聯(lián)數(shù)據(jù)對(duì)應(yīng)的特征數(shù)據(jù)，包括：

5.如權(quán)利要求1所述的方法，其特征在于，所述基于所述特征數(shù)據(jù)，通過數(shù)據(jù)表智能管理模型得到所述數(shù)據(jù)表對(duì)應(yīng)的分級(jí)結(jié)果，包括：

6.如權(quán)利要求1所述的方法，其特征在于，所述基于所述數(shù)據(jù)表的分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)所述數(shù)據(jù)表進(jìn)行調(diào)整，包括：

7.如權(quán)利要求1所述的方法，其特征在于，所述基于所述數(shù)據(jù)表的分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)所述數(shù)據(jù)表進(jìn)行調(diào)整之前，所述方法還包括：

8.如權(quán)利要求7所述的方法，其特征在于，所述基于所述數(shù)據(jù)表的分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)所述數(shù)據(jù)表進(jìn)行調(diào)整，包括：基于所述優(yōu)先級(jí)排名和分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)所述數(shù)據(jù)表進(jìn)行調(diào)整。

9.一種數(shù)據(jù)表智能管理裝置，其特征在于，所述裝置包括：

10.一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令；所述計(jì)算機(jī)可執(zhí)行指令被處理器執(zhí)行后，能夠?qū)崿F(xiàn)權(quán)利要求1至8中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開是一種數(shù)據(jù)表智能管理方法、裝置及存儲(chǔ)介質(zhì)，包括：獲取報(bào)表系統(tǒng)中需要管理的數(shù)據(jù)表的日志數(shù)據(jù)；對(duì)日志數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到數(shù)據(jù)表對(duì)應(yīng)的特征數(shù)據(jù)；基于特征數(shù)據(jù)，通過數(shù)據(jù)表智能管理模型得到數(shù)據(jù)表對(duì)應(yīng)的分級(jí)結(jié)果；基于數(shù)據(jù)表的分級(jí)結(jié)果，通過數(shù)據(jù)表調(diào)整策略對(duì)數(shù)據(jù)表進(jìn)行調(diào)整。由此，本公開通過數(shù)據(jù)表智能管理模型確定數(shù)據(jù)表的分級(jí)結(jié)果，并根據(jù)分級(jí)結(jié)果合理和動(dòng)態(tài)的對(duì)數(shù)據(jù)表進(jìn)行自動(dòng)調(diào)整，無需依賴人工維護(hù)，避免出現(xiàn)不應(yīng)清理而被清理或應(yīng)清理而未清理的不合理情況，滿足了各個(gè)業(yè)務(wù)線用戶的需求，有效緩解了數(shù)據(jù)存儲(chǔ)資源壓力，提升了系統(tǒng)服務(wù)體驗(yàn)質(zhì)量。

技術(shù)研發(fā)人員：許敏,郭正,黃際彬,胡遠(yuǎn)明,周漢明
受保護(hù)的技術(shù)使用者：中國移動(dòng)通信集團(tuán)廣東有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21