本公開涉及數(shù)據(jù)處理領(lǐng)域，具體涉及一種數(shù)據(jù)稽核方法與裝置、電子設(shè)備、可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、數(shù)據(jù)質(zhì)量問(wèn)題、資源的數(shù)據(jù)準(zhǔn)確性問(wèn)題，直接影響到全網(wǎng)資源管理效果。數(shù)據(jù)稽核是提升數(shù)據(jù)質(zhì)量海域準(zhǔn)確性的有效手段。

2、現(xiàn)有技術(shù)中，在進(jìn)行數(shù)據(jù)稽核時(shí)會(huì)在原始數(shù)據(jù)文件中進(jìn)行采集，將采集到的待稽核數(shù)據(jù)存儲(chǔ)到分布式關(guān)系型數(shù)據(jù)庫(kù)，例如postgres，greenplum等，并按照運(yùn)營(yíng)商的稽核要求，創(chuàng)建相關(guān)業(yè)務(wù)的存儲(chǔ)過(guò)程，進(jìn)行數(shù)據(jù)稽核。但是，關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)入庫(kù)效率較差，大數(shù)據(jù)量情況下的多數(shù)據(jù)關(guān)聯(lián)查詢效率較差，不僅稽核效率較差，也存在cpu功耗較高，容易導(dǎo)致進(jìn)程死鎖的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本公開提供了一種數(shù)據(jù)稽核方法與裝置、電子設(shè)備、可讀存儲(chǔ)介質(zhì)，以在一定程度上提升數(shù)據(jù)稽核效率與稽核系統(tǒng)的穩(wěn)定性。

2、第一方面，本公開提供了一種數(shù)據(jù)稽核方法，包括：響應(yīng)于數(shù)據(jù)稽核請(qǐng)求，獲取待稽核數(shù)據(jù)；對(duì)所述待稽核數(shù)據(jù)進(jìn)行拆分，得到多表關(guān)聯(lián)數(shù)據(jù)與單表核查數(shù)據(jù)；利用分布式查詢引擎對(duì)所述多表關(guān)聯(lián)數(shù)據(jù)進(jìn)行稽核；利用數(shù)據(jù)管理系統(tǒng)對(duì)所述單表核查數(shù)據(jù)進(jìn)行稽核。

3、根據(jù)本公開的第一方面所述的方法，所述利用分布式查詢引擎對(duì)所述多表關(guān)聯(lián)數(shù)據(jù)進(jìn)行稽核，包括：將所述多表關(guān)聯(lián)數(shù)據(jù)寫入消息隊(duì)列；利用所述分布式查詢引擎對(duì)所述消息隊(duì)列中的消息進(jìn)行數(shù)據(jù)稽核。

4、根據(jù)本公開的第一方面所述的方法，所述利用數(shù)據(jù)管理系統(tǒng)對(duì)所述單表核查數(shù)據(jù)進(jìn)行稽核，包括：將所述單表核查數(shù)據(jù)寫入所述數(shù)據(jù)管理系統(tǒng)；所述數(shù)據(jù)管理系統(tǒng)包括：列式數(shù)據(jù)管理系統(tǒng)；利用所述數(shù)據(jù)管理系統(tǒng)對(duì)所述單表核查數(shù)據(jù)進(jìn)行數(shù)據(jù)稽核。

5、根據(jù)本公開的第一方面所述的方法，所述方法還包括：將所述多表關(guān)聯(lián)數(shù)據(jù)的稽核結(jié)果寫入所述數(shù)據(jù)管理系統(tǒng)；匯總所述多表關(guān)聯(lián)數(shù)據(jù)的稽核結(jié)果與所述單表核查數(shù)據(jù)的稽核結(jié)果。

6、根據(jù)本公開的第一方面所述的方法，所述響應(yīng)于數(shù)據(jù)稽核請(qǐng)求，獲取待稽核數(shù)據(jù)，包括：響應(yīng)于數(shù)據(jù)稽核請(qǐng)求，獲取目標(biāo)業(yè)務(wù)場(chǎng)景對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)，得到所述待稽核數(shù)據(jù)；或者，響應(yīng)于數(shù)據(jù)稽核請(qǐng)求，獲取目標(biāo)業(yè)務(wù)場(chǎng)景對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)，并對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行預(yù)處理，得到所述待稽核數(shù)據(jù)；其中，所述預(yù)處理包括如下至少一種：數(shù)據(jù)清洗、數(shù)據(jù)補(bǔ)全。

7、根據(jù)本公開的第一方面所述的方法，當(dāng)所述預(yù)處理為數(shù)據(jù)清洗時(shí)，所述對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行預(yù)處理，得到所述待稽核數(shù)據(jù)，包括：基于稽核規(guī)則，確定所述業(yè)務(wù)數(shù)據(jù)中的待清洗數(shù)據(jù)；利用關(guān)系型數(shù)據(jù)庫(kù)對(duì)所述待清洗數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到所述待稽核數(shù)據(jù)。

8、根據(jù)本公開的第一方面所述的方法，所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)源包括如下至少一種：csv數(shù)據(jù)、關(guān)系型數(shù)據(jù)庫(kù)、大數(shù)據(jù)平臺(tái)。

9、第二方面，本公開提供了一種數(shù)據(jù)稽核裝置，所述裝置包括：獲取單元，用于響應(yīng)于數(shù)據(jù)稽核請(qǐng)求，獲取待稽核數(shù)據(jù)；拆分單元，用于對(duì)所述待稽核數(shù)據(jù)進(jìn)行拆分，得到多表關(guān)聯(lián)數(shù)據(jù)與單表核查數(shù)據(jù)；第一稽核單元，用于利用分布式查詢引擎對(duì)所述多表關(guān)聯(lián)數(shù)據(jù)進(jìn)行稽核；第二稽核單元，用于利用數(shù)據(jù)管理系統(tǒng)對(duì)所述單表核查數(shù)據(jù)進(jìn)行稽核。

10、第三方面，本公開提供了一種電子設(shè)備，包括：存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)可讀指令；以及處理器，用于運(yùn)行計(jì)算機(jī)可讀指令，使得電子設(shè)備執(zhí)行如上所述的數(shù)據(jù)稽核方法。

11、第四方面，本公開提供了一種非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)可讀指令，其特征在于，當(dāng)所述計(jì)算機(jī)可讀指令由處理器執(zhí)行時(shí)，使得處理器執(zhí)行如上所述的數(shù)據(jù)稽核方法。

12、如以下將詳細(xì)描述的，根據(jù)本公開實(shí)施例的數(shù)據(jù)稽核技術(shù)方案，能夠?qū)⒋藬?shù)據(jù)進(jìn)行拆分，并采用不同的稽核方式分別進(jìn)行稽核；具體的，針對(duì)單表核查數(shù)據(jù)直接利用數(shù)據(jù)管理系統(tǒng)進(jìn)行數(shù)據(jù)稽核，簡(jiǎn)便高效；而針對(duì)多表關(guān)聯(lián)數(shù)據(jù)，利用分布式查詢引擎實(shí)現(xiàn)高效并行處理，大大提升了多表關(guān)聯(lián)數(shù)據(jù)的稽核效率。相較于現(xiàn)有技術(shù)中利用分布式關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)稽核方式，本公開能夠基于不同的數(shù)據(jù)類型采取更節(jié)省功耗與提升效率的方式進(jìn)行數(shù)據(jù)稽核，有效提升稽核效率，降低功耗與資源占用情況，避免了現(xiàn)有技術(shù)中可能出現(xiàn)的進(jìn)程死鎖問(wèn)題，穩(wěn)定性較好。

13、要理解的是，前面的一般描述和下面的詳細(xì)描述兩者都是示例性的，并且意圖在于提供要求保護(hù)的技術(shù)的進(jìn)一步說(shuō)明。

技術(shù)特征：

1.一種數(shù)據(jù)稽核方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述利用分布式查詢引擎對(duì)所述多表關(guān)聯(lián)數(shù)據(jù)進(jìn)行稽核，包括：

3.如權(quán)利要求1所述的方法，其特征在于，所述利用數(shù)據(jù)管理系統(tǒng)對(duì)所述單表核查數(shù)據(jù)進(jìn)行稽核，包括：

4.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

5.如權(quán)利要求1-4任一項(xiàng)所述的方法，其特征在于，所述響應(yīng)于數(shù)據(jù)稽核請(qǐng)求，獲取待稽核數(shù)據(jù)，包括：

6.如權(quán)利要求5所述的方法，其特征在于，當(dāng)所述預(yù)處理為數(shù)據(jù)清洗時(shí)，所述對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行預(yù)處理，得到所述待稽核數(shù)據(jù)，包括：

7.如權(quán)利要求5所述的方法，其特征在于，所述業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)源包括如下至少一種：csv數(shù)據(jù)、關(guān)系型數(shù)據(jù)庫(kù)、大數(shù)據(jù)平臺(tái)。

8.一種數(shù)據(jù)稽核裝置，其特征在于，所述裝置包括：

9.一種電子設(shè)備，其特征在于，包括：

10.一種非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)可讀指令，其特征在于，當(dāng)所述計(jì)算機(jī)可讀指令由處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如權(quán)利要求1-7的任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開提供了一種數(shù)據(jù)稽核方法與裝置、電子設(shè)備、可讀存儲(chǔ)介質(zhì)，在該方法中，響應(yīng)于數(shù)據(jù)稽核請(qǐng)求，獲取待稽核數(shù)據(jù)，然后，對(duì)所述待稽核數(shù)據(jù)進(jìn)行拆分，得到多表關(guān)聯(lián)數(shù)據(jù)與單表核查數(shù)據(jù)，從而，利用分布式查詢引擎對(duì)所述多表關(guān)聯(lián)數(shù)據(jù)進(jìn)行稽核，以及，利用數(shù)據(jù)管理系統(tǒng)對(duì)所述單表核查數(shù)據(jù)進(jìn)行稽核。如此，能夠基于不同的數(shù)據(jù)類型采取更節(jié)省功耗與提升效率的方式進(jìn)行數(shù)據(jù)稽核，有效提升稽核效率，降低功耗與資源占用情況，避免了現(xiàn)有技術(shù)中可能出現(xiàn)的進(jìn)程死鎖問(wèn)題，穩(wěn)定性較好。

技術(shù)研發(fā)人員：宋國(guó)林,康志文,劉亞駿,梅紅,陳鑫,孔祥祺,劉文博,晁玉玲,李海鷗,高耀飛,王凱,吳磊,李欣蔚,丁浩倫,鄭敏,呂晴,劉曉黎,文戈
受保護(hù)的技術(shù)使用者：中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21