本申請(qǐng)涉及數(shù)據(jù)處理，具體涉及一種業(yè)務(wù)數(shù)據(jù)加載方法、裝置、電子設(shè)備、產(chǎn)品及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、目前在互聯(lián)網(wǎng)和電子商務(wù)領(lǐng)域，分布式緩存系統(tǒng)被用于實(shí)時(shí)數(shù)據(jù)分析、數(shù)據(jù)湖集成和加速、大規(guī)模數(shù)據(jù)提取-轉(zhuǎn)換-加載，(extract-transform-load，etl)等場(chǎng)景。它可以將數(shù)據(jù)從hadoop等批處理系統(tǒng)緩存到內(nèi)存中，提供低延遲的數(shù)據(jù)查詢和分析，增強(qiáng)實(shí)時(shí)決策能力。除了上述行業(yè)，還有許多大規(guī)模的行業(yè)也在廣泛應(yīng)用分布式緩存系統(tǒng)來(lái)處理大規(guī)模數(shù)據(jù)和加速數(shù)據(jù)處理任務(wù)，例如人工智能和機(jī)器學(xué)習(xí)、廣告技術(shù)、物聯(lián)網(wǎng)安全、基因組學(xué)等領(lǐng)域。

2、現(xiàn)有的分布式緩存系統(tǒng)加載業(yè)務(wù)數(shù)據(jù)的方式主要是通過(guò)被動(dòng)加載以及基于規(guī)則主動(dòng)加載方式，被動(dòng)加載方式在業(yè)務(wù)高峰時(shí)容易產(chǎn)生資源爭(zhēng)用，而基于規(guī)則主動(dòng)加載方式不靈活同時(shí)維護(hù)成本也高，效果難以評(píng)估。

3、上述業(yè)務(wù)數(shù)據(jù)的加載方法的資源利用率低。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種業(yè)務(wù)數(shù)據(jù)加載方法、裝置、電子設(shè)備、產(chǎn)品及存儲(chǔ)介質(zhì)，用以解決業(yè)務(wù)數(shù)據(jù)加載的資源利用率低的技術(shù)問(wèn)題。

2、第一方面，本申請(qǐng)實(shí)施例提供一種業(yè)務(wù)數(shù)據(jù)加載方法，包括：根據(jù)用戶實(shí)時(shí)訪問(wèn)多個(gè)業(yè)務(wù)數(shù)據(jù)表的多條實(shí)時(shí)訪問(wèn)記錄，確定每個(gè)所述業(yè)務(wù)數(shù)據(jù)表的實(shí)際訪問(wèn)占比；根據(jù)所述用戶在歷史周期內(nèi)訪問(wèn)多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的多條歷史訪問(wèn)記錄，確定多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的趨勢(shì)數(shù)組指標(biāo)；基于所述實(shí)際訪問(wèn)占比和所述趨勢(shì)數(shù)組指標(biāo)，加載所述業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)數(shù)據(jù)。

3、在一個(gè)實(shí)施例中，所述根據(jù)用戶實(shí)時(shí)訪問(wèn)多個(gè)業(yè)務(wù)數(shù)據(jù)表的多條實(shí)時(shí)訪問(wèn)記錄，確定每個(gè)所述業(yè)務(wù)數(shù)據(jù)表的實(shí)際訪問(wèn)占比，包括：根據(jù)多條所述實(shí)時(shí)訪問(wèn)記錄的業(yè)務(wù)數(shù)據(jù)表加載開(kāi)始時(shí)間、業(yè)務(wù)數(shù)據(jù)表加載完成時(shí)間、業(yè)務(wù)數(shù)據(jù)表加載路徑、業(yè)務(wù)數(shù)據(jù)表加載底層存儲(chǔ)類型和業(yè)務(wù)數(shù)據(jù)表加載次數(shù)，對(duì)多條所述實(shí)時(shí)訪問(wèn)記錄進(jìn)行分組；將分組后的所述實(shí)時(shí)訪問(wèn)記錄映射到每個(gè)所述業(yè)務(wù)數(shù)據(jù)表的表訪問(wèn)記錄集，所述表訪問(wèn)記錄集包括訪問(wèn)所述業(yè)務(wù)數(shù)據(jù)表的多條所述實(shí)時(shí)訪問(wèn)記錄；根據(jù)所述表訪問(wèn)記錄集的每小時(shí)訪問(wèn)頻次和多條所述實(shí)時(shí)訪問(wèn)記錄中的總訪問(wèn)次數(shù)的比值，確定每個(gè)所述業(yè)務(wù)數(shù)據(jù)表的每小時(shí)訪問(wèn)頻次占比，所述每小時(shí)訪問(wèn)頻次為每小時(shí)訪問(wèn)所述業(yè)務(wù)數(shù)據(jù)表的次數(shù)，所述總訪問(wèn)次數(shù)為每小時(shí)訪問(wèn)所有所述業(yè)務(wù)數(shù)據(jù)表的次數(shù)；基于每個(gè)所述業(yè)務(wù)數(shù)據(jù)表的所述每小時(shí)訪問(wèn)頻次占比和設(shè)定權(quán)重的乘積，確定每個(gè)所述業(yè)務(wù)數(shù)據(jù)表的實(shí)際訪問(wèn)占比，所述設(shè)定權(quán)重表征所述業(yè)務(wù)數(shù)據(jù)表的重要程度。

4、在一個(gè)實(shí)施例中，所述根據(jù)所述用戶在歷史周期內(nèi)訪問(wèn)多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的多條歷史訪問(wèn)記錄，確定多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的趨勢(shì)數(shù)組指標(biāo)，包括：根據(jù)多條所述歷史訪問(wèn)記錄的業(yè)務(wù)數(shù)據(jù)表加載開(kāi)始時(shí)間、業(yè)務(wù)數(shù)據(jù)表加載完成時(shí)間、業(yè)務(wù)數(shù)據(jù)表加載路徑和業(yè)務(wù)數(shù)據(jù)表加載底層存儲(chǔ)類型，對(duì)多條所述歷史訪問(wèn)記錄進(jìn)行分組；根據(jù)所述歷史訪問(wèn)記錄的業(yè)務(wù)數(shù)據(jù)表加載次數(shù)，對(duì)分組后的所述歷史訪問(wèn)記錄進(jìn)行聚合，得到所有所述業(yè)務(wù)數(shù)據(jù)表的所述趨勢(shì)數(shù)組指標(biāo)，所述趨勢(shì)數(shù)組指標(biāo)包括每個(gè)所述業(yè)務(wù)數(shù)據(jù)表在歷史時(shí)間段內(nèi)的訪問(wèn)次數(shù)、訪問(wèn)時(shí)長(zhǎng)和用戶訪問(wèn)占比。

5、在一個(gè)實(shí)施例中，所述基于所述實(shí)際訪問(wèn)占比和所述趨勢(shì)數(shù)組指標(biāo)，加載所述業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)數(shù)據(jù)，包括：基于所述實(shí)際訪問(wèn)占比和所述趨勢(shì)數(shù)組指標(biāo)，將所述業(yè)務(wù)數(shù)據(jù)表確定為待加載業(yè)務(wù)數(shù)據(jù)表，確定所述待加載業(yè)務(wù)數(shù)據(jù)表的加載時(shí)間；基于所述加載時(shí)間，加載所述待加載業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)數(shù)據(jù)。

6、在一個(gè)實(shí)施例中，所述基于所述實(shí)際訪問(wèn)占比和所述趨勢(shì)數(shù)組指標(biāo)，將所述業(yè)務(wù)數(shù)據(jù)表確定為待加載業(yè)務(wù)數(shù)據(jù)表，包括：定期判斷所述趨勢(shì)數(shù)組指標(biāo)的用戶訪問(wèn)占比，當(dāng)所述用戶訪問(wèn)占比大于設(shè)定參數(shù)時(shí)，將所述用戶訪問(wèn)占比對(duì)應(yīng)的所述業(yè)務(wù)數(shù)據(jù)表確定為所述待加載業(yè)務(wù)數(shù)據(jù)表；當(dāng)所述實(shí)際訪問(wèn)占比處于遞增狀態(tài)，且在預(yù)設(shè)時(shí)間內(nèi)，所述實(shí)際訪問(wèn)占比將大于所述設(shè)定參數(shù)時(shí)，將所述實(shí)際訪問(wèn)占比對(duì)應(yīng)的所述業(yè)務(wù)數(shù)據(jù)表確定為所述待加載業(yè)務(wù)數(shù)據(jù)表。

7、在一個(gè)實(shí)施例中，所述基于所述加載時(shí)間，加載所述待加載業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)數(shù)據(jù)之前，還包括：校驗(yàn)所述待加載業(yè)務(wù)數(shù)據(jù)表的源端數(shù)據(jù)和加載權(quán)限；當(dāng)所述待加載業(yè)務(wù)數(shù)據(jù)表的所述源端數(shù)據(jù)和所述加載權(quán)限均存在時(shí)，對(duì)所述待加載業(yè)務(wù)數(shù)據(jù)表執(zhí)行所述基于所述加載時(shí)間，加載所述待加載業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)數(shù)據(jù)的步驟。

8、第二方面，本申請(qǐng)實(shí)施例提供一種業(yè)務(wù)數(shù)據(jù)加載系統(tǒng)，應(yīng)用于第一方面所述的業(yè)務(wù)數(shù)據(jù)加載方法，包括業(yè)務(wù)計(jì)算模塊和加載模塊；所述業(yè)務(wù)計(jì)算模塊，用于根據(jù)用戶實(shí)時(shí)訪問(wèn)多個(gè)業(yè)務(wù)數(shù)據(jù)表的多條實(shí)時(shí)訪問(wèn)記錄，確定每個(gè)所述業(yè)務(wù)數(shù)據(jù)表的實(shí)際訪問(wèn)占比；根據(jù)所述用戶在歷史周期內(nèi)訪問(wèn)多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的多條歷史訪問(wèn)記錄，確定多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的趨勢(shì)數(shù)組指標(biāo)；所述加載模塊，用于基于所述實(shí)際訪問(wèn)占比和所述趨勢(shì)數(shù)組指標(biāo)，加載所述業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)數(shù)據(jù)。

9、第三方面，本申請(qǐng)實(shí)施例提供一種電子設(shè)備，包括處理器和存儲(chǔ)有計(jì)算機(jī)程序的存儲(chǔ)器，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)第一方面所述的業(yè)務(wù)數(shù)據(jù)加載方法。

10、第四方面，本申請(qǐng)實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述的業(yè)務(wù)數(shù)據(jù)加載方法。

11、第五方面，本申請(qǐng)實(shí)施例提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述的業(yè)務(wù)數(shù)據(jù)加載方法。

12、本申請(qǐng)?zhí)峁┑臉I(yè)務(wù)數(shù)據(jù)加載方法、裝置、電子設(shè)備、產(chǎn)品及存儲(chǔ)介質(zhì)，根據(jù)用戶實(shí)時(shí)訪問(wèn)多個(gè)業(yè)務(wù)數(shù)據(jù)表的多條實(shí)時(shí)訪問(wèn)記錄，確定每個(gè)所述業(yè)務(wù)數(shù)據(jù)表的實(shí)際訪問(wèn)占比；根據(jù)所述用戶在歷史周期內(nèi)訪問(wèn)多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的多條歷史訪問(wèn)記錄，確定多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的趨勢(shì)數(shù)組指標(biāo)；基于所述實(shí)際訪問(wèn)占比和所述趨勢(shì)數(shù)組指標(biāo)，加載所述業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)數(shù)據(jù)。本申請(qǐng)通過(guò)實(shí)際訪問(wèn)占比和趨勢(shì)數(shù)組指標(biāo)，加載業(yè)務(wù)數(shù)據(jù)，實(shí)現(xiàn)了基于用戶需求加載業(yè)務(wù)數(shù)據(jù)，提升了緩存資源的使用率，有利于提升訪問(wèn)效率，能夠更好的服務(wù)于用戶。

技術(shù)特征：

1.一種業(yè)務(wù)數(shù)據(jù)加載方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的業(yè)務(wù)數(shù)據(jù)加載方法，其特征在于，所述根據(jù)用戶實(shí)時(shí)訪問(wèn)多個(gè)業(yè)務(wù)數(shù)據(jù)表的多條實(shí)時(shí)訪問(wèn)記錄，確定每個(gè)所述業(yè)務(wù)數(shù)據(jù)表的實(shí)際訪問(wèn)占比，包括：

3.根據(jù)權(quán)利要求1所述的業(yè)務(wù)數(shù)據(jù)加載方法，其特征在于，所述根據(jù)所述用戶在歷史周期內(nèi)訪問(wèn)多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的多條歷史訪問(wèn)記錄，確定多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的趨勢(shì)數(shù)組指標(biāo)，包括：

4.根據(jù)權(quán)利要求1所述的業(yè)務(wù)數(shù)據(jù)加載方法，其特征在于，所述基于所述實(shí)際訪問(wèn)占比和所述趨勢(shì)數(shù)組指標(biāo)，加載所述業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)數(shù)據(jù)，包括：

5.根據(jù)權(quán)利要求4所述的業(yè)務(wù)數(shù)據(jù)加載方法，其特征在于，所述基于所述實(shí)際訪問(wèn)占比和所述趨勢(shì)數(shù)組指標(biāo)，將所述業(yè)務(wù)數(shù)據(jù)表確定為待加載業(yè)務(wù)數(shù)據(jù)表，包括：

6.根據(jù)權(quán)利要求4所述的業(yè)務(wù)數(shù)據(jù)加載方法，其特征在于，所述基于所述加載時(shí)間，加載所述待加載業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)數(shù)據(jù)之前，還包括：

7.一種業(yè)務(wù)數(shù)據(jù)加載系統(tǒng)，其特征在于，應(yīng)用于如權(quán)利要求1至6中任一項(xiàng)所述的業(yè)務(wù)數(shù)據(jù)加載方法，包括業(yè)務(wù)計(jì)算模塊和加載模塊；

8.一種電子設(shè)備，包括處理器和存儲(chǔ)有計(jì)算機(jī)程序的存儲(chǔ)器，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至6任一項(xiàng)所述的業(yè)務(wù)數(shù)據(jù)加載方法。

9.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6任一項(xiàng)所述的業(yè)務(wù)數(shù)據(jù)加載方法。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6任一項(xiàng)所述的業(yè)務(wù)數(shù)據(jù)加載方法。

技術(shù)總結(jié)
本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，提供一種業(yè)務(wù)數(shù)據(jù)加載方法、裝置、電子設(shè)備、產(chǎn)品及存儲(chǔ)介質(zhì)。所述方法包括：根據(jù)用戶實(shí)時(shí)訪問(wèn)多個(gè)業(yè)務(wù)數(shù)據(jù)表的多條實(shí)時(shí)訪問(wèn)記錄，確定每個(gè)所述業(yè)務(wù)數(shù)據(jù)表的實(shí)際訪問(wèn)占比；根據(jù)所述用戶在歷史周期內(nèi)訪問(wèn)多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的多條歷史訪問(wèn)記錄，確定多個(gè)所述業(yè)務(wù)數(shù)據(jù)表的趨勢(shì)數(shù)組指標(biāo)；基于所述實(shí)際訪問(wèn)占比和所述趨勢(shì)數(shù)組指標(biāo)，加載所述業(yè)務(wù)數(shù)據(jù)表的業(yè)務(wù)數(shù)據(jù)。本申請(qǐng)通過(guò)實(shí)際訪問(wèn)占比和趨勢(shì)數(shù)組指標(biāo)，加載業(yè)務(wù)數(shù)據(jù)，實(shí)現(xiàn)了基于用戶需求加載業(yè)務(wù)數(shù)據(jù)，提升了緩存資源的使用率，有利于提升訪問(wèn)效率，能夠更好的服務(wù)于用戶。

技術(shù)研發(fā)人員：王雪峰,王曉征,郭岳,潘宇虹,吳天東,王淼鑫
受保護(hù)的技術(shù)使用者：中國(guó)移動(dòng)通信集團(tuán)浙江有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21