本技術(shù)涉及數(shù)據(jù)處理,具體涉及一種確定指標(biāo)數(shù)據(jù)的方法、裝置、設(shè)備及介質(zhì)。
背景技術(shù):
1、在大數(shù)據(jù)領(lǐng)域,有時(shí)需要對(duì)一些復(fù)雜的用戶(hù)日志數(shù)據(jù)進(jìn)行分析統(tǒng)計(jì)以此判斷某些用戶(hù)的行為,通過(guò)各個(gè)角度來(lái)顯示相應(yīng)的指標(biāo)數(shù)據(jù)。而這個(gè)需求是實(shí)時(shí)變動(dòng)的,可以對(duì)歷史數(shù)據(jù)處理、也可以對(duì)未來(lái)產(chǎn)生的數(shù)據(jù)進(jìn)行分析。
2、目前大部分指標(biāo)數(shù)據(jù)指標(biāo)計(jì)算平臺(tái)面對(duì)計(jì)算復(fù)雜的業(yè)務(wù)邏輯指標(biāo)時(shí),通常需要開(kāi)發(fā)人員進(jìn)行接口開(kāi)發(fā)并二次部署,也可以連接自身的數(shù)據(jù)庫(kù)通過(guò)數(shù)據(jù)人員寫(xiě)復(fù)雜的sql(structured?query?language,結(jié)構(gòu)化查詢(xún)語(yǔ)言)進(jìn)行查詢(xún)顯示相應(yīng)指標(biāo)。但是部分場(chǎng)景需求復(fù)雜時(shí),sql無(wú)法滿(mǎn)足,開(kāi)發(fā)繁瑣,因此可靈活配置的指標(biāo)計(jì)算就顯的尤為重要。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供一種確定指標(biāo)數(shù)據(jù)的方法、裝置、設(shè)備及介質(zhì),用于靈活配置目標(biāo)事件,降低指標(biāo)計(jì)算的復(fù)雜度,解決復(fù)雜指標(biāo)統(tǒng)計(jì)開(kāi)發(fā)繁瑣的問(wèn)題。
2、第一方面,本技術(shù)提供一種確定指標(biāo)數(shù)據(jù)的方法,所述方法包括:
3、通過(guò)消息中間件接收應(yīng)用系統(tǒng)的埋點(diǎn)數(shù)據(jù);
4、響應(yīng)于用戶(hù)對(duì)所述埋點(diǎn)數(shù)據(jù)的指定操作,確定目標(biāo)事件相關(guān)的埋點(diǎn)數(shù)據(jù)和配置項(xiàng);
5、根據(jù)目標(biāo)事件相關(guān)的配置項(xiàng)生成目標(biāo)事件的目標(biāo)腳本;
6、利用所述目標(biāo)腳本從所述消息中間件讀取目標(biāo)事件相關(guān)的埋點(diǎn)數(shù)據(jù),確定所述目標(biāo)事件對(duì)應(yīng)的指標(biāo)數(shù)據(jù)。
7、本技術(shù)用戶(hù)可以通過(guò)選擇配置項(xiàng)的方式生成指標(biāo)計(jì)算的目標(biāo)腳本,相比寫(xiě)復(fù)雜sql進(jìn)行查詢(xún)顯示相應(yīng)指標(biāo)的方式,更簡(jiǎn)單便攜,即使應(yīng)對(duì)復(fù)雜場(chǎng)景也只需用戶(hù)通過(guò)簡(jiǎn)單的操作實(shí)現(xiàn)目標(biāo)事件的配置,進(jìn)而生成目標(biāo)腳本讀取中間件的埋點(diǎn)數(shù)據(jù)計(jì)算相應(yīng)的指標(biāo)數(shù)據(jù)。
8、在一種可能的實(shí)施例中,所述通過(guò)消息中間件接收應(yīng)用系統(tǒng)的埋點(diǎn)數(shù)據(jù),包括:
9、向應(yīng)用系統(tǒng)發(fā)送指定數(shù)據(jù)格式,用于指示所述應(yīng)用系統(tǒng)按所述指定數(shù)據(jù)格式對(duì)埋點(diǎn)數(shù)據(jù)進(jìn)行格式化處理;
10、通過(guò)消息中間件接收應(yīng)用系統(tǒng)進(jìn)行格式化處理的埋點(diǎn)數(shù)據(jù)。
11、本實(shí)施例指示不同應(yīng)用系統(tǒng)對(duì)埋點(diǎn)數(shù)據(jù)進(jìn)行格式化的方式,統(tǒng)一不同應(yīng)用系統(tǒng)的埋點(diǎn)數(shù)據(jù),便于不同應(yīng)用系統(tǒng)統(tǒng)一接入本技術(shù)的指標(biāo)計(jì)算平臺(tái),以適配不同的應(yīng)用系統(tǒng)。
12、在一種可能的實(shí)施例中,所述響應(yīng)于用戶(hù)對(duì)所述埋點(diǎn)數(shù)據(jù)的指定操作,確定目標(biāo)事件相關(guān)的埋點(diǎn)數(shù)據(jù)和配置項(xiàng),包括:
13、在可視化界面顯示所述埋點(diǎn)數(shù)據(jù);
14、響應(yīng)于用戶(hù)在可視化界面對(duì)所述埋點(diǎn)數(shù)據(jù)的觸控操作,確定目標(biāo)事件相關(guān)的埋點(diǎn)數(shù)據(jù)和配置項(xiàng)。
15、本技術(shù)通過(guò)可視化的方式顯示應(yīng)用系統(tǒng)的埋點(diǎn)數(shù)據(jù),用戶(hù)可以在可視化界面對(duì)埋點(diǎn)數(shù)據(jù)進(jìn)行觸控操作,簡(jiǎn)化生成目標(biāo)事件的流程,提高非開(kāi)發(fā)人員的可操作性,使得指標(biāo)計(jì)算更加簡(jiǎn)單便捷。
16、在一種可能的實(shí)施例中,通過(guò)如下任一或任多種方式顯示所述埋點(diǎn)數(shù)據(jù):
17、通過(guò)不同的顯示方式,對(duì)不同業(yè)務(wù)場(chǎng)景的埋點(diǎn)數(shù)據(jù)進(jìn)行區(qū)分顯示;
18、通過(guò)不同的顯示方式,對(duì)不同應(yīng)用系統(tǒng)的埋點(diǎn)數(shù)據(jù)進(jìn)行區(qū)分顯示。
19、本技術(shù)通過(guò)對(duì)應(yīng)用系統(tǒng)、業(yè)務(wù)場(chǎng)景的埋點(diǎn)數(shù)據(jù)進(jìn)行區(qū)分的方式,使得用戶(hù)在配置目標(biāo)事件時(shí)更易確定目標(biāo)事件相關(guān)的埋點(diǎn)數(shù)據(jù)和配置項(xiàng),提高指標(biāo)數(shù)據(jù)計(jì)算的效率。
20、在一種可能的實(shí)施例中,所述根據(jù)目標(biāo)事件相關(guān)的配置項(xiàng)生成目標(biāo)事件的目標(biāo)腳本,包括:
21、將目標(biāo)事件的配置項(xiàng)轉(zhuǎn)換為可執(zhí)行代碼;
22、將所述可執(zhí)行代碼導(dǎo)入flink的復(fù)雜事件處理模塊,生成目標(biāo)事件的目標(biāo)腳本。
23、在一種可能的實(shí)施例中,該方法還包括:
24、將應(yīng)用系統(tǒng)的埋點(diǎn)數(shù)據(jù)冷存儲(chǔ)到云存儲(chǔ)服務(wù)器;
25、若根據(jù)目標(biāo)事件的配置項(xiàng)確定目標(biāo)事件相關(guān)的埋點(diǎn)數(shù)據(jù)包含所述目標(biāo)事件執(zhí)行之前的歷史埋點(diǎn)數(shù)據(jù),則利用所述目標(biāo)腳本啟動(dòng)flink的批處理模式,讀取云存儲(chǔ)服務(wù)器存儲(chǔ)的所述歷史埋點(diǎn)數(shù)據(jù),確定所述目標(biāo)事件對(duì)應(yīng)的指標(biāo)數(shù)據(jù)。
26、本技術(shù)利用云存儲(chǔ)服務(wù)器存儲(chǔ)歷史埋點(diǎn)數(shù)據(jù),提高實(shí)時(shí)基于歷史數(shù)據(jù)進(jìn)行指標(biāo)計(jì)算的效率。
27、在一種可能的實(shí)施例中,所述確定所述目標(biāo)事件對(duì)應(yīng)的指標(biāo)數(shù)據(jù)之后,該方法還包括:
28、將指標(biāo)數(shù)據(jù)存儲(chǔ)到所述應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)或者所述消息中間件中;和/或,
29、通過(guò)不同的顯示方式,在可視化界面對(duì)不同應(yīng)用系統(tǒng)各自對(duì)應(yīng)的目標(biāo)事件的指標(biāo)數(shù)據(jù)進(jìn)行區(qū)分顯示。
30、本技術(shù)將指標(biāo)數(shù)據(jù)存儲(chǔ)到應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù),便于應(yīng)用系統(tǒng)的用戶(hù)在自己的應(yīng)用系統(tǒng)上查看相應(yīng)的指標(biāo)。將指標(biāo)數(shù)據(jù)存儲(chǔ)到中間件,便于下游拉取二次計(jì)算。
31、在一種可能的實(shí)施例中,所述配置項(xiàng)包括如下任一或任多項(xiàng):
32、觸發(fā)順序,用于表示目標(biāo)事件中多個(gè)事件執(zhí)行的順序;或,
33、時(shí)間窗口周期,用于表示執(zhí)行目標(biāo)事件所需的時(shí)間周期;或,
34、觸發(fā)條件,用于表示執(zhí)行目標(biāo)事件所滿(mǎn)足的前提條件。
35、本技術(shù)通過(guò)配置項(xiàng)實(shí)現(xiàn)對(duì)不同類(lèi)型、不同復(fù)雜程度的目標(biāo)事件的指標(biāo)計(jì)算。
36、第二方面,本技術(shù)提供一種確定指標(biāo)數(shù)據(jù)的裝置,所述裝置包括:
37、接收數(shù)據(jù)單元,用于通過(guò)消息中間件接收應(yīng)用系統(tǒng)的埋點(diǎn)數(shù)據(jù);
38、事件配置單元,用于響應(yīng)于用戶(hù)對(duì)所述埋點(diǎn)數(shù)據(jù)的指定操作,確定目標(biāo)事件相關(guān)的埋點(diǎn)數(shù)據(jù)和配置項(xiàng);
39、生成腳本單元,用于根據(jù)目標(biāo)事件相關(guān)的配置項(xiàng)生成目標(biāo)事件的目標(biāo)腳本;
40、計(jì)算指標(biāo)單元,用于利用所述目標(biāo)腳本從所述消息中間件讀取目標(biāo)事件相關(guān)的埋點(diǎn)數(shù)據(jù),確定所述目標(biāo)事件對(duì)應(yīng)的指標(biāo)數(shù)據(jù)。
41、在一種可能的實(shí)施例中,所述接收數(shù)據(jù)單元具體用于:
42、向應(yīng)用系統(tǒng)發(fā)送指定數(shù)據(jù)格式,用于指示所述應(yīng)用系統(tǒng)按所述指定數(shù)據(jù)格式對(duì)埋點(diǎn)數(shù)據(jù)進(jìn)行格式化處理;
43、通過(guò)消息中間件接收應(yīng)用系統(tǒng)進(jìn)行格式化處理的埋點(diǎn)數(shù)據(jù)。
44、在一種可能的實(shí)施例中,所述事件配置單元具體用于:
45、在可視化界面顯示所述埋點(diǎn)數(shù)據(jù);
46、響應(yīng)于用戶(hù)在可視化界面對(duì)所述埋點(diǎn)數(shù)據(jù)的觸控操作,確定目標(biāo)事件相關(guān)的埋點(diǎn)數(shù)據(jù)和配置項(xiàng)。
47、在一種可能的實(shí)施例中,所述接收數(shù)據(jù)單元還用于通過(guò)如下任一或任多種方式顯示所述埋點(diǎn)數(shù)據(jù):
48、通過(guò)不同的顯示方式,對(duì)不同業(yè)務(wù)場(chǎng)景的埋點(diǎn)數(shù)據(jù)進(jìn)行區(qū)分顯示;
49、通過(guò)不同的顯示方式,對(duì)不同應(yīng)用系統(tǒng)的埋點(diǎn)數(shù)據(jù)進(jìn)行區(qū)分顯示。
50、在一種可能的實(shí)施例中,所述生成腳本單元具體用于:
51、將目標(biāo)事件的配置項(xiàng)轉(zhuǎn)換為可執(zhí)行代碼;
52、將所述可執(zhí)行代碼導(dǎo)入flink的復(fù)雜事件處理模塊,生成目標(biāo)事件的目標(biāo)腳本。
53、在一種可能的實(shí)施例中,所述計(jì)算指標(biāo)單元還用于:
54、將應(yīng)用系統(tǒng)的埋點(diǎn)數(shù)據(jù)冷存儲(chǔ)到云存儲(chǔ)服務(wù)器;
55、若根據(jù)目標(biāo)事件的配置項(xiàng)確定目標(biāo)事件相關(guān)的埋點(diǎn)數(shù)據(jù)包含所述目標(biāo)事件執(zhí)行之前的歷史埋點(diǎn)數(shù)據(jù),則利用所述目標(biāo)腳本啟動(dòng)flink的批處理模式,讀取云存儲(chǔ)服務(wù)器存儲(chǔ)的所述歷史埋點(diǎn)數(shù)據(jù),確定所述目標(biāo)事件對(duì)應(yīng)的指標(biāo)數(shù)據(jù)。
56、在一種可能的實(shí)施例中,所述確定所述目標(biāo)事件對(duì)應(yīng)的指標(biāo)數(shù)據(jù)之后,該裝置還包括后處理單元用于:
57、將指標(biāo)數(shù)據(jù)存儲(chǔ)到所述應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)或者所述消息中間件中;和/或,
58、通過(guò)不同的顯示方式,在可視化界面對(duì)不同應(yīng)用系統(tǒng)各自對(duì)應(yīng)的目標(biāo)事件的指標(biāo)數(shù)據(jù)進(jìn)行區(qū)分顯示。
59、在一種可能的實(shí)施例中,所述配置項(xiàng)包括如下任一或任多項(xiàng):
60、觸發(fā)順序,用于表示目標(biāo)事件中多個(gè)事件執(zhí)行的順序;或,
61、時(shí)間窗口周期,用于表示執(zhí)行目標(biāo)事件所需的時(shí)間周期;或,
62、觸發(fā)條件,用于表示執(zhí)行目標(biāo)事件所滿(mǎn)足的前提條件。
63、第三方面,本技術(shù)提供一種電子設(shè)備,包括:
64、存儲(chǔ)器,用于存儲(chǔ)程序指令;
65、處理器,用于調(diào)用所述存儲(chǔ)器中存儲(chǔ)的程序指令,按照獲得的程序指令執(zhí)行第一方面中任一項(xiàng)所述的方法包括的步驟。
66、第四方面,本技術(shù)提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序包括程序指令,所述程序指令當(dāng)被計(jì)算機(jī)執(zhí)行時(shí),使所述計(jì)算機(jī)執(zhí)行第一方面中任一項(xiàng)所述的方法。
67、第五方面,本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品包括:計(jì)算機(jī)程序代碼,當(dāng)所述計(jì)算機(jī)程序代碼在計(jì)算機(jī)上運(yùn)行時(shí),使得計(jì)算機(jī)執(zhí)行第一方面中任一項(xiàng)所述的方法。