一種大數(shù)據(jù)統(tǒng)計(jì)方法及用于大數(shù)據(jù)統(tǒng)計(jì)的系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種大數(shù)據(jù)統(tǒng)計(jì)方法及用于大數(shù)據(jù)統(tǒng)計(jì)的系統(tǒng)。
【背景技術(shù)】
[0002]進(jìn)入2012年，大數(shù)據(jù)(big data) —詞越來(lái)越多地被提及，人們用它來(lái)描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)。截止到2012年，數(shù)據(jù)量已經(jīng)從TB(1024GB = I TB)級(jí)別躍升到 PB(1024TB = 1PB)、EB(1024PB = 1EB)乃至 ZB(1024EB = IZB)級(jí)別。國(guó)際數(shù)據(jù)公司(IDC)的研宄結(jié)果表明，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB，2009年的數(shù)據(jù)量為0.8ZB，2010年增長(zhǎng)為1.2ZB，2011年的數(shù)據(jù)量更是高達(dá)1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)量。
[0003]對(duì)海量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，是一件非常耗時(shí)的事，特別是在面對(duì)ZB級(jí)別的數(shù)據(jù)時(shí)，進(jìn)行實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)不但不能及時(shí)返回統(tǒng)計(jì)結(jié)果，而且更有可能將系統(tǒng)應(yīng)用拖垮。所以在當(dāng)下，幾乎不可能對(duì)海量數(shù)據(jù)提供實(shí)時(shí)的統(tǒng)計(jì)分析。即便是眾所周知的友盟，在向客戶提供數(shù)據(jù)統(tǒng)計(jì)服務(wù)時(shí)，也是在預(yù)先統(tǒng)計(jì)歸檔的數(shù)據(jù)基礎(chǔ)之上，從歸檔好的數(shù)據(jù)中進(jìn)行二次查詢，對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。這種做法的優(yōu)點(diǎn)是統(tǒng)計(jì)分析的響應(yīng)時(shí)間快，但缺點(diǎn)也很明顯，歸檔數(shù)據(jù)是離線處理好的，在此基礎(chǔ)上查詢統(tǒng)計(jì)分析出來(lái)的結(jié)果，并非當(dāng)前真實(shí)精準(zhǔn)的數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的主要目的在于提出一種大數(shù)據(jù)統(tǒng)計(jì)方法及用于大數(shù)據(jù)統(tǒng)計(jì)的系統(tǒng)。本發(fā)明將定時(shí)統(tǒng)計(jì)和動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)相結(jié)合，使得在進(jìn)行海量數(shù)據(jù)統(tǒng)計(jì)時(shí)能夠既快速又精準(zhǔn)地獲得所需要統(tǒng)計(jì)的數(shù)據(jù)。
[0005]本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下:
[0006]一種大數(shù)據(jù)統(tǒng)計(jì)方法，包括:定時(shí)統(tǒng)計(jì)和動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)，所述定時(shí)統(tǒng)計(jì)和所述動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)同步執(zhí)行。
[0007]進(jìn)一步地，所述動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)包括:
[0008]中間件系統(tǒng)判斷當(dāng)前數(shù)據(jù)庫(kù)是否處于空閑狀態(tài)，若是，則發(fā)送調(diào)用閑時(shí)統(tǒng)計(jì)接口的信息給大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)；
[0009]大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)接收到所述調(diào)用閑時(shí)統(tǒng)計(jì)接口的信息，判斷當(dāng)前閑時(shí)統(tǒng)計(jì)接口是否可以被合法調(diào)用，若是，則啟動(dòng)閑時(shí)統(tǒng)計(jì)。
[0010]進(jìn)一步地，所述中間件系統(tǒng)判斷當(dāng)前數(shù)據(jù)庫(kù)處于空閑狀態(tài)具體為:所述中間件系統(tǒng)判斷在預(yù)設(shè)的觸發(fā)時(shí)間間隔內(nèi)所述中間件系統(tǒng)的并發(fā)訪問(wèn)量是否小于預(yù)設(shè)的觸發(fā)閾值，若是，則當(dāng)前數(shù)據(jù)庫(kù)處于空閑狀態(tài)；否則，當(dāng)前數(shù)據(jù)庫(kù)處于非空閑狀態(tài)。
[0011]進(jìn)一步地，所述中間件系統(tǒng)判斷在預(yù)設(shè)的觸發(fā)時(shí)間間隔內(nèi)所述中間件系統(tǒng)的并發(fā)訪問(wèn)量是否小于預(yù)設(shè)的觸發(fā)閾值之前，還包括:動(dòng)態(tài)預(yù)設(shè)觸發(fā)時(shí)間間隔和觸發(fā)閾值。
[0012]進(jìn)一步地，在所述中間件系統(tǒng)上動(dòng)態(tài)預(yù)設(shè)觸發(fā)時(shí)間間隔和觸發(fā)閾值。
[0013]進(jìn)一步地，在所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)上動(dòng)態(tài)預(yù)設(shè)觸發(fā)時(shí)間間隔和觸發(fā)閾值，所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)將所述動(dòng)態(tài)預(yù)設(shè)的觸發(fā)時(shí)間間隔和觸發(fā)閾值發(fā)送給所述中間件系統(tǒng)，所述中間件系統(tǒng)接收所述動(dòng)態(tài)預(yù)設(shè)的觸發(fā)時(shí)間間隔和觸發(fā)閾值。
[0014]進(jìn)一步地，所述在所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)上動(dòng)態(tài)預(yù)設(shè)觸發(fā)時(shí)間間隔和觸發(fā)閾值，所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)將所述動(dòng)態(tài)預(yù)設(shè)的觸發(fā)時(shí)間間隔和觸發(fā)閾值發(fā)送給所述中間件系統(tǒng)，所述中間件系統(tǒng)接收所述動(dòng)態(tài)預(yù)設(shè)的觸發(fā)時(shí)間間隔和觸發(fā)閾值，具體為:在所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)的控制頁(yè)面上動(dòng)態(tài)預(yù)設(shè)觸發(fā)時(shí)間間隔和觸發(fā)閾值，所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)將所述動(dòng)態(tài)預(yù)設(shè)的觸發(fā)時(shí)間間隔和觸發(fā)閾值以http協(xié)議發(fā)送給所述中間件系統(tǒng)，所述中間件系統(tǒng)接收所述動(dòng)態(tài)預(yù)設(shè)的觸發(fā)時(shí)間間隔和觸發(fā)閾值。
[0015]進(jìn)一步地，所述定時(shí)統(tǒng)計(jì)包括:
[0016]在所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)的管理頁(yè)面上設(shè)置定時(shí)統(tǒng)計(jì)的執(zhí)行頻率；
[0017]所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)按照所述執(zhí)行頻率啟動(dòng)定時(shí)統(tǒng)計(jì)。
[0018]一種用于大數(shù)據(jù)統(tǒng)計(jì)的系統(tǒng)，包括中間件系統(tǒng)和大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)，所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)執(zhí)行上述一種大數(shù)據(jù)統(tǒng)計(jì)方法中所述的定時(shí)統(tǒng)計(jì)，所述中間件系統(tǒng)和所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)共同執(zhí)行上述一種大數(shù)據(jù)統(tǒng)計(jì)方法中所述的動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)，所述定時(shí)統(tǒng)計(jì)和所述動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)同步執(zhí)行。
[0019]本發(fā)明提供了一種大數(shù)據(jù)統(tǒng)計(jì)方法及用于大數(shù)據(jù)統(tǒng)計(jì)的系統(tǒng)，所述方法包括定時(shí)統(tǒng)計(jì)和動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)，所述定時(shí)統(tǒng)計(jì)和所述動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)同步執(zhí)行。本發(fā)明將動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)和定時(shí)統(tǒng)計(jì)相結(jié)合，動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)歸檔的數(shù)據(jù)可使在進(jìn)行海量數(shù)據(jù)統(tǒng)計(jì)分析時(shí)能夠既快速又精確的獲得所需要的統(tǒng)計(jì)數(shù)據(jù)，當(dāng)動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)出現(xiàn)故障時(shí)，定時(shí)統(tǒng)計(jì)歸檔的數(shù)據(jù)可為海量數(shù)據(jù)的統(tǒng)計(jì)分析提供統(tǒng)計(jì)基礎(chǔ)，保證能夠快速獲得所需要的統(tǒng)計(jì)數(shù)據(jù)。
【附圖說(shuō)明】
[0020]圖1是本發(fā)明一種大數(shù)據(jù)統(tǒng)計(jì)方法的流程示意圖；
[0021]圖2是本發(fā)明一種大數(shù)據(jù)統(tǒng)計(jì)方法中動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)的一個(gè)優(yōu)選實(shí)施例的流程圖；
[0022]圖3是本發(fā)明一種用于大數(shù)據(jù)統(tǒng)計(jì)的系統(tǒng)執(zhí)行動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)的一個(gè)優(yōu)選實(shí)施例的流程圖；
[0023]本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做進(jìn)一步說(shuō)明。
【具體實(shí)施方式】
[0024]為使本發(fā)明解決的技術(shù)問(wèn)題、采用的技術(shù)方案和達(dá)到的技術(shù)效果更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施例的技術(shù)方案作進(jìn)一步的詳細(xì)描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0025]實(shí)施例一
[0026]參見圖1，圖1是本發(fā)明一種大數(shù)據(jù)統(tǒng)計(jì)方法的流程示意圖。
[0027]一種大數(shù)據(jù)統(tǒng)計(jì)方法，包括:定時(shí)統(tǒng)計(jì)和動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)，所述定時(shí)統(tǒng)計(jì)和所述動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)同步執(zhí)行。
[0028]本發(fā)明將動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)和定時(shí)統(tǒng)計(jì)相結(jié)合，雙重保險(xiǎn)的機(jī)制為快速精確地統(tǒng)計(jì)分析海量數(shù)據(jù)提供穩(wěn)定可靠的數(shù)據(jù)基礎(chǔ)。
[0029]進(jìn)一步地，所述動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)包括:
[0030]中間件系統(tǒng)判斷當(dāng)前數(shù)據(jù)庫(kù)是否處于空閑狀態(tài)，若是，則發(fā)送調(diào)用閑時(shí)統(tǒng)計(jì)接口的信息給大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)；
[0031]大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)接收到所述調(diào)用閑時(shí)統(tǒng)計(jì)接口的信息，判斷當(dāng)前閑時(shí)統(tǒng)計(jì)接口是否可以被合法調(diào)用，若是，則啟動(dòng)閑時(shí)統(tǒng)計(jì)。
[0032]本發(fā)明動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)只要數(shù)據(jù)庫(kù)處于空閑狀態(tài)，便及時(shí)對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行整理歸檔，為海量數(shù)據(jù)的統(tǒng)計(jì)分析提供最新最精準(zhǔn)的歸檔數(shù)據(jù)，在此最新最精準(zhǔn)的歸檔數(shù)據(jù)基礎(chǔ)之上進(jìn)行海量數(shù)據(jù)統(tǒng)計(jì)分析時(shí)，能夠既快速又精確的獲得所需要的統(tǒng)計(jì)數(shù)據(jù)。
[0033]進(jìn)一步地，所述定時(shí)統(tǒng)計(jì)包括:
[0034]在所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)的管理頁(yè)面上設(shè)置定時(shí)統(tǒng)計(jì)的執(zhí)行頻率；
[0035]所述大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)按照所述執(zhí)行頻率啟動(dòng)定時(shí)統(tǒng)計(jì)。
[0036]本發(fā)明定時(shí)統(tǒng)計(jì)當(dāng)動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)出現(xiàn)故障時(shí)定時(shí)統(tǒng)計(jì)歸檔的數(shù)據(jù)可為海量數(shù)據(jù)的統(tǒng)計(jì)分析提供數(shù)據(jù)基礎(chǔ)，保證能夠快速獲得所需要的統(tǒng)計(jì)數(shù)據(jù)，而不至于當(dāng)動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)出現(xiàn)故障時(shí)，導(dǎo)致系統(tǒng)崩潰，不能返回統(tǒng)計(jì)結(jié)果。
[0037]實(shí)施例二
[0038]參加圖2，圖2是本發(fā)明一種大數(shù)據(jù)統(tǒng)計(jì)方法中動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)的一個(gè)優(yōu)選實(shí)施例的流程圖。
[0039]一種動(dòng)態(tài)閑時(shí)統(tǒng)計(jì)方法包括:
[0040]S11、動(dòng)態(tài)預(yù)設(shè)觸發(fā)時(shí)間間隔和觸發(fā)閾值。
[0041]步驟SlOl中，可直接在中間件系統(tǒng)上動(dòng)態(tài)預(yù)設(shè)觸發(fā)時(shí)間間隔和觸發(fā)閾值；或者，在大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)上動(dòng)態(tài)預(yù)設(shè)觸發(fā)時(shí)間間隔和觸發(fā)閾值，并將所述動(dòng)態(tài)預(yù)設(shè)的觸發(fā)時(shí)間間隔和觸發(fā)閾值發(fā)送給所述中間件系統(tǒng)。
[0042]在大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)上動(dòng)態(tài)預(yù)設(shè)觸發(fā)時(shí)間間隔和觸發(fā)閾值的方式有多種，作為一個(gè)實(shí)施例，在大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)的控制頁(yè)面上動(dòng)態(tài)預(yù)設(shè)觸發(fā)時(shí)間間隔和觸發(fā)閾值，大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)將所述動(dòng)態(tài)預(yù)設(shè)的觸發(fā)時(shí)間間隔和觸發(fā)閾值以http協(xié)議發(fā)送給中間件系統(tǒng)，中間件系統(tǒng)接收所述動(dòng)態(tài)預(yù)設(shè)的觸發(fā)時(shí)間間隔和觸發(fā)閾值以使用該觸發(fā)時(shí)間間隔和觸發(fā)閾值進(jìn)行后面步驟的對(duì)比。
[0043]S102、中間件系統(tǒng)判斷在預(yù)設(shè)的觸發(fā)時(shí)間間隔內(nèi)所述中間件系統(tǒng)的并發(fā)訪問(wèn)量是否小于預(yù)設(shè)的觸發(fā)閾值。
[0044]步驟S102為中間件系統(tǒng)判斷當(dāng)前數(shù)據(jù)庫(kù)是否處于空閑狀態(tài)的一種具體方式，中間件系統(tǒng)判斷當(dāng)前數(shù)據(jù)庫(kù)是否處于空閑狀態(tài)還可以有別的實(shí)現(xiàn)方式，本發(fā)明對(duì)中間件系統(tǒng)判斷當(dāng)前數(shù)據(jù)庫(kù)是否處于空閑狀態(tài)的方式不作限制。本實(shí)施例中，中間件系統(tǒng)判斷在預(yù)設(shè)的觸發(fā)時(shí)間間隔內(nèi)所述中間件系統(tǒng)的并發(fā)訪問(wèn)量是否小于預(yù)設(shè)的觸發(fā)閾值，若是，則當(dāng)前數(shù)據(jù)庫(kù)處于空閑狀態(tài)；否則，當(dāng)前數(shù)據(jù)庫(kù)處于非空閑狀態(tài)。
[0045]S103、若當(dāng)前數(shù)據(jù)庫(kù)處于空閑狀態(tài)，則中間件系統(tǒng)發(fā)送調(diào)用閑時(shí)統(tǒng)計(jì)接口的信息給大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)。
[0046]S104、大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)接收所述調(diào)用閑時(shí)統(tǒng)計(jì)接口的信息。
[0047]步驟S104中，大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)接收所述調(diào)用閑時(shí)統(tǒng)計(jì)接口的信息，大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)進(jìn)入閑時(shí)統(tǒng)計(jì)準(zhǔn)備階段。
[0048]S105、大數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)判斷當(dāng)前閑時(shí)統(tǒng)計(jì)接口是否可以被合法調(diào)用。
[0049