一種基于采集數(shù)據(jù)統(tǒng)計(jì)以及前臺(tái)展現(xiàn)的方法
【專(zhuān)利摘要】本發(fā)明提供一種基于采集數(shù)據(jù)統(tǒng)計(jì)以及前臺(tái)展現(xiàn)的方法，該技術(shù)適用于后臺(tái)數(shù)據(jù)的頁(yè)面展現(xiàn)。目前，在大數(shù)據(jù)、云計(jì)算的廣泛應(yīng)用下，服務(wù)器采集的數(shù)據(jù)都需要對(duì)各種類(lèi)型、區(qū)域、行業(yè)、時(shí)間等眾多條件進(jìn)行種種分類(lèi)，加大了對(duì)數(shù)據(jù)庫(kù)的查詢(xún)量，如有更加模糊的查詢(xún)條件會(huì)對(duì)數(shù)據(jù)庫(kù)造成無(wú)法估計(jì)的影響，這就需要大量的人工和硬件配置來(lái)支撐該操作。通過(guò)該數(shù)據(jù)統(tǒng)計(jì)的方法，可減輕數(shù)據(jù)庫(kù)的統(tǒng)計(jì)壓力以及人工的工作量，又可避免因操作問(wèn)題造成對(duì)工作以及硬件的影響。
【專(zhuān)利說(shuō)明】一種基于采集數(shù)據(jù)統(tǒng)計(jì)以及前臺(tái)展現(xiàn)的方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)應(yīng)用領(lǐng)域，具體地說(shuō)是一種基于采集數(shù)據(jù)統(tǒng)計(jì)以及前臺(tái)展現(xiàn)的方法。本方案適用于對(duì)數(shù)據(jù)的統(tǒng)計(jì)、分析和對(duì)客戶的展現(xiàn)，涉及到Oracle數(shù)據(jù)庫(kù)。

【背景技術(shù)】
[0002]隨著數(shù)據(jù)量的增長(zhǎng)，對(duì)數(shù)據(jù)的整理、查詢(xún)、統(tǒng)計(jì)分析的需求增加，大數(shù)據(jù)應(yīng)用的發(fā)展，數(shù)據(jù)庫(kù)面臨的壓力和挑戰(zhàn)與日俱增。隨之而來(lái)的是，如何讓所管理的數(shù)據(jù)庫(kù)能承受因需求增長(zhǎng)而帶來(lái)的壓力，以及如何能更好地管理數(shù)據(jù)庫(kù)，更好地優(yōu)化等等這方面工作已經(jīng)成為大數(shù)據(jù)中最棘手的問(wèn)題。以O(shè)racle數(shù)據(jù)庫(kù)為例，如今面臨CPU瓶頸、較小的內(nèi)存、I/O吞吐能力差、時(shí)常短暫的性能下降等問(wèn)題，在程序方面，應(yīng)用程序和頁(yè)面實(shí)時(shí)展示方面都面臨瓶頸。在此背景之下，該方案能夠解決針對(duì)數(shù)據(jù)量大、分項(xiàng)種類(lèi)多的統(tǒng)計(jì)以及展現(xiàn)時(shí)間長(zhǎng)、速度慢的問(wèn)題。


【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是提供一種基于采集數(shù)據(jù)統(tǒng)計(jì)以及前臺(tái)展現(xiàn)的方法。
[0004]本發(fā)明的目的是按以下方式實(shí)現(xiàn)的，數(shù)據(jù)采集主要是通過(guò)對(duì)數(shù)據(jù)庫(kù)配置后，對(duì)各個(gè)網(wǎng)站的采集程序進(jìn)行定時(shí)操作，包括對(duì)軟件登錄、軟件中各個(gè)模塊的數(shù)據(jù)采集并清洗，程序?qū)?shù)據(jù)采集清洗后，數(shù)據(jù)庫(kù)定時(shí)任務(wù)會(huì)按時(shí)將數(shù)據(jù)進(jìn)行分類(lèi)匯總并生成相關(guān)表，確保在統(tǒng)計(jì)查詢(xún)時(shí)能夠及時(shí)響應(yīng)頁(yè)面并給與反饋，提供詳細(xì)的數(shù)據(jù)分析報(bào)表和圖表，具體步驟如下:
O配置數(shù)據(jù)庫(kù):通過(guò)配置jdbc連接數(shù)據(jù)庫(kù)，創(chuàng)建索引專(zhuān)用的表空間，根據(jù)系統(tǒng)用戶數(shù)量、用戶并發(fā)量，調(diào)整表空間大小、數(shù)據(jù)庫(kù)processes和sess1ns值，同時(shí)需注意表空間不宜一次創(chuàng)建過(guò)大，可根據(jù)磁盤(pán)可用空間與數(shù)據(jù)量增長(zhǎng)速度進(jìn)行估算，設(shè)置自動(dòng)擴(kuò)展空間；
2)創(chuàng)建字段索引:根據(jù)查詢(xún)、統(tǒng)計(jì)條件創(chuàng)建字段索引，并將索引創(chuàng)建在專(zhuān)用表空間中；
3)數(shù)據(jù)采集:通過(guò)手工方式或定時(shí)任務(wù)TimeTask來(lái)進(jìn)行對(duì)各個(gè)網(wǎng)站的信息進(jìn)行數(shù)據(jù)采集，并將采集的數(shù)據(jù)保存在Temp臨時(shí)表中；
4)數(shù)據(jù)清洗:使用SQL腳本對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，主要包括格式、冗余數(shù)據(jù)、異常數(shù)據(jù)的整理，并將整理后的數(shù)據(jù)進(jìn)行分類(lèi)儲(chǔ)存；
5)頁(yè)面展示:前臺(tái)頁(yè)面可通過(guò)查詢(xún)功能對(duì)應(yīng)的表進(jìn)行快速的展現(xiàn)，解決了報(bào)表生成時(shí)間長(zhǎng)、速度慢，同時(shí)對(duì)數(shù)據(jù)庫(kù)的I/O壓力有所減輕。
[0005]本發(fā)明的有益效果是:該技術(shù)適用于后臺(tái)數(shù)據(jù)的頁(yè)面展現(xiàn)。目前，在大數(shù)據(jù)、云計(jì)算的廣泛應(yīng)用下，服務(wù)器采集的數(shù)據(jù)都需要對(duì)各種類(lèi)型、區(qū)域、行業(yè)、時(shí)間等眾多條件進(jìn)行種種分類(lèi)，加大了對(duì)數(shù)據(jù)庫(kù)的查詢(xún)量，如有更加模糊的查詢(xún)條件會(huì)對(duì)數(shù)據(jù)庫(kù)造成無(wú)法估計(jì)的影響，這就需要大量的人工和硬件配置來(lái)支撐該操作。通過(guò)該數(shù)據(jù)統(tǒng)計(jì)的方法，可減輕數(shù)據(jù)庫(kù)的統(tǒng)計(jì)壓力以及人工的工作量，又可避免因操作問(wèn)題造成對(duì)工作以及硬件的影響。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0006]圖1是本發(fā)明的原理圖；
圖2是系統(tǒng)結(jié)構(gòu)不意圖；
圖3是系統(tǒng)流程圖。

【具體實(shí)施方式】
[0007]參照說(shuō)明書(shū)附圖對(duì)本發(fā)明的方法作以下詳細(xì)地說(shuō)明。
[0008]數(shù)據(jù)采集主要是通過(guò)對(duì)數(shù)據(jù)庫(kù)配置后，對(duì)各個(gè)網(wǎng)站的采集程序進(jìn)行定時(shí)操作，包括對(duì)軟件登錄、軟件中各個(gè)模塊的數(shù)據(jù)采集并清洗等。
[0009]程序?qū)?shù)據(jù)采集清洗后，數(shù)據(jù)庫(kù)定時(shí)任務(wù)會(huì)按時(shí)將數(shù)據(jù)進(jìn)行分類(lèi)匯總并生成相關(guān)表，確保在統(tǒng)計(jì)查詢(xún)時(shí)能夠及時(shí)響應(yīng)頁(yè)面并給與反饋，提供詳細(xì)的數(shù)據(jù)分析報(bào)表和圖表。具體步驟如下:
1)配置數(shù)據(jù)庫(kù):通過(guò)配置jdbc連接數(shù)據(jù)庫(kù)，創(chuàng)建索引專(zhuān)用的表空間，調(diào)整表空間大小、數(shù)據(jù)庫(kù)processes和sess1ns值(根據(jù)系統(tǒng)用戶數(shù)量、用戶并發(fā)量)，同時(shí)需注意表空間不宜一次創(chuàng)建過(guò)大，可根據(jù)磁盤(pán)可用空間與數(shù)據(jù)量增長(zhǎng)速度進(jìn)行估算，設(shè)置自動(dòng)擴(kuò)展空間；
2)創(chuàng)建字段索引:根據(jù)查詢(xún)、統(tǒng)計(jì)條件創(chuàng)建字段索引，并將索引創(chuàng)建在專(zhuān)用表空間中；
3)數(shù)據(jù)采集:通過(guò)手工方式或定時(shí)任務(wù)TimeTask來(lái)進(jìn)行對(duì)各個(gè)網(wǎng)站的信息進(jìn)行數(shù)據(jù)采集，并將采集的數(shù)據(jù)保存在Temp臨時(shí)表中；
4)數(shù)據(jù)清洗:使用SQL腳本對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，主要包括格式、冗余數(shù)據(jù)、異常數(shù)據(jù)等整理，并將整理后的數(shù)據(jù)進(jìn)行分類(lèi)儲(chǔ)存；
5)頁(yè)面展示:前臺(tái)頁(yè)面可通過(guò)查詢(xún)功能對(duì)應(yīng)的表進(jìn)行快速的展現(xiàn)，解決了報(bào)表生成時(shí)間長(zhǎng)、速度慢，同時(shí)對(duì)數(shù)據(jù)庫(kù)的I/O壓力有所減輕。
實(shí)施例
[0010]第一步，通過(guò)jdbc連接數(shù)據(jù)庫(kù)，配置數(shù)據(jù)庫(kù)相關(guān)參數(shù)、創(chuàng)建索引表空間。根據(jù)查詢(xún)、統(tǒng)計(jì)條件在相關(guān)表中建立字段索引。
[0011]第二步，通過(guò)采集系統(tǒng)對(duì)各個(gè)網(wǎng)站的信息進(jìn)行數(shù)據(jù)采集，并將采集后的數(shù)據(jù)通過(guò)jdbc連接存儲(chǔ)到數(shù)據(jù)庫(kù)臨時(shí)表中。
[0012]第三步，數(shù)據(jù)清洗程序?qū)Σ杉臄?shù)據(jù)進(jìn)行格式、異常、冗余等處理后進(jìn)行整理，將相關(guān)數(shù)據(jù)在數(shù)據(jù)庫(kù)中按照統(tǒng)計(jì)條件分類(lèi)生成表并保存，使用索引進(jìn)行相關(guān)統(tǒng)計(jì)和報(bào)表的生成。
[0013]第四步，前臺(tái)頁(yè)面可通過(guò)jdbc連接數(shù)據(jù)庫(kù)查詢(xún)相應(yīng)的表并進(jìn)行快速的展現(xiàn)，從而實(shí)現(xiàn)快速展現(xiàn)和統(tǒng)計(jì)。
[0014]除說(shuō)明書(shū)所述的技術(shù)特征外，均為本專(zhuān)業(yè)技術(shù)人員的已知技術(shù)。
【權(quán)利要求】
1.一種基于采集數(shù)據(jù)統(tǒng)計(jì)以及前臺(tái)展現(xiàn)的方法，其特征在于數(shù)據(jù)采集主要是通過(guò)對(duì)數(shù)據(jù)庫(kù)配置后，對(duì)各個(gè)網(wǎng)站的采集程序進(jìn)行定時(shí)操作，包括對(duì)軟件登錄、軟件中各個(gè)模塊的數(shù)據(jù)采集并清洗，程序?qū)?shù)據(jù)采集清洗后，數(shù)據(jù)庫(kù)定時(shí)任務(wù)會(huì)按時(shí)將數(shù)據(jù)進(jìn)行分類(lèi)匯總并生成相關(guān)表，確保在統(tǒng)計(jì)查詢(xún)時(shí)能夠及時(shí)響應(yīng)頁(yè)面并給與反饋，提供詳細(xì)的數(shù)據(jù)分析報(bào)表和圖表，具體步驟如下: O配置數(shù)據(jù)庫(kù):通過(guò)配置jdbc連接數(shù)據(jù)庫(kù)，創(chuàng)建索引專(zhuān)用的表空間，根據(jù)系統(tǒng)用戶數(shù)量、用戶并發(fā)量，調(diào)整表空間大小、數(shù)據(jù)庫(kù)processes和sess1ns值，同時(shí)需注意表空間不宜一次創(chuàng)建過(guò)大，可根據(jù)磁盤(pán)可用空間與數(shù)據(jù)量增長(zhǎng)速度進(jìn)行估算，設(shè)置自動(dòng)擴(kuò)展空間； 2)創(chuàng)建字段索引:根據(jù)查詢(xún)、統(tǒng)計(jì)條件創(chuàng)建字段索引，并將索引創(chuàng)建在專(zhuān)用表空間中； 3)數(shù)據(jù)采集:通過(guò)手工方式或定時(shí)任務(wù)TimeTask來(lái)進(jìn)行對(duì)各個(gè)網(wǎng)站的信息進(jìn)行數(shù)據(jù)采集，并將采集的數(shù)據(jù)保存在Temp臨時(shí)表中； 4)數(shù)據(jù)清洗:使用SQL腳本對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，主要包括格式、冗余數(shù)據(jù)、異常數(shù)據(jù)的整理，并將整理后的數(shù)據(jù)進(jìn)行分類(lèi)儲(chǔ)存； 5)頁(yè)面展示:前臺(tái)頁(yè)面可通過(guò)查詢(xún)功能對(duì)應(yīng)的表進(jìn)行快速的展現(xiàn)，解決了報(bào)表生成時(shí)間長(zhǎng)、速度慢，同時(shí)對(duì)數(shù)據(jù)庫(kù)的I/O壓力有所減輕。
【文檔編號(hào)】G06F17/30GK104361022SQ201410564773
【公開(kāi)日】2015年2月18日 申請(qǐng)日期:2014年10月22日 優(yōu)先權(quán)日:2014年10月22日
【發(fā)明者】何嘉, 王傳超, 徐宏偉 申請(qǐng)人:浪潮軟件集團(tuán)有限公司