一種端口掃描ip網(wǎng)址活躍度統(tǒng)計(jì)系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，更具體地，涉及一種端口掃描ip網(wǎng)址活躍度統(tǒng)計(jì)系統(tǒng)及方法，端口 ip地址訪問(wèn)活躍度的統(tǒng)計(jì)主要用以發(fā)現(xiàn)潛在用戶。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)的數(shù)量已近數(shù)以億計(jì)，龐大的信息、便捷的訪問(wèn)，人們習(xí)慣了從互聯(lián)網(wǎng)中搜索自己需要的資料。
[0003]對(duì)于企業(yè)網(wǎng)站來(lái)說(shuō)，最關(guān)心的是網(wǎng)站推廣效果、顧客轉(zhuǎn)化率。在關(guān)注訪問(wèn)量增長(zhǎng)的同時(shí)，網(wǎng)站的用戶行文指標(biāo)也是重要的參考數(shù)據(jù)。如果一個(gè)網(wǎng)站的獨(dú)立IP訪問(wèn)數(shù)量增長(zhǎng)很快，但回訪人數(shù)、停留時(shí)間、網(wǎng)頁(yè)瀏覽數(shù)都很低，則說(shuō)明網(wǎng)站雖然推廣力度很大，但網(wǎng)站本身對(duì)于用戶的黏著度不夠，留不住用戶。如果網(wǎng)站訪問(wèn)量增長(zhǎng)很快，但注冊(cè)用戶數(shù)量和銷售量并無(wú)相應(yīng)的增長(zhǎng)幅度，也說(shuō)明網(wǎng)站推廣或網(wǎng)站運(yùn)營(yíng)中存在一定的問(wèn)題，需要網(wǎng)站運(yùn)營(yíng)者找出不足。
[0004]雖然現(xiàn)在存在很多可以統(tǒng)計(jì)用戶訪問(wèn)量的軟件，但是這些軟件不足以滿足統(tǒng)計(jì)某一階段內(nèi)的用戶訪問(wèn)數(shù)量，以及趨勢(shì)圖。對(duì)這些都沒有一個(gè)完整的體現(xiàn)，無(wú)法概括整個(gè)網(wǎng)站運(yùn)營(yíng)的好壞，得益于長(zhǎng)時(shí)間的營(yíng)銷數(shù)據(jù)分析的幫助，本發(fā)明提出了一種活躍度分析方法，稱之為活躍度模型。

【發(fā)明內(nèi)容】

[0005]為解決上述現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明提出一種端口掃描IP網(wǎng)址活躍度統(tǒng)計(jì)方法和裝置，用于通過(guò)在端口掃描進(jìn)行IP網(wǎng)址的采集。
[0006]根據(jù)本發(fā)明一方面，提供了一種端口掃描IP網(wǎng)址活躍度統(tǒng)計(jì)系統(tǒng)，其包括:
[0007]IP網(wǎng)址采集模塊，其用于采集各端口的IP網(wǎng)址數(shù)據(jù)，并將采集到的IP網(wǎng)址數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)存儲(chǔ)服務(wù)器中；
[0008]數(shù)據(jù)預(yù)處理模塊，其用于從數(shù)據(jù)存儲(chǔ)服務(wù)器上讀取所述IP網(wǎng)址數(shù)據(jù)，并解析過(guò)濾得到HTTP協(xié)議數(shù)據(jù)，并從中解析出IP網(wǎng)址記錄，將其存儲(chǔ)至數(shù)據(jù)庫(kù)服務(wù)器中；
[0009]IP網(wǎng)址活躍度統(tǒng)計(jì)模塊，其用于從所述數(shù)據(jù)庫(kù)服務(wù)器中讀取IP網(wǎng)址記錄的詳細(xì)信息并進(jìn)行統(tǒng)計(jì)，在web頁(yè)面中展示IP網(wǎng)址記錄的統(tǒng)計(jì)結(jié)果。
[0010]其中，所述IP網(wǎng)址數(shù)據(jù)采集模塊包括:
[00?1 ]報(bào)文抓取模塊，其用于實(shí)現(xiàn)對(duì)開源庫(kù)1 i bpcap的封裝，調(diào)用1 i bpcap接口進(jìn)行網(wǎng)絡(luò)抓包，并將所抓取的網(wǎng)絡(luò)包存儲(chǔ)到存儲(chǔ)隊(duì)列中；
[0012]協(xié)議解析模塊，其從所述存儲(chǔ)隊(duì)列中讀取網(wǎng)絡(luò)包，并進(jìn)行協(xié)議分析，過(guò)濾出HTTP報(bào)文，進(jìn)而從所述HTTP報(bào)文中得到IP網(wǎng)絡(luò)地址。
[0013]其中，所述報(bào)文抓取模塊通過(guò)啟動(dòng)單線程將網(wǎng)絡(luò)包存儲(chǔ)至所述存儲(chǔ)隊(duì)列，抓包參數(shù)采用配置文件進(jìn)行配置;所述協(xié)議解析模塊通過(guò)開啟多線程從所述存儲(chǔ)隊(duì)列讀取網(wǎng)絡(luò)包，且所述存儲(chǔ)隊(duì)列通過(guò)讀寫加鎖方式進(jìn)行訪問(wèn)。
[0014]其中，所述統(tǒng)計(jì)結(jié)果包括IP網(wǎng)址記錄活躍度，且所述IP網(wǎng)址記錄活躍度倒序排序。
[0015]其中，所述IP網(wǎng)址活躍度統(tǒng)計(jì)系統(tǒng)采用分層結(jié)構(gòu)設(shè)計(jì)，且基于η層的J2EE架構(gòu)設(shè)計(jì)實(shí)現(xiàn)。
[0016]根據(jù)本發(fā)明另一方面，提供了一種端口掃描IP網(wǎng)址活躍度統(tǒng)計(jì)方法，其包括:
[0017]IP網(wǎng)址采集步驟，用于采集各端口的IP網(wǎng)址數(shù)據(jù)，并將采集到的IP網(wǎng)址數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)存儲(chǔ)服務(wù)器中；
[0018]數(shù)據(jù)預(yù)處理步驟，用于從數(shù)據(jù)存儲(chǔ)服務(wù)器上讀取所述IP網(wǎng)址數(shù)據(jù)，并解析過(guò)濾得到HTTP協(xié)議數(shù)據(jù)，并從中解析出IP網(wǎng)址記錄，將其存儲(chǔ)至數(shù)據(jù)庫(kù)服務(wù)器中；
[0019]IP網(wǎng)址活躍度統(tǒng)計(jì)步驟，用于從所述數(shù)據(jù)庫(kù)服務(wù)器中讀取IP網(wǎng)址記錄的詳細(xì)信息并進(jìn)行統(tǒng)計(jì)，在web頁(yè)面中展示IP網(wǎng)址記錄的統(tǒng)計(jì)結(jié)果。
[0020]其中，所述IP網(wǎng)址數(shù)據(jù)采集步驟具體包括:
[0021]報(bào)文抓取步驟，用于封裝開源庫(kù)libpcap，調(diào)用libpcap接口進(jìn)行網(wǎng)絡(luò)抓包，并將所抓取的網(wǎng)絡(luò)包存儲(chǔ)到存儲(chǔ)隊(duì)列中；
[0022]協(xié)議解析步驟，用于從所述存儲(chǔ)隊(duì)列中讀取網(wǎng)絡(luò)包，并進(jìn)行協(xié)議分析，過(guò)濾出HTTP報(bào)文，進(jìn)而從所述HTTP報(bào)文中得到IP網(wǎng)絡(luò)地址。
[0023]其中，所述報(bào)文抓取步驟中通過(guò)啟動(dòng)單線程將網(wǎng)絡(luò)包存儲(chǔ)至所述存儲(chǔ)隊(duì)列，抓包參數(shù)采用配置文件進(jìn)行配置;所述協(xié)議解析步驟中通過(guò)開啟多線程從所述存儲(chǔ)隊(duì)列讀取網(wǎng)絡(luò)包，且所述存儲(chǔ)隊(duì)列通過(guò)讀寫加鎖方式進(jìn)行訪問(wèn)。
[0024]其中，所述統(tǒng)計(jì)結(jié)果包括IP網(wǎng)址記錄活躍度，且所述IP網(wǎng)址記錄活躍度倒序排序。
[0025]所述方法還包括:根據(jù)所述統(tǒng)計(jì)結(jié)果將網(wǎng)站會(huì)員進(jìn)行等級(jí)劃分。
[0026]本發(fā)明提出的上述方案通過(guò)將IP網(wǎng)址采集系統(tǒng)、預(yù)處理服務(wù)器、數(shù)據(jù)存儲(chǔ)服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器模塊結(jié)合，實(shí)現(xiàn)實(shí)時(shí)、高效和準(zhǔn)確地定位IP地址活躍度數(shù)功能，通過(guò)排名發(fā)現(xiàn)潛在用戶。通過(guò)本發(fā)明提出的上述方案，可以分析概括整個(gè)網(wǎng)站運(yùn)營(yíng)的好壞，發(fā)現(xiàn)潛在用戶群，防止用戶流失。
【附圖說(shuō)明】
[0027]圖1為本發(fā)明中端口掃描IP網(wǎng)址活躍度統(tǒng)計(jì)系統(tǒng)總架構(gòu)示意圖；
[0028]圖2A為本發(fā)明中IP網(wǎng)址活躍度統(tǒng)計(jì)系統(tǒng)的設(shè)計(jì)架構(gòu)示意圖；
[0029]圖2B為本發(fā)明中IP網(wǎng)址活躍度統(tǒng)計(jì)系統(tǒng)的實(shí)現(xiàn)架構(gòu)示意圖；
[0030]圖3為本發(fā)明中端口掃描IP網(wǎng)址活躍度統(tǒng)計(jì)方法流程圖。
圖4為本發(fā)明中IP網(wǎng)址系統(tǒng)采集IP網(wǎng)址數(shù)據(jù)的流程圖。
【具體實(shí)施方式】
[0031]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。根據(jù)本發(fā)明的實(shí)施例程，能夠清晰展示該發(fā)明下的端口掃描IP網(wǎng)址活躍度統(tǒng)計(jì)功能。
[0032]本發(fā)明提出了一種端口掃描IP網(wǎng)址活躍度統(tǒng)計(jì)系統(tǒng)。該系統(tǒng)一方面基于IP網(wǎng)址數(shù)據(jù)采集、解析和存儲(chǔ)技術(shù)，不停獲取端口掃描IP網(wǎng)址資源;另一方面通過(guò)IP網(wǎng)址將IP網(wǎng)址活躍度進(jìn)行統(tǒng)計(jì)，并以web頁(yè)面展示。
[0033]如圖1所示，本發(fā)明提出的端口掃描IP網(wǎng)址活躍度統(tǒng)計(jì)系統(tǒng)，包括:
[0034]IP網(wǎng)址采集模塊，其用于實(shí)現(xiàn)采集局域網(wǎng)內(nèi)各端口的IP網(wǎng)址數(shù)據(jù)，并將采集到的IP網(wǎng)址數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)存儲(chǔ)服務(wù)器中；
[0035]數(shù)據(jù)預(yù)處理模塊，其用于從數(shù)據(jù)存儲(chǔ)服務(wù)器上讀取所述IP網(wǎng)址數(shù)據(jù)，并解析過(guò)濾得到HTTP協(xié)議數(shù)據(jù)，并從中解析出IP網(wǎng)址記錄，將其存儲(chǔ)至數(shù)據(jù)庫(kù)服務(wù)器中；
[0036]IP網(wǎng)址活躍度統(tǒng)計(jì)模塊，其用于從所述數(shù)據(jù)庫(kù)服務(wù)器中讀取IP網(wǎng)址記錄的詳細(xì)信息并進(jìn)行統(tǒng)計(jì)，在web頁(yè)面中展示IP網(wǎng)址記錄的統(tǒng)計(jì)結(jié)果。
[0037]其中，數(shù)據(jù)存儲(chǔ)服務(wù)器，用于存儲(chǔ)IP網(wǎng)址采集系統(tǒng)采集到的IP網(wǎng)址數(shù)據(jù);數(shù)據(jù)庫(kù)服務(wù)器，其用于存儲(chǔ)IP網(wǎng)址記錄的詳細(xì)信息，供web頁(yè)面展示和定期更新IP網(wǎng)址記錄的詳細(xì)信息。其中，所述IP網(wǎng)址數(shù)據(jù)采集模塊包括:
[0038]報(bào)文抓取模塊packet_capture，其用于實(shí)現(xiàn)對(duì)開源庫(kù)1 ibpcap的封裝，調(diào)用libpcap接口進(jìn)行網(wǎng)絡(luò)抓包。由于抓包速度很快，因此可以采用單線程抓包存儲(chǔ)到隊(duì)列NetWork Packet中。抓包參數(shù)的設(shè)置采用配置文件，可以提高系統(tǒng)的靈活性。
[0039]協(xié)議解析模塊Http_resolve，其通過(guò)開啟多線程從隊(duì)列NetWork Packet中讀取網(wǎng)絡(luò)包，并進(jìn)行協(xié)議分析，過(guò)濾出HTTP報(bào)文，進(jìn)而從所述HTTP報(bào)文中獲取IP網(wǎng)絡(luò)地址。其中，隊(duì)列NetWork Packet必須加鎖，因?yàn)閳?bào)文抓取模塊packet_capture和多線程的協(xié)議解析模塊Http_resolve需要互斥的訪問(wèn)隊(duì)列NetWork Packet，加鎖方式則采用經(jīng)典的讀寫鎖技術(shù)，這樣可以多個(gè)Http_resolve線程之間并發(fā)讀取隊(duì)列NetWork Packet，以提高處理性能。解析后的http報(bào)文存儲(chǔ)到鏈?zhǔn)疥?duì)列中。
[0040]對(duì)于IP網(wǎng)址的獲取，是通過(guò)采用多個(gè)終端來(lái)進(jìn)行數(shù)據(jù)采集，最后匯集到主服務(wù)器統(tǒng)一處理的思想，通過(guò)多個(gè)終端設(shè)備來(lái)采集IP地址相關(guān)信息，然后存儲(chǔ)到數(shù)據(jù)存儲(chǔ)服務(wù)器中，數(shù)據(jù)存儲(chǔ)服務(wù)器對(duì)收集的所有數(shù)據(jù)進(jìn)行比較與篩選，檢索異常記錄，做可行性分析。[0041 ]按照以上思路，將報(bào)文抓取、協(xié)議解析、數(shù)據(jù)分析與統(tǒng)計(jì)、數(shù)據(jù)存儲(chǔ)分解成模塊，每類模塊可以并發(fā)執(zhí)行，以提高系統(tǒng)的并發(fā)度。
[0042]基于網(wǎng)絡(luò)運(yùn)營(yíng)商的優(yōu)勢(shì)，將IP網(wǎng)址采集系統(tǒng)部署在大型ISP互聯(lián)口上，這樣就可以采集到海量數(shù)據(jù)，為IP網(wǎng)址活躍度統(tǒng)計(jì)提供給了充足的IP網(wǎng)址數(shù)據(jù)量。另外，IP網(wǎng)址數(shù)據(jù)采集技術(shù)采用高性能刀片服務(wù)器大規(guī)模采集網(wǎng)絡(luò)數(shù)據(jù)，例如我們可以將IP網(wǎng)址采集程序部署在16個(gè)高性能刀片中，每個(gè)刀片獨(dú)立采集數(shù)據(jù)，這樣可以避免刀片間系統(tǒng)異常的相互干擾，提高了采集系統(tǒng)的穩(wěn)定性和安全性。16臺(tái)刀片采集的數(shù)據(jù)匯總到數(shù)據(jù)預(yù)處理服務(wù)器上，由數(shù)據(jù)預(yù)處理模塊統(tǒng)一處理采集到的網(wǎng)絡(luò)包，采集刀片和數(shù)據(jù)預(yù)處理服務(wù)器的網(wǎng)卡至少是千兆網(wǎng)卡，以提高數(shù)據(jù)傳輸速率和處理效率。
[0043]本發(fā)明提出的IP網(wǎng)址活躍度統(tǒng)計(jì)系統(tǒng)，采用