專利名稱：基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及性能測試腳本生成領(lǐng)域，尤其涉及一種基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)及方法。
背景技術(shù)：
目前web網(wǎng)站多級頁面的壓力測試腳本，多為人工針對主要測試頁面書寫或者錄制的，這種腳本生成的周期長，可能會不準(zhǔn)確，并且只是覆蓋一部分頁面；而面對類似門戶網(wǎng)站的多級復(fù)雜頁面的性能測試時，很難快速準(zhǔn)確的由人工書寫或錄制完備的各級頁面的訪問測試腳本。網(wǎng)絡(luò)爬蟲工具是一種專用于頁面之間的層級關(guān)系的工具，雖然這種工具能夠初步獲得復(fù)雜網(wǎng)站上下層級頁面的關(guān)系，但是不能作為性能測試的工具。綜上所述，現(xiàn)有技術(shù)中的無法實現(xiàn)對網(wǎng)頁訪問性能的進(jìn)行完整測試。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)及方法，以解決對網(wǎng)頁訪問性能能夠進(jìn)行完整測試。為解決上述技術(shù)問題，本發(fā)明提供了一種基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)，其特征在于，包括爬蟲日志分析模塊、鏈接邏輯展示模塊及性能測試腳本生成模塊；其中，爬蟲日志分析模塊，用于將網(wǎng)絡(luò)爬蟲日志對訪問的鏈接和該訪問涉及的鏈接判斷出的層級關(guān)系生成相應(yīng)的樹狀結(jié)構(gòu)圖，并將該樹狀結(jié)構(gòu)圖的可擴(kuò)展標(biāo)記語言文件發(fā)送給所述鏈接邏輯展示模塊；鏈接邏輯展示模塊，用于接收所述爬蟲日志分析模塊發(fā)送來的該樹狀結(jié)構(gòu)圖的可擴(kuò)展標(biāo)記語言文件，并邏輯生成對應(yīng)的展示頁面的可擴(kuò)展標(biāo)記語言文件，將該展示頁面的可擴(kuò)展標(biāo)記語言文件發(fā)送給所述性能測試腳本生成模塊；性能測試腳本生成模塊，用于接收所述展示頁面的可擴(kuò)展標(biāo)記語言文件，并根據(jù)該訪問的鏈接和該訪問涉及的鏈接生成性能測試腳本。進(jìn)一步地，其中，所述鏈接邏輯展示模塊中還設(shè)有人工干預(yù)接口，用于接收用戶設(shè)置的所述樹狀結(jié)構(gòu)圖的訪問權(quán)限，并根據(jù)該訪問權(quán)限調(diào)整邏輯生成對應(yīng)的展示頁面的可擴(kuò)展標(biāo)記語言文件，將含有人工干預(yù)參數(shù)的展示頁面的可擴(kuò)展標(biāo)記語言文件發(fā)送給所述性能測試腳本生成模塊。進(jìn)一步地，其中，所述網(wǎng)絡(luò)爬蟲日志為HERITRIX日志(Heritrix是一個爬蟲框架， 可加如入一些可互換的組件)進(jìn)一步地，其中，所述性能測試腳本的類型為Jmeter類型(JMeter是Apache組織的開放源代碼項目，它是功能和性能測試的工具)或LoadRurmer類型(LoadRurmer是一種預(yù)測系統(tǒng)行為和性能的負(fù)載測試工具)。
進(jìn)一步地，其中，所述樹狀結(jié)構(gòu)圖是以頁面的形式展示所述該訪問的鏈接和該訪問涉及的鏈接結(jié)構(gòu)，其后臺對應(yīng)可擴(kuò)展標(biāo)記語言文件。為解決上述技術(shù)問題，本發(fā)明還提供了一種基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成方法，其特征在于，包括將網(wǎng)絡(luò)爬蟲日志對訪問的鏈接和該訪問涉及的鏈接判斷出的層級關(guān)系生成相應(yīng)的樹狀結(jié)構(gòu)圖；接收該樹狀結(jié)構(gòu)圖的可擴(kuò)展標(biāo)記語言文件，并邏輯生成對應(yīng)的展示頁面的可擴(kuò)展標(biāo)記語言文件；接收所述展示頁面的可擴(kuò)展標(biāo)記語言文件，并根據(jù)該訪問的鏈接和該訪問涉及的鏈接生成性能測試腳本。進(jìn)一步地，其中，所述接收樹狀結(jié)構(gòu)圖的可擴(kuò)展標(biāo)記語言文件同時，通過接收用戶設(shè)置的所述樹狀結(jié)構(gòu)圖的訪問權(quán)限，并根據(jù)該訪問權(quán)限調(diào)整邏輯生成對應(yīng)的展示頁面的可擴(kuò)展標(biāo)記語言文件，最終生成含有人工干預(yù)參數(shù)的展示頁面的可擴(kuò)展標(biāo)記語言文件。進(jìn)一步地，其中，所述網(wǎng)絡(luò)爬蟲日志為HERITRIX日志。進(jìn)一步地，其中，所述性能測試腳本的類型為Jmeter類型或LoadRurmer類型。進(jìn)一步地，其中，所述樹狀結(jié)構(gòu)圖是以頁面的形式展示所述該訪問的鏈接和該訪問涉及的鏈接結(jié)構(gòu)，其后臺對應(yīng)可擴(kuò)展標(biāo)記語言文件。與現(xiàn)有技術(shù)相比，本發(fā)明主要解決了對網(wǎng)頁訪問性能能夠進(jìn)行完整測試；同時還能夠分析出目標(biāo)網(wǎng)站的層級關(guān)系，形成清晰的樹狀結(jié)構(gòu)圖，頁面層次更加清晰明確；提供用戶設(shè)置接口，用戶可以調(diào)整性能測試腳本的邏輯；以及能夠自動形成可以供性能測試工具使用的性能測試腳本，大大提高了編寫性能測試腳本的效率和準(zhǔn)確性。


圖1為本發(fā)明實施例一所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)結(jié)構(gòu)圖。圖2為本發(fā)明實施例二所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成方法流程圖。圖3為本發(fā)明實施例一所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)帶有人工干預(yù)接口的結(jié)構(gòu)圖。圖4為本發(fā)明實施例一所述的樹狀結(jié)構(gòu)的示意圖。
具體實施例方式以下結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)說明，但不作為對本發(fā)明的限定。如圖1所示，為本發(fā)明實施例一所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)，包括爬蟲日志分析模塊101、鏈接邏輯展示模塊102及性能測試腳本生成模塊 103 ；其中，爬蟲日志分析模塊101，用于將網(wǎng)絡(luò)爬蟲日志對訪問的鏈接和該訪問涉及 (Refer)的鏈接判斷出的層級關(guān)系生成相應(yīng)的樹狀結(jié)構(gòu)圖(如圖4所示)，并將該樹狀結(jié)構(gòu)圖的XML文件(可擴(kuò)展標(biāo)記語言，Extensible Markup Language)發(fā)送給鏈接邏輯展示模塊102。這里的XML文件僅僅包含頁面間的層級關(guān)系信息)。在本實施例中，所述的網(wǎng)絡(luò)爬蟲日志可以采用HERITRIX日志(Heritrix是一個爬蟲框架，可加如入一些可互換的組件)。鏈接邏輯展示模塊102，用于接收爬蟲日志分析模塊101發(fā)送來的樹狀結(jié)構(gòu)圖的 XML文件，并邏輯生成對應(yīng)的展示頁面的XML文件(這里的XML文件包含頁面層級關(guān)系及默認(rèn)的附加參數(shù)信息)，將展示頁面的XML文件發(fā)送給所述性能測試腳本生成模塊103 ；其中，進(jìn)一步還可以(如圖3所示)鏈接邏輯展示模塊102中設(shè)置有人工干預(yù)接口 1021用于接收用戶設(shè)置的所述樹狀結(jié)構(gòu)圖的訪問權(quán)限，并根據(jù)該權(quán)限調(diào)整邏輯生成展示頁面的XML文件，將最終含有人工干預(yù)參數(shù)的展示頁面的XML文件發(fā)送給所述性能測試腳本生成模塊103。這里采用人工干預(yù)接口 1021的作用是用戶可以針對不同鏈接設(shè)置有不同的權(quán)值，不同的分支有不同的選擇策略；還可以對樹狀結(jié)構(gòu)圖的邏輯生成對應(yīng)的測試腳本進(jìn)行確認(rèn)，如不對應(yīng)還可以重新生成。性能測試腳本生成模塊103，用于接收所述展示頁面的XML文件，并根據(jù)該訪問的鏈接和該訪問涉及(Refer)的鏈接及附加參數(shù)生成性能測試腳本。其中，所述生成的性能測試腳本的類型，包括=Jmeter類型(JMeter是Apache組織的開放源代碼項目，它是功能和性能測試的工具)或LoadRurmer類型(LoadRurmer是一種預(yù)測系統(tǒng)行為和性能的負(fù)載測試工具)等性能測試腳本。如圖2所示，為本發(fā)明實施例二所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成方法，包括步驟步驟201，將網(wǎng)絡(luò)爬蟲日志對訪問的鏈接和該訪問涉及(Refer)的鏈接判斷出的層級關(guān)系生成相應(yīng)的樹狀結(jié)構(gòu)圖；這里的XML文件僅僅包含頁面間的層級關(guān)系信息)。步驟202，按照該樹狀結(jié)構(gòu)圖的XML文件邏輯生成對應(yīng)的展示頁面的XML文件(這里的XML文件包含頁面層級關(guān)系及默認(rèn)的附加參數(shù)信息)。其中，進(jìn)一步還可以為通過接收用戶設(shè)置的所述樹狀結(jié)構(gòu)圖的訪問權(quán)限，并根據(jù)該訪問權(quán)限調(diào)整邏輯生成的展示頁面的XML文件，最終生成含有人工干預(yù)參數(shù)的展示頁面的XML文件。步驟203，根據(jù)所述展示頁面的XML文件，并根據(jù)該訪問的鏈接和該訪問涉及 (Refer)的鏈接及附加參數(shù)生成性能測試腳本。如圖4所示，為上述實施例一、二中提到的“樹狀結(jié)構(gòu)圖”示意圖，其中主頁為第一層，體育、新聞和音樂屬于第二層，國內(nèi)、國際、流行和經(jīng)典則屬于第三層。樹狀結(jié)構(gòu)圖是以頁面的形式為用戶展示易查看的網(wǎng)站鏈接結(jié)構(gòu)、該訪問的鏈接和該訪問涉及的鏈接結(jié)構(gòu)， 其后臺對應(yīng)XML文件。本發(fā)明主要是借助網(wǎng)絡(luò)爬蟲日志，能夠分析出網(wǎng)站的鏈接層級結(jié)構(gòu)，并且能夠自動生成針對目標(biāo)測試網(wǎng)站的性能測試腳本；本發(fā)明的目的是在網(wǎng)絡(luò)爬蟲日志和性能測試工具之間構(gòu)造一個橋梁，實現(xiàn)根據(jù)網(wǎng)站的實際鏈接層級關(guān)系自動生成性能測試腳本的功能。綜上所述，與現(xiàn)有技術(shù)相比，本發(fā)明主要解決了復(fù)雜的目標(biāo)網(wǎng)站的各級頁面的遞歸掃描工作，由爬蟲工具完成，且實現(xiàn)了快速準(zhǔn)確；同時還能夠分析出目標(biāo)網(wǎng)站的層級關(guān)系，形成清晰的樹狀結(jié)構(gòu)圖，頁面層次更加清晰明確；提供用戶設(shè)置接口，用戶可以調(diào)整性能測試腳本的邏輯；以及能夠自動形成可以供性能測試工具使用的性能測試腳本，大大提高了編寫性能測試腳本的效率和準(zhǔn)確性。 當(dāng)然，本發(fā)明還可有其他多種實施例，在不背離本發(fā)明精神及其實質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員可根據(jù)本發(fā)明做出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)，其特征在于，包括爬蟲日志分析模塊、鏈接邏輯展示模塊及性能測試腳本生成模塊；其中，爬蟲日志分析模塊，用于將網(wǎng)絡(luò)爬蟲日志對訪問的鏈接和該訪問涉及的鏈接判斷出的層級關(guān)系生成相應(yīng)的樹狀結(jié)構(gòu)圖，并將該樹狀結(jié)構(gòu)圖的可擴(kuò)展標(biāo)記語言文件發(fā)送給所述鏈接邏輯展示模塊；鏈接邏輯展示模塊，用于接收所述爬蟲日志分析模塊發(fā)送來的該樹狀結(jié)構(gòu)圖的可擴(kuò)展標(biāo)記語言文件，并邏輯生成對應(yīng)的展示頁面的可擴(kuò)展標(biāo)記語言文件，將該展示頁面的可擴(kuò)展標(biāo)記語言文件發(fā)送給所述性能測試腳本生成模塊；性能測試腳本生成模塊，用于接收所述展示頁面的可擴(kuò)展標(biāo)記語言文件，并根據(jù)該訪問的鏈接和該訪問涉及的鏈接生成性能測試腳本。
2.如權(quán)利要求1所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)，其特征在于，所述鏈接邏輯展示模塊中還設(shè)有人工干預(yù)接口，用于接收用戶設(shè)置的所述樹狀結(jié)構(gòu)圖的訪問權(quán)限，并根據(jù)該訪問權(quán)限調(diào)整邏輯生成展示頁面的可擴(kuò)展標(biāo)記語言文件，將最終含有人工干預(yù)參數(shù)的展示頁面的可擴(kuò)展標(biāo)記語言文件發(fā)送給所述性能測試腳本生成模塊。
3.如權(quán)利要求1所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)，其特征在于，所述網(wǎng)絡(luò)爬蟲日志為HERITRIX日志。
4.如權(quán)利要求1所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)，其特征在于，所述性能測試腳本的類型為Jmeter類型或LoadRurmer類型。
5.如權(quán)利要求1所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)，其特征在于，所述樹狀結(jié)構(gòu)圖是以頁面的形式展示所述該訪問的鏈接和該訪問涉及的鏈接結(jié)構(gòu)，其后臺對應(yīng)可擴(kuò)展標(biāo)記語言文件。
6.一種基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成方法，其特征在于，包括將網(wǎng)絡(luò)爬蟲日志對訪問的鏈接和該訪問涉及的鏈接判斷出的層級關(guān)系生成相應(yīng)的樹狀結(jié)構(gòu)圖；根據(jù)該樹狀結(jié)構(gòu)圖的可擴(kuò)展標(biāo)記語言文件邏輯生成對應(yīng)的展示頁面的可擴(kuò)展標(biāo)記語言文件；根據(jù)所述展示頁面的可擴(kuò)展標(biāo)記語言文件，并根據(jù)該訪問的鏈接和該訪問涉及的鏈接生成性能測試腳本。
7.如權(quán)利要求6所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成方法，其特征在于，進(jìn)一步為所述接收樹狀結(jié)構(gòu)圖的可擴(kuò)展標(biāo)記語言文件同時，通過接收用戶設(shè)置的所述樹狀結(jié)構(gòu)圖的訪問權(quán)限，并根據(jù)該訪問權(quán)限調(diào)整邏輯生成展示頁面的可擴(kuò)展標(biāo)記語言文件，最終生成含有人工干預(yù)參數(shù)的展示頁面的可擴(kuò)展標(biāo)記語言文件。
8.如權(quán)利要求6所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成方法，其特征在于，所述網(wǎng)絡(luò)爬蟲日志為HERITRIX日志。
9.如權(quán)利要求6所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成方法，其特征在于，所述性能測試腳本的類型為Jmeter類型或LoadRurmer類型。
10.如權(quán)利要求6所述的基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成方法，其特征在于，所述樹狀結(jié)構(gòu)圖是以頁面的形式展示所述該訪問的鏈接和該訪問涉及的鏈接結(jié)構(gòu)，其后臺對應(yīng)可擴(kuò)展標(biāo)記語言文件。
全文摘要
本發(fā)明公開了一種基于網(wǎng)絡(luò)爬蟲日志的性能測試腳本自動化生成系統(tǒng)及方法，其中該系統(tǒng)包括爬蟲日志分析模塊，用于將網(wǎng)絡(luò)爬蟲日志對訪問的鏈接和該訪問涉及的鏈接判斷出的層級關(guān)系生成相應(yīng)的樹狀結(jié)構(gòu)圖，并將該樹狀結(jié)構(gòu)圖的可擴(kuò)展標(biāo)記語言文件發(fā)送給鏈接邏輯展示模塊；鏈接邏輯展示模塊，用于接收發(fā)送來的該樹狀結(jié)構(gòu)圖的可擴(kuò)展標(biāo)記語言文件，并邏輯生成對應(yīng)的展示頁面的可擴(kuò)展標(biāo)記語言文件，將該展示頁面的可擴(kuò)展標(biāo)記語言文件發(fā)送給性能測試腳本生成模塊；性能測試腳本生成模塊，用于接收展示頁面的可擴(kuò)展標(biāo)記語言文件，并根據(jù)該訪問的鏈接和該訪問涉及的鏈接生成性能測試腳本。本發(fā)明解決了現(xiàn)有技術(shù)無法對網(wǎng)頁訪問性能進(jìn)行完整測試的問題。
文檔編號G06F11/36GK102508779SQ20111036434
公開日2012年6月20日 申請日期2011年11月17日 優(yōu)先權(quán)日2011年11月17日
發(fā)明者李建濤, 王士博, 王巍 申請人:北京北緯點(diǎn)易信息技術(shù)有限公司