動態(tài)檢測網(wǎng)絡(luò)中的業(yè)務(wù)異常的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明的實(shí)施例涉及聯(lián)網(wǎng)領(lǐng)域。更具體地，本發(fā)明的實(shí)施例涉及動態(tài)檢測網(wǎng)絡(luò)中的業(yè)務(wù)異常的方法和系統(tǒng)。
【背景技術(shù)】
[0002]在數(shù)據(jù)或計(jì)算網(wǎng)絡(luò)中，業(yè)務(wù)異常檢測是主要關(guān)注點(diǎn)。業(yè)務(wù)異常包括網(wǎng)絡(luò)的業(yè)務(wù)水平中的不尋常和明顯改變，其通?？梢钥缭蕉鄠€(gè)鏈路和節(jié)點(diǎn)。診斷業(yè)務(wù)異常對于網(wǎng)絡(luò)運(yùn)營商和終端用戶兩者都是關(guān)鍵的。這因?yàn)楸仨殢拇罅扛呔S有噪數(shù)據(jù)(因?yàn)闃I(yè)務(wù)變化本質(zhì)上是大的)提取并且解釋異常模式而是困難的問題。
[0003]不管業(yè)務(wù)異常時(shí)有意還是無意的，理解網(wǎng)絡(luò)中業(yè)務(wù)異常的本質(zhì)由于至少兩個(gè)原因而是重要的:
(a)業(yè)務(wù)異?？梢栽诰W(wǎng)絡(luò)中形成擁擠并且給網(wǎng)絡(luò)設(shè)備(例如，路由器或交換機(jī))的資源利用施壓，從而檢測業(yè)務(wù)異常從操作角度來看是關(guān)鍵的；
(b)業(yè)務(wù)異常可以對客戶或甚至最終用戶產(chǎn)生巨大影響(例如，由于網(wǎng)絡(luò)設(shè)備錯(cuò)配置引起的服務(wù)關(guān)閉)，即使它不一定影響網(wǎng)絡(luò)也如此。
[0004]診斷業(yè)務(wù)異常中的明顯問題是它的形成和原因可能變化很大:從拒絕服務(wù)(DoS)攻擊到路由器錯(cuò)配置、到網(wǎng)絡(luò)設(shè)備策略修改(例如，邊界網(wǎng)關(guān)協(xié)議(BGP)策略改變)的結(jié)果等。例如，DoS攻擊在從一個(gè)或多個(gè)主機(jī)發(fā)送的大量業(yè)務(wù)消耗網(wǎng)絡(luò)中的大量資源(例如鏈路或web服務(wù)器)時(shí)發(fā)生。該人為增加的高負(fù)載拒絕(防止)對該資源的合法用戶的服務(wù)。盡管在該區(qū)域中有許多學(xué)術(shù)提議，現(xiàn)今的互聯(lián)網(wǎng)仍很少有保護(hù)機(jī)制來防止這樣的攻擊。此外，分布式DoS攻擊(DDoS)甚至更危險(xiǎn)。DDoS攻擊也可以以個(gè)體web服務(wù)器以外的網(wǎng)絡(luò)基礎(chǔ)設(shè)施為目標(biāo)。
[0005]為了識別業(yè)務(wù)異常，網(wǎng)絡(luò)和系統(tǒng)管理員開始部署自動化響應(yīng)系統(tǒng)來尋找可能是攻擊的異常行為。然而，這些自動化響應(yīng)系統(tǒng)可難以部署，這部分因?yàn)槿狈碜陨逃寐酚善?交換機(jī)供應(yīng)商的支持。它們通常也非常沉重，這意指它們需要在網(wǎng)絡(luò)中捕捉大量業(yè)務(wù)并且從而對網(wǎng)絡(luò)管理系統(tǒng)和網(wǎng)絡(luò)本身都引入大的開銷。需要更好的檢測業(yè)務(wù)異常的方法。

【發(fā)明內(nèi)容】

[0006]公開在網(wǎng)絡(luò)中實(shí)現(xiàn)的用于動態(tài)分配業(yè)務(wù)異常監(jiān)測任務(wù)的方法。該方法以將網(wǎng)絡(luò)的業(yè)務(wù)流分成多個(gè)業(yè)務(wù)聚集開始，其中每個(gè)業(yè)務(wù)聚集包含一個(gè)或多個(gè)業(yè)務(wù)流，并且其中每個(gè)業(yè)務(wù)聚集是用于監(jiān)測的第一組的條目。對于用于監(jiān)測的第一組的每個(gè)條目，方法從網(wǎng)絡(luò)的網(wǎng)絡(luò)設(shè)備收集第二組一個(gè)或多個(gè)網(wǎng)絡(luò)設(shè)備來監(jiān)測條目，其中該第二組一個(gè)或多個(gè)網(wǎng)絡(luò)設(shè)備處理?xiàng)l目內(nèi)包含的業(yè)務(wù)流。它從第二組一個(gè)或多個(gè)網(wǎng)絡(luò)設(shè)備選擇一個(gè)網(wǎng)絡(luò)設(shè)備來就業(yè)務(wù)異常監(jiān)測條目，其中從第二組一個(gè)或多個(gè)網(wǎng)絡(luò)設(shè)備選擇一個(gè)網(wǎng)絡(luò)設(shè)備至少部分基于網(wǎng)絡(luò)設(shè)備的監(jiān)測計(jì)數(shù)，其中網(wǎng)絡(luò)設(shè)備的監(jiān)測計(jì)數(shù)是指派網(wǎng)絡(luò)設(shè)備來監(jiān)測的用于監(jiān)測的第一組的多個(gè)條目的計(jì)數(shù)。
[0007]公開在網(wǎng)絡(luò)中實(shí)現(xiàn)的用于動態(tài)檢測業(yè)務(wù)異常的方法。該方法以所選的網(wǎng)絡(luò)設(shè)備以第一采樣速率在用于監(jiān)測的第一組的條目內(nèi)對業(yè)務(wù)流采樣而開始。它確定是否存在業(yè)務(wù)異常。響應(yīng)于業(yè)務(wù)異常可能以高概率存在這一確定，方法使第一采樣速率增加到第二采樣速率、將用于監(jiān)測的第一組的條目分成第一數(shù)量的較小組并且選擇該第一數(shù)量的較小組的第一子集用于監(jiān)測。然后方法繼續(xù)以第二采樣速率對第一數(shù)量的較小組的第一子集采樣、確定第一數(shù)量的較小組的第一子集內(nèi)的業(yè)務(wù)百分比未超出從業(yè)務(wù)分布計(jì)算的業(yè)務(wù)百分比閾值。響應(yīng)于第一數(shù)量的較小組的第一子集內(nèi)的業(yè)務(wù)百分比未超出業(yè)務(wù)百分比閾值這一確定，方法使第二采樣速率增加到第三采樣速率、將第一數(shù)量的較小組的第一子集分成第二數(shù)量的較小組以及選擇該第二數(shù)量的較小組的第二子集用于監(jiān)測。然后它以第三采樣速率對第二數(shù)量的較小組的第二子集采樣、確定第二數(shù)量的較小組的第二子集內(nèi)的業(yè)務(wù)百分比超出業(yè)務(wù)百分比閾值。響應(yīng)于第二數(shù)量的較小組的第二子集內(nèi)的業(yè)務(wù)的百分比超出業(yè)務(wù)百分比閾值這一確定，它報(bào)告用于監(jiān)測的第二數(shù)量的較小組的第二子集是異常業(yè)務(wù)流。
【附圖說明】
[0008]本發(fā)明通過示例而不是限制的方式在附圖(其中類似的引用指示相似的元件)的圖中圖示。應(yīng)注意在該說明書中對“一個(gè)”實(shí)施例的不同引用不一定指相同的實(shí)施例，并且這樣的引用意指至少一個(gè)。此外，在連同實(shí)施例描述特定特征、結(jié)構(gòu)或特性時(shí)，認(rèn)為連同其他無論是否明確描述的實(shí)施例實(shí)現(xiàn)這樣的特征、結(jié)構(gòu)或特性，這在本領(lǐng)域內(nèi)技術(shù)人員的知識內(nèi)。
[0009]圖1是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例使用動態(tài)異常檢測的網(wǎng)絡(luò)的框圖。
[0010]圖2是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例使用動態(tài)異常檢測的SDN網(wǎng)絡(luò)的框圖。
[0011]圖3A-D圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例在網(wǎng)絡(luò)設(shè)備之間共享對于異常檢測的負(fù)載的方法。
[0012]圖4是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例在網(wǎng)絡(luò)設(shè)備之間共享對于異常檢測的負(fù)載的方法的流程圖。
[0013]圖5是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例在SDN網(wǎng)絡(luò)的SDN交換機(jī)之間共享對于異常檢測的負(fù)載的方法的偽代碼程序。
[0014]圖6是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例的異常監(jiān)測的動態(tài)放大的流程圖。
[0015]圖7是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例對于SDN網(wǎng)絡(luò)的異常檢測的放大方法的偽代碼程序。
[0016]圖8是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例包含處理器(其實(shí)現(xiàn)分配業(yè)務(wù)流的方法)的網(wǎng)絡(luò)設(shè)備的框圖。
[0017]圖9是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例包含處理器(其對于異常檢測實(shí)現(xiàn)放大的方法)的網(wǎng)絡(luò)設(shè)備的框圖。
【具體實(shí)施方式】
[0018]在下列描述中，闡述許多具體細(xì)節(jié)。然而，理解本發(fā)明的實(shí)施例可在沒有這些具體細(xì)節(jié)的情況下實(shí)踐。在其他實(shí)例中，未詳細(xì)示出眾所周知的電路、結(jié)構(gòu)和技術(shù)以便不使該描述難以理解。然而，本領(lǐng)域內(nèi)技術(shù)人員將意識到本發(fā)明可在沒有這樣的具體細(xì)節(jié)的情況下實(shí)踐。本領(lǐng)域內(nèi)普通技術(shù)人員將能夠?qū)崿F(xiàn)適當(dāng)?shù)墓δ苄远鴽]有過度實(shí)驗(yàn)。
[0019]在說明書中對“一個(gè)實(shí)施例”、“實(shí)施例”、“示例實(shí)施例”等的引用指示描述的實(shí)施例可包括特定特征、結(jié)構(gòu)或特性，但每個(gè)實(shí)施例可不一定包括該特定特征、結(jié)構(gòu)或特性。此夕卜，這樣的短語不一定都指相同的實(shí)施例。此外，當(dāng)特定特征、結(jié)構(gòu)或特性連同實(shí)施例描述時(shí)，認(rèn)為連同其他無論是否明確描述的實(shí)施例實(shí)現(xiàn)這樣的特征、結(jié)構(gòu)或特性，這在本領(lǐng)域內(nèi)技術(shù)人員的知識內(nèi)。
[0020]在下列描述和權(quán)利要求中，可使用術(shù)語“耦合”和“連接”連同它們的派生詞。要理解這些術(shù)語不規(guī)定為是彼此的同義詞?！坝H合”用于指示彼此可或可不直接物理或電接觸的兩個(gè)或以上的元件彼此共同操作或相互作用?！斑B接”用于指示彼此耦合的兩個(gè)或以上的元件之間的通信的建立。
[0021]如本文使用的，網(wǎng)絡(luò)設(shè)備(例如，路由器或交換機(jī))是聯(lián)網(wǎng)設(shè)備件，其包括使網(wǎng)絡(luò)上的其他設(shè)備(例如，其他網(wǎng)絡(luò)設(shè)備、端系統(tǒng))通信互連的硬件和軟件。一些網(wǎng)絡(luò)設(shè)備是“多個(gè)服務(wù)網(wǎng)絡(luò)設(shè)備”，其提供對多個(gè)聯(lián)網(wǎng)功能(例如，路由、橋接、VLAN(虛擬LAN)、交換、層2聚集、會話邊界控制、服務(wù)質(zhì)量和/或訂戶管理)的支持，和/或提供對多個(gè)應(yīng)用服務(wù)(例如，數(shù)據(jù)、語音和視頻)的支持。訂戶端系統(tǒng)(例如，服務(wù)器、工作站、便攜式電腦、筆記本、掌上電腦、移動電話、智能電話、多媒體電話、互聯(lián)網(wǎng)協(xié)議(V0IP)電話、用戶設(shè)備、終端、便攜式媒體播放器、GPS單元、游戲系統(tǒng)、機(jī)頂盒)訪問通過互聯(lián)網(wǎng)提供的內(nèi)容/服務(wù)和/或在互聯(lián)網(wǎng)上覆蓋(例如，遂穿通過網(wǎng)絡(luò))的虛擬專用網(wǎng)(VPN)上提供的內(nèi)容/服務(wù)。內(nèi)容和/或服務(wù)典型地由屬于服務(wù)或內(nèi)容提供商的一個(gè)或多個(gè)端系統(tǒng)(例如，服務(wù)器端系統(tǒng))或參與對等服務(wù)的端系統(tǒng)提供，并且可包括例如公共網(wǎng)頁(例如，免費(fèi)內(nèi)容、店面、搜索服務(wù))、私人網(wǎng)頁(例如，提供電子郵件服務(wù)的用戶名/密碼訪問的網(wǎng)頁)和/或通過VPN的企業(yè)網(wǎng)。典型地，訂戶端系統(tǒng)耦合于(例如，通過耦合于接入網(wǎng)絡(luò)(有線或無線)的客戶端設(shè)備)邊緣網(wǎng)絡(luò)設(shè)備，其耦合于(例如，通過一個(gè)或多個(gè)核心網(wǎng)絡(luò)設(shè)備)其他邊緣網(wǎng)絡(luò)設(shè)備，這些其他邊緣網(wǎng)絡(luò)設(shè)備耦合于其他端系統(tǒng)(例如，服務(wù)器端系統(tǒng))。網(wǎng)絡(luò)設(shè)備一般通過它的媒體訪問(MAC)地址、互聯(lián)網(wǎng)協(xié)議(IP)地址/子網(wǎng)絡(luò)、網(wǎng)絡(luò)套接字/端口和/或上層0SI層標(biāo)識符來識別。
[0022]DoS預(yù)防和異常檢測
互聯(lián)網(wǎng)模型的不太有利的方面是連接到互聯(lián)網(wǎng)的網(wǎng)絡(luò)的接收器可無法控制代表它們消耗的資源:主機(jī)可以接收重復(fù)包流，而不管是否期望該包流。解決該弱點(diǎn)的一個(gè)方法是網(wǎng)絡(luò)使通信局限于之前建立的模式，例如通過給予合法主機(jī)離線驗(yàn)證器，其準(zhǔn)許它們與特定目的地通信。該方法未保護(hù)公共服務(wù)器，其一般不能在通信之前對合法發(fā)送者設(shè)置離線驗(yàn)證器。
[0023]另一個(gè)方法是通過分離客戶端和服務(wù)器地址空間而使主機(jī)通信模式局限于僅僅客戶端-服務(wù)器。提出的“默認(rèn)關(guān)閉”法在精神上與方法相似。網(wǎng)絡(luò)不允許任意兩個(gè)主機(jī)在默認(rèn)情況下通信，除非目的地明確請求從發(fā)送者接收。兩個(gè)技術(shù)方案都使DoS攻擊局限于私人端主機(jī)，但需要額外機(jī)制來保護(hù)開放的公共服務(wù)器。
[0024]除識別和防止DoS之外，通用業(yè)務(wù)異常檢測對于網(wǎng)絡(luò)管理是重要的。在現(xiàn)有技術(shù)中，基于規(guī)則的或統(tǒng)計(jì)技術(shù)用于將業(yè)務(wù)模式歸類為友好或惡意的。現(xiàn)有異常檢測方案對單個(gè)時(shí)間系列業(yè)務(wù)(例如從網(wǎng)絡(luò)鏈路測量并且獨(dú)立于網(wǎng)絡(luò)中的其他鏈路上的業(yè)務(wù))起作用。從而，這些技術(shù)在單個(gè)業(yè)務(wù)時(shí)間序列內(nèi)利用時(shí)間模式來暴露異常。
[0025]這些現(xiàn)有的異常檢測方法具有至少幾個(gè)缺陷:
(a)現(xiàn)有異常檢測機(jī)制一般在商用異常檢測盒中實(shí)現(xiàn)，其使多個(gè)復(fù)雜功能性集成。從而，取得商用異常檢測盒和操作它的成本通常是高的。
[0026](b)因?yàn)樯逃卯惓z測盒通常對于網(wǎng)絡(luò)運(yùn)營商是黑盒，它缺乏可編程性。商用異常檢測盒通常由第三方商業(yè)公司開發(fā)。它與其他網(wǎng)絡(luò)設(shè)備分離，并且它典型地就近供應(yīng)、難以編程和配置。在大部分異常檢測算法中，某些閾值用于將攻擊業(yè)務(wù)模式與正常業(yè)務(wù)區(qū)分開。這些閾值通常從網(wǎng)絡(luò)業(yè)務(wù)分布得到，其應(yīng)在不同網(wǎng)絡(luò)環(huán)境下調(diào)諧。利用黑盒，難以動態(tài)調(diào)整閾值。同樣，頻繁生成異常和惡意DoS攻擊的新的變化，并且黑盒可不能及時(shí)更新來檢測異常和攻擊的較新變化。
[0027](c)商用異常檢測盒通常位于網(wǎng)絡(luò)的一個(gè)位點(diǎn)中，從而收集大量業(yè)務(wù)統(tǒng)計(jì)信息。獨(dú)立盒典型地使用基于業(yè)務(wù)分接的方法來搜集網(wǎng)絡(luò)狀態(tài)和業(yè)務(wù)統(tǒng)計(jì)信息。它對網(wǎng)絡(luò)生成額外開銷。
[0028](d)現(xiàn)有異常檢測機(jī)制難以集成異常檢測和減輕。在現(xiàn)有方法中，一旦由異常檢測引擎發(fā)起警報(bào)，網(wǎng)絡(luò)運(yùn)營商需要通過手動配置網(wǎng)絡(luò)(例如重新路由、入口過濾或業(yè)務(wù)成型)來作出反應(yīng)。人為干預(yù)不靈活、緩慢且昂貴。
[0029]網(wǎng)絡(luò)配置和操作
本發(fā)明的實(shí)施例公開僅通過使用商業(yè)網(wǎng)絡(luò)設(shè)備來檢測業(yè)務(wù)異常的輕量化方法。方法是可擴(kuò)展的并且可以在大型網(wǎng)絡(luò)中使用。方法也是通用的并且可以應(yīng)用于具有集中異常檢測管理器的任何網(wǎng)絡(luò)。在一個(gè)實(shí)施例中，方法首先收集粗粒業(yè)務(wù)統(tǒng)計(jì)信息。然后，基于該粗粒信息，它自適應(yīng)地縮小至業(yè)務(wù)流的子集并且密切監(jiān)測可能攻擊。因?yàn)楸景l(fā)明的實(shí)施例基于進(jìn)行中的業(yè)務(wù)特性來檢測業(yè)務(wù)異常，它們在本文稱為“動態(tài)隨機(jī)檢測”或“動態(tài)檢測業(yè)務(wù)異?！狈椒?。
[0030]圖1是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例使用動態(tài)異常檢測的網(wǎng)絡(luò)的框圖。網(wǎng)絡(luò)100包含網(wǎng)絡(luò)管理器152。網(wǎng)絡(luò)管理器152可以是網(wǎng)絡(luò)管理系統(tǒng)(匪S)、元件管理系統(tǒng)(EMS)或網(wǎng)