專利名稱：用于在數(shù)據(jù)中心中確定應(yīng)用依賴性路徑的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本申請(qǐng)涉及系統(tǒng)管理和操作。更具體地講，本申請(qǐng)涉及一種用于在企業(yè)網(wǎng)絡(luò)和數(shù)據(jù)中心中確定應(yīng)用依賴性發(fā)現(xiàn)的系統(tǒng)和方法。
背景技術(shù)：
現(xiàn)今的企業(yè)網(wǎng)絡(luò)和現(xiàn)代數(shù)據(jù)中心具有各種不同的應(yīng)用(例如，電子商務(wù)、內(nèi)容分發(fā))和服務(wù)(例如，DNS、活動(dòng)目錄、電子郵件和驗(yàn)證)，這些應(yīng)用和服務(wù)以復(fù)雜的方式彼此交錯(cuò)。具體地講，每項(xiàng)服務(wù)可支持多個(gè)應(yīng)用并且特定應(yīng)用可依賴于許多不同的服務(wù)。此外，每個(gè)應(yīng)用自身通常具有多個(gè)部件，一些部件可與多個(gè)應(yīng)用共享。對(duì)于一系列系統(tǒng)管理任務(wù)(諸如，異常檢測(cè)和故障分析、系統(tǒng)升級(jí)和打補(bǔ)丁以及應(yīng)用隔離和遷移)，理解和識(shí)別每個(gè)應(yīng)用的部件和它們的相互依賴性很重要。例如，多層應(yīng)用能夠包括具有共同的部件(諸如，應(yīng)用服務(wù)器)的不同的應(yīng)用，諸如拍賣應(yīng)用和電子商務(wù)應(yīng)用。這個(gè)問(wèn)題的已有處理方法采用各種技術(shù)，從活動(dòng)服務(wù)器設(shè)備到輕型中間件部署直至非侵入網(wǎng)絡(luò)業(yè)務(wù)(traffic)監(jiān)測(cè)。通過(guò)對(duì)獲得的網(wǎng)絡(luò)和/或系統(tǒng)蹤跡執(zhí)行相關(guān)分析，推斷應(yīng)用依賴性。這些處理方法依賴于成對(duì)流分析，成對(duì)流分析可在實(shí)踐中表現(xiàn)出某些限制。具體地講，從成對(duì)依賴性信息幾乎不能推斷大規(guī)模交易系統(tǒng)中常見(jiàn)的多跳(即，超過(guò)三個(gè))依賴性。如同在多跳交疊應(yīng)用的情況下一祥，當(dāng)存在單個(gè)部件被多個(gè)應(yīng)用共享并且成對(duì)分析的準(zhǔn)確性降低的交疊應(yīng)用時(shí)，尤其如此。此外，在給定時(shí)間間隔內(nèi)在每個(gè)主機(jī)的基礎(chǔ)上執(zhí)行流對(duì)相關(guān)。在確定性能和準(zhǔn)確性時(shí)，選擇這個(gè)間隔的合適長(zhǎng)度很重要，但也容易發(fā)生誤報(bào)。因此，對(duì)于正在經(jīng)歷應(yīng)用的大規(guī)模成長(zhǎng)和服務(wù)部件之間的復(fù)雜交互的企業(yè)網(wǎng)絡(luò)和數(shù)據(jù)中心的日常系統(tǒng)管理和操作而言，需要一種自動(dòng)應(yīng)用依賴性發(fā)現(xiàn)系統(tǒng)和方法。

發(fā)明內(nèi)容
公開了ー種用于在具有多個(gè)服務(wù)器和多個(gè)不同應(yīng)用的數(shù)據(jù)中心中確定應(yīng)用依賴性路徑的方法，每個(gè)應(yīng)用具有多個(gè)部件，與一個(gè)或多個(gè)其它應(yīng)用共享ー個(gè)或多個(gè)部件。該方法包括下述步驟捕捉服務(wù)器上的應(yīng)用業(yè)務(wù)量數(shù)據(jù)；基于應(yīng)用業(yè)務(wù)量數(shù)據(jù)產(chǎn)生應(yīng)用的所有部件的應(yīng)用業(yè)務(wù)矩陣；從業(yè)務(wù)矩陣估計(jì)數(shù)據(jù)中心中的應(yīng)用的數(shù)量；以及使用估計(jì)的應(yīng)用的數(shù)量把業(yè)務(wù)矩陣分解為第一矩陣和第二矩陣，第一矩陣代表屬于每個(gè)應(yīng)用的部件的集合，并且第二矩陣代表隨著時(shí)間過(guò)去由每個(gè)應(yīng)用產(chǎn)生的業(yè)務(wù)的量。在一些實(shí)施例中，該方法還包括下述步驟從第一矩陣和第二矩陣去除噪聲。還公開了一種用于在具有多個(gè)服務(wù)器和多個(gè)不同應(yīng)用的數(shù)據(jù)中心中確定應(yīng)用依賴性路徑的系統(tǒng)，每個(gè)應(yīng)用具有多個(gè)部件，與一個(gè)或多個(gè)其它應(yīng)用共享ー個(gè)或多個(gè)部件。該系統(tǒng)包括數(shù)據(jù)收集部件；和控制器，與數(shù)據(jù)收集部件處于數(shù)據(jù)通信。數(shù)據(jù)收集部件包括多個(gè)交換機(jī)，每個(gè)交換機(jī)具有用于捕捉服務(wù)器上的應(yīng)用業(yè)務(wù)量數(shù)據(jù)的鏡像端ロ ；和監(jiān)測(cè)代理，用于監(jiān)測(cè)每個(gè)鏡像端ロ。控制器包括連通性繪圖單元，用于基于由監(jiān)測(cè)服務(wù)器捕捉的應(yīng)用業(yè)務(wù)量數(shù)據(jù)產(chǎn)生應(yīng)用的所有部件的應(yīng)用業(yè)務(wù)矩陣；總體估計(jì)單元，用于從由連通性繪圖單元產(chǎn)生的業(yè)務(wù)矩陣估計(jì)數(shù)據(jù)中心中的應(yīng)用的數(shù)量；和應(yīng)用分解単元，用于使用由總體估計(jì)單元產(chǎn)生的估計(jì)的應(yīng)用的數(shù)量把業(yè)務(wù)矩陣分解為第一矩陣和第二矩陣，第一矩陣代表屬于每個(gè)應(yīng)用的部件的集合，并且第二矩陣代表隨著時(shí)間過(guò)去由每個(gè)應(yīng)用產(chǎn)生的業(yè)務(wù)的量。在一些實(shí)施例中，該系統(tǒng)的控制器還包括后處理單元，用于從第一矩陣和第二矩陣去除噪聲。


圖I是根據(jù)本公開的用于在數(shù)據(jù)中心中確定應(yīng)用依賴性路徑的系統(tǒng)的示例性實(shí)施例的方框圖。 圖2是代表本公開的業(yè)務(wù)圖的業(yè)務(wù)矩陣的示例性實(shí)施例。圖3是由本公開的系統(tǒng)執(zhí)行的數(shù)據(jù)中心應(yīng)用依賴性發(fā)現(xiàn)方法的示例性實(shí)施例的流程圖。圖4A是在圖3的方法中使用的冪因式分解過(guò)程的示例性實(shí)施例的流程圖。圖4B是在圖3的方法中使用的經(jīng)冪因式分解殘差過(guò)程的秩估計(jì)的示例性實(shí)施例的流程圖。圖5是在圖3的方法中使用的基于非負(fù)矩陣因式分解的依賴性分解過(guò)程的示例性實(shí)施例的流程圖。圖6是在圖3的方法中用于使鄰近鏈路上的應(yīng)用業(yè)務(wù)相關(guān)的基于并發(fā)容量比(CVR)的相關(guān)過(guò)程的圖形表示。圖7是CVR相關(guān)過(guò)程的示例性實(shí)施例的流程圖。
具體實(shí)施例方式本公開提供了ー種使用隨著時(shí)間動(dòng)態(tài)構(gòu)造的時(shí)間全局應(yīng)用業(yè)務(wù)圖和在數(shù)據(jù)中心的每個(gè)服務(wù)器處觀察的空間局部業(yè)務(wù)而在企業(yè)網(wǎng)絡(luò)、基于云的數(shù)據(jù)中心和其它類似數(shù)據(jù)中心中提取應(yīng)用依賴性的矩陣因式分解系統(tǒng)和方法。數(shù)據(jù)中心包括運(yùn)行多個(gè)不同應(yīng)用(例如，電子商務(wù)、內(nèi)容分發(fā))的多個(gè)服務(wù)器。每個(gè)應(yīng)用在應(yīng)用的依賴性路徑中具有多個(gè)部件(例如，web服務(wù)器、應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器)，其中與一個(gè)或多個(gè)其它應(yīng)用共享ー個(gè)或多個(gè)部件。因?yàn)檫@種數(shù)據(jù)中心通常托管大量的多層應(yīng)用，所以在空間域和時(shí)間域二者中，應(yīng)用請(qǐng)求都交疊，使得常規(guī)成對(duì)統(tǒng)計(jì)相關(guān)技術(shù)難以正確地提取這些交錯(cuò)但獨(dú)立的應(yīng)用。在本公開的系統(tǒng)和方法中，使用應(yīng)用業(yè)務(wù)的基于矩陣的表示，所述應(yīng)用業(yè)務(wù)的基于矩陣的表示捕捉系統(tǒng)快照及其歷史演進(jìn)二者。該系統(tǒng)和方法把應(yīng)用圖的矩陣表示分解為小的子圖，每個(gè)子圖代表單個(gè)應(yīng)用。這使得本公開的系統(tǒng)和方法在存在多跳和/或交疊應(yīng)用的情況下特別有效。
由于交錯(cuò)并且交疊的應(yīng)用請(qǐng)求，應(yīng)用的數(shù)量通常預(yù)先是未知的，這進(jìn)一歩對(duì)各個(gè)應(yīng)用子圖的發(fā)現(xiàn)提出了挑戰(zhàn)。在本公開的系統(tǒng)和方法中，在具有理論邊界保證的情況下在完整和不完整業(yè)務(wù)數(shù)據(jù)方案下或者利用基于奇異值分解的解算器或者利用基于冪因式分解的解算器使用低秩矩陣估計(jì)來(lái)確定應(yīng)用的數(shù)量。來(lái)自交換機(jī)的業(yè)務(wù)分接由交換機(jī)以及監(jiān)測(cè)主機(jī)的能力限制。交換機(jī)通常僅能夠同時(shí)鏡像幾個(gè)端ロ。另外，監(jiān)測(cè)在多個(gè)交換機(jī)(每個(gè)交換機(jī)具有多個(gè)端ロ)上收集的數(shù)據(jù)可導(dǎo)致高容量聚合網(wǎng)絡(luò)業(yè)務(wù)并且可能導(dǎo)致包丟失。這兩種情況都導(dǎo)致監(jiān)測(cè)數(shù)據(jù)的顯著丟失。為了克服這個(gè)問(wèn)題，本公開的系統(tǒng)和方法有效地使用歷史數(shù)據(jù)提供充分的冗余并采用基于冪因式分解的技術(shù)提供對(duì)數(shù)據(jù)丟失和估計(jì)誤差的適應(yīng)能力。本公開的系統(tǒng)和方法還使用分布式網(wǎng)絡(luò)監(jiān)測(cè)和集中式數(shù)據(jù)處理以在數(shù)據(jù)中心中確定應(yīng)用依賴性路徑。圖I是本公開的系統(tǒng)的示例性實(shí)施例的方框圖。該系統(tǒng)包括數(shù)據(jù)收集部件100和中央服務(wù)器或控制器110。數(shù)據(jù)收集部件100具有多個(gè)交換機(jī)102和多個(gè)監(jiān)測(cè)代理104，所述多個(gè)監(jiān)測(cè)代理104連接到交換機(jī)并從它們收集業(yè)務(wù)數(shù)據(jù)，并且中央控制器110具有預(yù)處 理單元112、依賴性分解単元114和后處理單元116?？刂破?10的預(yù)處理単元112、依賴性分解単元114和后處理單元116由控制器110的一個(gè)或多個(gè)處理器(未示出)實(shí)現(xiàn)。(這些)處理器執(zhí)行存儲(chǔ)在例如控制器110的一個(gè)或多個(gè)存儲(chǔ)器中的程序指令，所述程序指令能夠使控制器110執(zhí)行本文描述的預(yù)處理、依賴性分解和后處理方法和過(guò)程。數(shù)據(jù)收集部件100執(zhí)行對(duì)數(shù)據(jù)中心的分布式網(wǎng)絡(luò)監(jiān)測(cè)并且可包括位于網(wǎng)絡(luò)的樹形結(jié)構(gòu)中的最低層中的柜頂(TOR)交換機(jī)(邊緣交換機(jī))，所述樹形結(jié)構(gòu)具有連接到位于相同機(jī)柜中的數(shù)據(jù)中心的服務(wù)器(例如，20至80個(gè)服務(wù)器)的下行鏈路和連接到上層聚合交換機(jī)的上行鏈路。在姆個(gè)邊緣交換機(jī)102處捕捉網(wǎng)絡(luò)業(yè)務(wù),邊緣交換機(jī)102經(jīng)邊緣交換機(jī)102的鏡像端ロ直接連接到專用監(jiān)測(cè)服務(wù)器104(監(jiān)測(cè)代理)。由于這種類型的端ロ鏡像的高效業(yè)務(wù)捕捉能力連同對(duì)遍歷(traverse)業(yè)務(wù)具有最小的影響而使用這種類型的端ロ鏡像。定期地，監(jiān)測(cè)服務(wù)器處理收集的數(shù)據(jù)(解析并提取流級(jí)信息，對(duì)當(dāng)前間隔中的每個(gè)流的包的數(shù)量進(jìn)行計(jì)數(shù))，計(jì)算每個(gè)應(yīng)用層鏈路的業(yè)務(wù)量，并把數(shù)據(jù)轉(zhuǎn)發(fā)給控制器110。從每個(gè)監(jiān)測(cè)服務(wù)器接收的數(shù)據(jù)由控制器110集中處理，控制器110順序地對(duì)從監(jiān)測(cè)服務(wù)器接收的信息進(jìn)行預(yù)處理、依賴性分解和后處理。如前所述，一旦接收到來(lái)自所有監(jiān)測(cè)代理104的數(shù)據(jù)，控制器110的預(yù)處理単元112對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。預(yù)處理単元112首先浄化數(shù)據(jù)，例如對(duì)齊不同交換機(jī)102上的測(cè)量間隔并去除冗余(例如，如果系統(tǒng)同時(shí)監(jiān)測(cè)包遍歷的兩個(gè)交換機(jī)端ロ，則可兩次捕捉同一個(gè)包)。在數(shù)據(jù)凈化之后，預(yù)處理単元112連續(xù)地構(gòu)造所有應(yīng)用組的完整應(yīng)用連通性圖。每個(gè)圖由業(yè)務(wù)矩陣Z代表，業(yè)務(wù)矩陣Z的例子顯示在圖2中并且一般地由標(biāo)號(hào)200表示。業(yè)務(wù)矩陣X的每一列記錄在對(duì)應(yīng)時(shí)間間隔期間觀察的所有くIP:端ロ >對(duì)之間的業(yè)務(wù)量，并且業(yè)務(wù)矩陣X的每一行代表對(duì)應(yīng)應(yīng)用鏈路(例如，鏈路A-B(應(yīng)用部件A、應(yīng)用部件B))上的業(yè)務(wù)量的歷史。業(yè)務(wù)矩陣Z指示空間域和時(shí)間域二者上的所有應(yīng)用部件的動(dòng)態(tài)連通性關(guān)系。在對(duì)數(shù)據(jù)進(jìn)行預(yù)處理之后，控制器110的依賴性分解単元114對(duì)數(shù)據(jù)執(zhí)行依賴性分解。依賴性分解単元114并不假設(shè)預(yù)先知道(特別是當(dāng)在每個(gè)應(yīng)用的基礎(chǔ)上分解系統(tǒng)部件吋)作為重要系統(tǒng)信息的在數(shù)據(jù)中心中運(yùn)行的應(yīng)用的數(shù)量。依賴性分解単元114經(jīng)基于冪因式分解或奇異值分解(SVD)的方法利用秩估計(jì)確定或估計(jì)在數(shù)據(jù)中心中運(yùn)行的應(yīng)用的數(shù)量。估計(jì)的應(yīng)用的數(shù)量進(jìn)ー步用在依賴性分解算法中以發(fā)現(xiàn)應(yīng)用依賴性。由控制器110的后處理單元116對(duì)由依賴性分解単元114發(fā)現(xiàn)的應(yīng)用依賴性進(jìn)行后處理。在前面的部件中產(chǎn)生的應(yīng)用依賴性可能受到測(cè)量噪聲影響并包含誤報(bào)。因此，需要后處理以對(duì)結(jié)果進(jìn)行交叉驗(yàn)證并減少不準(zhǔn)確的推斷。本公開的后處理單元116使用基于并發(fā)容量比(CVR)的相關(guān)以局部地識(shí)別在依賴性子圖的每個(gè)節(jié)點(diǎn)上使用成對(duì)鏈路相關(guān)的依賴性子圖中的相關(guān)邊緣。后處理單元116還應(yīng)用用于融合和修剪依賴性圖的規(guī)則。這些規(guī)則利用(leverage)操作者的領(lǐng)域知識(shí)以及業(yè)務(wù)相關(guān)得分的經(jīng)驗(yàn)觀察。圖3是由本公開的系統(tǒng)執(zhí)行的數(shù)據(jù)中心應(yīng)用依賴性發(fā)現(xiàn)方法的示例性實(shí)施例的流程圖。該方法在塊300中開始于在空間域和時(shí)間域中捕捉服務(wù)器上的應(yīng)用業(yè)務(wù)量數(shù)據(jù)。業(yè)務(wù)量數(shù)據(jù)被邊緣交換機(jī)102捕捉，邊緣交換機(jī)102直接連接到關(guān)聯(lián)的監(jiān)測(cè)代理104。監(jiān)測(cè)代理104定期地處理收集的數(shù)據(jù)，計(jì)算每個(gè)應(yīng)用層鏈路的業(yè)務(wù)量，并把數(shù)據(jù)轉(zhuǎn)發(fā)給控制器 110。移至塊320，控制器110的預(yù)處理単元112產(chǎn)生應(yīng)用層連通性圖。每個(gè)圖由基于應(yīng)用業(yè)務(wù)量數(shù)據(jù)的應(yīng)用的所有部件的應(yīng)用業(yè)務(wù)矩陣(業(yè)務(wù)矩陣代表。連通性圖產(chǎn)生機(jī)制包括服務(wù)節(jié)點(diǎn)的識(shí)別(使用許多進(jìn)入連接)、瞬態(tài)連接聚合至單個(gè)邊緣和基于客戶IP地址分布的客戶面對(duì)節(jié)點(diǎn)的識(shí)別。具有許多不同客戶IP地址的服務(wù)節(jié)點(diǎn)可能是客戶面對(duì)服務(wù)節(jié)點(diǎn)(或連通性圖中的Src節(jié)點(diǎn))。這個(gè)步驟還識(shí)別并去除由所有應(yīng)用使用的數(shù)據(jù)中心的共同服務(wù)節(jié)點(diǎn)(例如DNS)以把大的復(fù)雜的圖分割成更簡(jiǎn)單的代表各個(gè)應(yīng)用組的圖。在塊340中，業(yè)務(wù)矩陣Z由控制器110的依賴性分解單元114使用以估計(jì)數(shù)據(jù)中心中的應(yīng)用的數(shù)量。控制器110的依賴性分解單元114在塊360中使用在塊340中估計(jì)的應(yīng)用的數(shù)量把業(yè)務(wù)矩陣X分解為第一矩陣r和第二矩陣//(在圖2中，一般地分別由參考標(biāo)號(hào)210和220表示)。第一矩陣r代表屬于每個(gè)應(yīng)用的部件的集合，即應(yīng)用依賴性路徑，并且第二矩陣"代表隨著時(shí)間過(guò)去由每個(gè)應(yīng)用產(chǎn)生的業(yè)務(wù)的量?？刂破?10的后處理單元116在塊380中從第一矩陣r和第二矩陣"去除噪聲。再次參照?qǐng)D3的塊340，控制器110的依賴性分解単元114在完整和不完整業(yè)務(wù)數(shù)據(jù)方案下使用基于奇異向量分解(SVD)或冪因式分解的解算器通過(guò)低秩估計(jì)找到業(yè)務(wù)矩陣Z的最佳秩。在完整輸入數(shù)據(jù)的情況下，通過(guò)經(jīng)SVD解算器求解秩最小化問(wèn)題(RMP)估計(jì)
應(yīng)用的數(shù)量。RMP使最小化，其中バぶ是nXn酉矩陣(即，f//f/ = /)，K是mXm酉矩陣(B卩，F(xiàn)1 F = / )，并且矩陣是具有來(lái)自Σ的最大k個(gè)奇異值ら的
nXm對(duì)角矩陣，Σ是nXm對(duì)角矩陣。如果|| — f || ^·レ是噪聲的容限)，則業(yè)務(wù)矩陣Z
的最佳秩r近似是I在不完整輸入數(shù)據(jù)的情況下，因?yàn)闃I(yè)務(wù)矩陣Z可能遺漏ー些項(xiàng)目，所以冪因式分解是用于計(jì)算分別具有尺寸/ *r和r物的兩個(gè)矩陣因子メ和ガ的數(shù)值上魯棒的
解算器，以使矩陣距離I射-(X- d的I最小化(其中#是ニ進(jìn)制條目的掩模矩陣，如果ん.
遺漏，則Mij等于O，否則Mij是I)。假如r < min(m ji),假如r已知，該方法可使用圖4A的流程圖中描述的冪因式分解過(guò)程計(jì)算X的最佳秩r近似。在圖4A中，業(yè)務(wù)矩陣I、它的掩模矩陣#和秩r是冪因式分解過(guò)程的輸入401。在塊402中，冪因式分解過(guò)程開始于具有尺寸/ *r的隨機(jī)矩陣ん并設(shè)置等于O的第k迭代k。在塊403中，第k迭代k設(shè)置為等于k+Ι。在塊404中，給定矩陣4づ，計(jì)算ァ* 尺寸的矩陣
Bk以使矩陣距離||Ai .(1-4...! )!最小化。然后，對(duì)矩陣4進(jìn)行歸一化。在塊4O5中，給
定矩陣見(jiàn)，計(jì)算尺寸的矩陣4以使矩陣距離||射.(尤—為為)I最小化。在塊406中，確
定矩陣4和4是否收斂。如果矩陣4和4收斂，則在輸出407產(chǎn)生矩陣も和％。如果矩陣4和&不收斂，則在流線408重復(fù)該過(guò)程的塊403、404、405和406，直至矩陣ん、&收斂。冪因式分解過(guò)程不能直接預(yù)測(cè)業(yè)務(wù)矩陣1_的秩信息(其中/7和是矩陣Z的行尺寸和列尺寸)，其中秩r必須在優(yōu)化矩陣んむ和之前是已知的。然而，在合理范圍內(nèi)
搜索秩r并且對(duì)照秩r標(biāo)繪矩陣距離(|/V ·(.￥-/f5)|)的最終近似誤差可以是指示真實(shí)的秩(或矩陣Z的秩)的強(qiáng)大的啟發(fā)法，其中誤差曲線具有鞍點(diǎn)。需要注意的是，隨著
秩r増加，矩陣距離Iル/ ’(X-AB)\\的誤差單調(diào)地減小，但在經(jīng)過(guò)真實(shí)的秩之后未變得太
小。給定任何秩r，如果尤和兄表示兩個(gè)矩陣因子，則誤差~表示秩r近似的對(duì)應(yīng)擬合誤差。本公開提供在圖4B的流程圖中描述的過(guò)程，該過(guò)程總結(jié)ー種用于經(jīng)冪因式分解殘差分析估計(jì)不完整矩陣X的秩的方法。在每ー迭代中使用冪因式分解解算器直至收斂。這種冪因式分解方法適用于完整矩陣尤或者適用于具有遺漏的值的矩陣X。在圖4B中，業(yè)務(wù)矩陣Z、它的掩模矩陣#和閾值ε (用于擬合誤差差值的收斂準(zhǔn)則的閾值)是經(jīng)冪因式分解殘差(REPFRE)過(guò)程的秩估計(jì)的輸入400。REPFRE過(guò)程在塊410中開始于設(shè)置秩r等于1，設(shè)置んむ、兄@等于圖4A的冪因式分解過(guò)程PF，并計(jì)算秩r的擬合誤差し作為IIMiJT-為^床* >||。在塊420中，秩r被設(shè)置為等于r+Ι。在塊430中，んむU皮
設(shè)置為等于圖4A的冪因式分解過(guò)程PF，計(jì)算秩(r+1)的擬合誤差し作為
，并且計(jì)算誤差差值ゴ作為。在塊440,確定差值￠/是否小于閾值ε 0如
果差值ゴ小于閾值ε，則在輸出450把估計(jì)的矩陣Z的秩設(shè)置為秩r，其中秩r是應(yīng)用的數(shù)量。如果差值i/不小于閾值ε，則在流線460重復(fù)REPFRE過(guò)程的塊420、430和440。再次參照?qǐng)D3的塊360，控制器110的依賴性分解単元114可使用非負(fù)矩陣因式分解(NMF)在高維業(yè)務(wù)數(shù)據(jù)上發(fā)現(xiàn)依賴的應(yīng)用服務(wù)(特征)。NMF是在適用于應(yīng)用模式組合的非負(fù)加性性質(zhì)的非負(fù)性約束下的矩陣因式分解的無(wú)監(jiān)瞀學(xué)習(xí)算法。給定非負(fù)矩陣ムNMF找到非負(fù)/ *r矩陣/f和非負(fù)rMn矩陣仏以使
\* - uf . H
n*m rr if*r 11 r*m 。因?yàn)榫仃嘮代表隨著時(shí)間測(cè)量的業(yè)務(wù)，所以矩陣r中的每個(gè)列向量能夠用于解釋應(yīng)用依賴性子圖，其中不同鏈路,レ/和上的業(yè)務(wù)量保持一些線性相關(guān)。矩陣"中的每個(gè)列向量指示在毎次快照的不同請(qǐng)求工作量的范圍r應(yīng)用的權(quán)重。在一個(gè)實(shí)施例中，選擇下面的乘法更新規(guī)則以使目標(biāo)函數(shù)||1 — 最小化從而獲得矩陣r和"
權(quán)利要求
1.一種用于在具有多個(gè)服務(wù)器和多個(gè)不同應(yīng)用的數(shù)據(jù)中心中確定應(yīng)用依賴性路徑的方法，每個(gè)應(yīng)用具有多個(gè)部件，與一個(gè)或多個(gè)其它應(yīng)用共享ー個(gè)或多個(gè)部件，該方法包括下述步驟 捕捉服務(wù)器上的應(yīng)用業(yè)務(wù)量數(shù)據(jù)； 基于應(yīng)用業(yè)務(wù)量數(shù)據(jù)產(chǎn)生應(yīng)用的所有部件的應(yīng)用業(yè)務(wù)矩陣； 從業(yè)務(wù)矩陣估計(jì)數(shù)據(jù)中心中的應(yīng)用的數(shù)量；以及 使用估計(jì)的應(yīng)用的數(shù)量把業(yè)務(wù)矩陣分解為第一矩陣和第二矩陣，第一矩陣代表屬于每個(gè)應(yīng)用的部件的集合，并且第二矩陣代表隨著時(shí)間過(guò)去由每個(gè)應(yīng)用產(chǎn)生的業(yè)務(wù)的量。
2.根據(jù)權(quán)利要求I所述的方法，其中在空間域和時(shí)間域中執(zhí)行所述捕捉服務(wù)器上的應(yīng)用業(yè)務(wù)量數(shù)據(jù)的步驟。
3.根據(jù)權(quán)利要求I所述的方法，其中所述產(chǎn)生應(yīng)用業(yè)務(wù)矩陣的步驟包括產(chǎn)生用于應(yīng)用的組的應(yīng)用連通性圖，連通性圖由應(yīng)用業(yè)務(wù)矩陣代表。
4.根據(jù)權(quán)利要求I所述的方法，其中經(jīng)奇異值分解或冪因式分解殘差過(guò)程利用秩估計(jì)執(zhí)行所述估計(jì)應(yīng)用的數(shù)量的步驟。
5.根據(jù)權(quán)利要求4所述的方法，其中經(jīng)冪因式分解殘差過(guò)程的秩估計(jì)使用冪因式分解過(guò)程。
6.根據(jù)權(quán)利要求I所述的方法，其中利用非負(fù)矩陣因式分解過(guò)程執(zhí)行所述分解業(yè)務(wù)矩陣的步驟。
7.根據(jù)權(quán)利要求I所述的方法，還包括下述步驟從第一矩陣和第二矩陣去除噪聲。
8.根據(jù)權(quán)利要求7所述的方法，其中利用基于并發(fā)容量比的相關(guān)過(guò)程執(zhí)行所述去除噪聲的步驟。
9.一種用于在具有多個(gè)服務(wù)器和多個(gè)不同應(yīng)用的數(shù)據(jù)中心中確定應(yīng)用依賴性路徑的系統(tǒng)，每個(gè)應(yīng)用具有多個(gè)部件，與一個(gè)或多個(gè)其它應(yīng)用共享ー個(gè)或多個(gè)部件，該系統(tǒng)包括 數(shù)據(jù)收集部件；和 控制器，與數(shù)據(jù)收集部件處于數(shù)據(jù)通信； 數(shù)據(jù)收集部件包括 多個(gè)交換機(jī)，每個(gè)交換機(jī)具有用于捕捉服務(wù)器上的應(yīng)用業(yè)務(wù)量數(shù)據(jù)的鏡像端ロ ；和 監(jiān)測(cè)代理，用于監(jiān)測(cè)每個(gè)鏡像端ロ ； 控制器包括 預(yù)處理単元，用于基于由監(jiān)測(cè)服務(wù)器捕捉的應(yīng)用業(yè)務(wù)量數(shù)據(jù)產(chǎn)生應(yīng)用的所有部件的應(yīng)用業(yè)務(wù)矩陣； 應(yīng)用分解単元，用于從由連通性繪圖單元產(chǎn)生的業(yè)務(wù)矩陣估計(jì)數(shù)據(jù)中心中的應(yīng)用的數(shù)量，并用于使用估計(jì)的應(yīng)用的數(shù)量把業(yè)務(wù)矩陣分解為第一矩陣和第二矩陣，第一矩陣代表屬于每個(gè)應(yīng)用的部件的集合，并且第二矩陣代表隨著時(shí)間過(guò)去由每個(gè)應(yīng)用產(chǎn)生的業(yè)務(wù)的量。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述交換機(jī)在空間域和時(shí)間域中捕捉應(yīng)用業(yè)務(wù)量數(shù)據(jù)。
11.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述應(yīng)用業(yè)務(wù)矩陣代表用于應(yīng)用的組的應(yīng)用連通性圖。
12.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述應(yīng)用分解單元經(jīng)奇異值分解或冪因式分解殘差過(guò)程執(zhí)行秩估計(jì)以估計(jì)數(shù)據(jù)中心中的應(yīng)用的數(shù)量。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中經(jīng)冪因式分解殘差過(guò)程的秩估計(jì)使用冪因式分解過(guò)程。
14.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述應(yīng)用分解單元執(zhí)行非負(fù)矩陣因式分解過(guò)程以把業(yè)務(wù)矩陣分解為第一矩陣和第二矩陣。
15.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述控制器還包括后處理單元，用于從第一矩陣和第二矩陣去除噪聲。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述后處理單元執(zhí)行基于并發(fā)容量比的相關(guān)過(guò)程以從第一矩陣和第二矩陣去除噪聲。
全文摘要
本發(fā)明公開了一種用于在數(shù)據(jù)中心中確定應(yīng)用依賴性路徑的方法和系統(tǒng)。該方法和系統(tǒng)利用交換機(jī)和監(jiān)測(cè)代理捕捉服務(wù)器上的應(yīng)用業(yè)務(wù)量數(shù)據(jù)；基于應(yīng)用業(yè)務(wù)量數(shù)據(jù)產(chǎn)生應(yīng)用的所有部件的應(yīng)用業(yè)務(wù)矩陣；經(jīng)奇異值分解或冪因式分解殘差過(guò)程利用秩估計(jì)從業(yè)務(wù)矩陣估計(jì)數(shù)據(jù)中心中的應(yīng)用的數(shù)量；以及使用估計(jì)的應(yīng)用的數(shù)量利用非負(fù)矩陣因式分解過(guò)程把業(yè)務(wù)矩陣分解為第一矩陣和第二矩陣。第一矩陣代表屬于每個(gè)應(yīng)用的部件的集合，并且第二矩陣代表隨著時(shí)間過(guò)去由每個(gè)應(yīng)用產(chǎn)生的業(yè)務(wù)的量。利用基于并發(fā)容量比的相關(guān)過(guò)程去除第一矩陣和第二矩陣中的任何噪聲。
文檔編號(hào)G06F15/16GK102870092SQ201180022838
公開日2013年1月9日 申請(qǐng)日期2011年5月5日 優(yōu)先權(quán)日2010年5月6日
發(fā)明者M.丁, V.辛赫, Y.張, G.姜 申請(qǐng)人:美國(guó)日本電氣實(shí)驗(yàn)室公司