專利名稱：分布式數(shù)據(jù)加載調(diào)度方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機(jī)領(lǐng)域中分布式系統(tǒng)，具體地，涉及分布式數(shù)據(jù)加載調(diào)度的方法及系統(tǒng)。
背景技術(shù)：
在現(xiàn)有的分布式數(shù)據(jù)加載系統(tǒng)中，其數(shù)據(jù)加載方式主要包括:隨機(jī)配置:如圖1所示，源數(shù)據(jù)節(jié)點和存儲節(jié)點一對一配置，在進(jìn)行數(shù)據(jù)加載之前，隨機(jī)選擇一個源數(shù)據(jù)節(jié)點和一個存儲節(jié)點的組合，在數(shù)據(jù)加載開始后，各個源數(shù)據(jù)節(jié)點與各個存儲節(jié)點之間的連接關(guān)系就是靜態(tài)不變的。高可靠性配置:如圖2所示，在進(jìn)行數(shù)據(jù)加載之前，為每一個源數(shù)據(jù)節(jié)點分配兩個或多個存儲節(jié)點，同時發(fā)送數(shù)據(jù)，一個存儲節(jié)點可以接收多個源數(shù)據(jù)節(jié)點的數(shù)據(jù)；在數(shù)據(jù)加載開始后，各個源數(shù)據(jù)節(jié)點與各個存儲節(jié)點之間的連接關(guān)系就是靜態(tài)不變的。該方式可以提高系統(tǒng)可靠性，避免因存儲節(jié)點損壞而使得源數(shù)據(jù)節(jié)點的數(shù)據(jù)加載不成功?，F(xiàn)有的上述配置方式，首先，采用靜態(tài)的配置方式，一旦配置完成就無法進(jìn)行動態(tài)修改；其次，系統(tǒng)利用率低，無法充分利用系統(tǒng)資源，導(dǎo)致系統(tǒng)的加載效率較低。

發(fā)明內(nèi)容
本發(fā)明的目的是針對現(xiàn)有技術(shù)中分布式系統(tǒng)數(shù)據(jù)加載效率較低的缺陷，提出一種分布式數(shù)據(jù)加載調(diào)度的方法及系統(tǒng)。為實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了 一種分布式數(shù)據(jù)加載調(diào)度方法。根據(jù)本發(fā)明實施例的分布式數(shù)據(jù)加載調(diào)度方法，包括:控制節(jié)點實時收集源加載節(jié)點和目的加載節(jié)點的運(yùn)行狀態(tài)信息；控制節(jié)點根據(jù)運(yùn)行狀態(tài)信息，生成配置更新信息下發(fā)給源加載節(jié)點和目的加載節(jié)
占.
其中，控制節(jié)點位于分布式系統(tǒng)中。在上述技術(shù)方案中，如果分布式系統(tǒng)中還包括控制節(jié)點集群，則方法還包括:控制節(jié)點將配置更新信息上報給控制節(jié)點集群，經(jīng)過控制節(jié)點集群確認(rèn)通過后，由控制節(jié)點將配置更新信息下發(fā)給源加載節(jié)點和目的加載節(jié)點。在上述技術(shù)方案中，方法還包括:在分布式系統(tǒng)的數(shù)據(jù)源側(cè)部署源加載節(jié)點，該源加載節(jié)點與數(shù)據(jù)源中的源數(shù)據(jù)節(jié)點相耦合，獲取源數(shù)據(jù)節(jié)點中的數(shù)據(jù)，并將該數(shù)據(jù)進(jìn)行封裝處理；在分布式系統(tǒng)的存儲側(cè)部署目的加載節(jié)點，該目的加載節(jié)點與存儲側(cè)的存儲節(jié)點相稱合，接收來自源加載節(jié)點的數(shù)據(jù)，導(dǎo)入到存儲節(jié)點內(nèi)。在上述技術(shù)方案中，控制節(jié)點根據(jù)運(yùn)行狀態(tài)信息，生成配置更新信息的步驟包括:控制節(jié)點根據(jù)運(yùn)行狀態(tài)信息，動態(tài)的對每個源加載節(jié)點和目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新，生成配置更新信息。在上述技術(shù)方案中，控制節(jié)點根據(jù)運(yùn)行狀態(tài)信息，動態(tài)的對每個源加載節(jié)點和目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新的步驟包括:控制節(jié)點根據(jù)負(fù)載情況動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新；或者，控制節(jié)點根據(jù)節(jié)點健康情況動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新。在上述技術(shù)方案中，控制節(jié)點根據(jù)負(fù)載情況動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新具體包括:在海量數(shù)據(jù)加載情況下，在控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，源加載節(jié)點將自身的數(shù)據(jù)按數(shù)據(jù)量大小分成多份，并將該數(shù)據(jù)按份分配給多個目的加載節(jié)點處理。在上述技術(shù)方案中，控制節(jié)點根據(jù)節(jié)點健康情況動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新具體包括:在源加載節(jié)點增加的情況下，在控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，源加載節(jié)點將增加的任務(wù)均衡的分配給目的加載節(jié)點；在目的加載節(jié)點增加或目的加載節(jié)點的處理任務(wù)不均時，在控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，源加載節(jié)點將自身中未處理的任務(wù)重新進(jìn)行分配。在上述技術(shù)方案中，控制節(jié)點根據(jù)節(jié)點健康情況動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新具體還包括:在目的加載節(jié)點出現(xiàn)失效的情況下，在控制節(jié)點配置的網(wǎng)絡(luò)下，源加載節(jié)點將由該失效目的加載節(jié)點負(fù)責(zé)處理的未完成任務(wù)分配給其它空閑或任務(wù)負(fù)擔(dān)較輕的目的加載節(jié)點。為實現(xiàn)上述目的，根據(jù)本發(fā)明的另一個方面，提供了分布式數(shù)據(jù)加載調(diào)度系統(tǒng)。根據(jù)本發(fā)明實施例的分布式數(shù)據(jù)加載調(diào)度系統(tǒng)，包括:控制節(jié)點，位于分布式系統(tǒng)中，用于實時收集源加載節(jié)點和目的加載節(jié)點的運(yùn)行狀態(tài)信息，根據(jù)運(yùn)行狀態(tài)信息，生成配置更新信息下發(fā)給源加載節(jié)點和目的加載節(jié)點。在上述技術(shù)方案中，分布式系統(tǒng)中還包括控制節(jié)點集群:控制節(jié)點集群，用于接收控制節(jié)點上報的配置更新信息，并對配置更新信息進(jìn)行確認(rèn)。在上述技術(shù)方案中，系統(tǒng)包括源加載節(jié)點和目的加載節(jié)點，源加載節(jié)點與分布式系統(tǒng)的數(shù)據(jù)源中的源數(shù)據(jù)節(jié)點相耦合，目的加載節(jié)點與分布式系統(tǒng)的存儲側(cè)的存儲節(jié)點相率禹合:源加載節(jié)點，用于獲取源數(shù)據(jù)節(jié)點中的數(shù)據(jù)，并將該數(shù)據(jù)進(jìn)行封裝處理；目的加載節(jié)點，用于接收來自源加載節(jié)點的數(shù)據(jù)，導(dǎo)入到存儲節(jié)點內(nèi)。在上述技術(shù)方案中，控制節(jié)點包括:信息收集模塊，用于實時收集源加載節(jié)點和目的加載節(jié)點的運(yùn)行狀態(tài)信息；配置更新模塊，用于根據(jù)運(yùn)行狀態(tài)信息，動態(tài)的對每個源加載節(jié)點和目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新，生成配置更新信息；信息下發(fā)模塊，用于將生成的配置更新信息下發(fā)給源加載節(jié)點和目的加載節(jié)點。
在上述技術(shù)方案中，源加載節(jié)點包括:
數(shù)據(jù)分割模塊，用于在海量數(shù)據(jù)加載情況下，在控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎拢瑢⒃醇虞d節(jié)點的數(shù)據(jù)按數(shù)據(jù)量大小分成多份；
任務(wù)分配模塊，用于將該數(shù)據(jù)按份分配給多個目的加載節(jié)點處理。
在上述技術(shù)方案中，源加載節(jié)點還包括:
任務(wù)分配模塊，用于在源加載節(jié)點增加的情況下，在控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，將增加的任?wù)均衡的分配給目的加載節(jié)點，在目的加載節(jié)點增加或目的加載節(jié)點的處理任務(wù)不均時，在控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎拢瑢⒃醇虞d節(jié)點中未處理的任務(wù)重新進(jìn)行分配。
在上述技術(shù)方案中，源加載節(jié)點還包括:
任務(wù)分配模塊，用于在目的加載節(jié)點出現(xiàn)失效的情況下，在控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，將由該失效目的加載節(jié)點負(fù)責(zé)處理的未完成任務(wù)分配給其它空閑或任務(wù)負(fù)擔(dān)較輕的目的加載節(jié)點。
本發(fā)明的分布式數(shù)據(jù)加載調(diào)度方法和系統(tǒng)，采用動態(tài)拓?fù)渖珊妥詣诱{(diào)度方法，由于采用靈活的配置更新策略，保證了系統(tǒng)的負(fù)載均衡和高可靠性，提高了系統(tǒng)吞吐率，提高了數(shù)據(jù)加載的效率。
本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。
下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。


附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中:
圖1為現(xiàn)有技術(shù)中隨機(jī)配置的數(shù)據(jù)加載方式的結(jié)構(gòu)示意圖2為現(xiàn)有技術(shù)中高可靠性配置的數(shù)據(jù)加載方式的結(jié)構(gòu)示意圖3為本發(fā)明分布式數(shù)據(jù)加載調(diào)度系統(tǒng)的結(jié)構(gòu)示意圖4為根據(jù)本發(fā)明負(fù)載均衡配置舉例的示意圖5為根據(jù)本發(fā)明高吞吐率配置舉例的示意圖6為根據(jù)本發(fā)明分布式數(shù)據(jù)加載調(diào)度方法實施例一的流程示意圖7為根據(jù)本發(fā)明分布式數(shù)據(jù)加載調(diào)度方法實施例二的流程示意圖8為根據(jù)本發(fā)明分布式數(shù)據(jù)加載調(diào)度系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施方式
以下結(jié)合附圖對本發(fā)明的優(yōu)選實施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。
如圖3所示，本發(fā)明的分布式數(shù)據(jù)加載調(diào)度系統(tǒng)包括:
一個以上Source節(jié)點(源加載節(jié)點):部署在數(shù)據(jù)源側(cè)，每個源加載節(jié)點與分布式數(shù)據(jù)源(可以是分布式數(shù)據(jù)庫或者分布式文件系統(tǒng))中的一個源數(shù)據(jù)節(jié)點相耦合，并用于獲取該源數(shù)據(jù)節(jié)點中的數(shù)據(jù)，將該數(shù)據(jù)進(jìn)行封裝，通過網(wǎng)絡(luò)發(fā)送給對應(yīng)的一個或多個目的加載節(jié)點；一個以上Dest節(jié)點(目的加載節(jié)點):部署在存儲側(cè)，每個目的加載節(jié)點與分布式存儲系統(tǒng)(可以是分布式數(shù)據(jù)庫或者分布式文件系統(tǒng))中的一個存儲節(jié)點相耦合，并用于接收對應(yīng)的源加載節(jié)點所發(fā)送的數(shù)據(jù)，將該數(shù)據(jù)導(dǎo)入到存儲節(jié)點中；其中，源加載節(jié)點和目的加載節(jié)點之間的數(shù)據(jù)傳輸是通過網(wǎng)絡(luò)進(jìn)行，數(shù)據(jù)源側(cè)的分布式數(shù)據(jù)源和存儲側(cè)的分布式存儲系統(tǒng)可以分別部署在不同的網(wǎng)絡(luò)、機(jī)房或地域中。本系統(tǒng)還包括Master節(jié)點(控制節(jié)點):控制所有Source節(jié)點和Dest節(jié)點的配置信息，并將配置信息通知給所有Source節(jié)點和Dest節(jié)點，配置信息決定分布式數(shù)據(jù)加載調(diào)度系統(tǒng)的拓?fù)浣Y(jié)構(gòu)，即哪個Source節(jié)點的數(shù)據(jù)發(fā)送給哪個Dest節(jié)點；控制節(jié)點動態(tài)的對每個源加載節(jié)點和目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新，配置更新策略包括:根據(jù)負(fù)載情況動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置；或者，根據(jù)節(jié)點健康情況動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置；或者，根據(jù)負(fù)載情況和節(jié)點健康情況來動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置。配置更新舉例:I)負(fù)載均衡配置:在海量數(shù)據(jù)加載的情況下，Source節(jié)點將自身的數(shù)據(jù)按數(shù)據(jù)量大小分成多份，由多個Dest節(jié)點按份接收處理,每個Dest節(jié)點也可以接收多個Source節(jié)點的數(shù)據(jù)；在本情形中,Master節(jié)點指示Source節(jié)點將按份分好的數(shù)據(jù)任務(wù)均衡的分配給Dest節(jié)點，保證了系統(tǒng)的負(fù)載均衡,避免了某些Source節(jié)點和Dest節(jié)點處理的數(shù)據(jù)量過大，成為系統(tǒng)性能的瓶頸；如果Master節(jié)點發(fā)現(xiàn)Source節(jié)點數(shù)量增加，Master節(jié)點將指示Source節(jié)點將增加的任務(wù)按照負(fù)載均衡原則分配給Dest節(jié)點；如果Master節(jié)點發(fā)現(xiàn)Dest節(jié)點數(shù)量增加或者Dest節(jié)點的處理任務(wù)不均時，Master節(jié)點將指示Source節(jié)點將自身未處理的任務(wù)重新進(jìn)行分配,達(dá)到負(fù)載均衡,如圖4所示。配置更新內(nèi)容如下:(由控制節(jié)點進(jìn)行配置)Sourcel destl、dest2、destMSource2 dest2。。。SourceN destl、destM2)高吞吐率配置:本配置方式可以與上述負(fù)載均衡配置中的各種情況配合使用，Master節(jié)點根據(jù)實時收集的Source節(jié)點和Dest節(jié)點狀態(tài),動態(tài)更新配置，自動調(diào)度Source節(jié)點和Dest節(jié)點。Source節(jié)點和Dest節(jié)點的運(yùn)行狀態(tài)信息包括:節(jié)點名、是否正常工作、數(shù)據(jù)傳輸
吞吐率等。如果Master節(jié)點發(fā)現(xiàn)某個Dest節(jié)點失效,可指示Source節(jié)點將失效Dest節(jié)點的未完成的任務(wù)重新分配給其它空閑或負(fù)擔(dān)較輕的Dest節(jié)點，如圖5所示。
配置信息修改為如下:
Sourcel destM、dest2
Source2 dest2、destM
。。。
SourceN dest2、destM
為了避免Master節(jié)點的單點故障,也為了應(yīng)對Source節(jié)點和Dest節(jié)點規(guī)模增長導(dǎo)致的控制流瓶頸，系統(tǒng)支持多個Master節(jié)點形成Master節(jié)點集群，Master節(jié)點集群中的多個Master節(jié)點間保持?jǐn)?shù)據(jù)一致性，以確保Master節(jié)點的備份。
本發(fā)明的分布式數(shù)據(jù)加載調(diào)度系統(tǒng)，還可以適配分布式數(shù)據(jù)源和分布式存儲系統(tǒng)在存儲格式(以什么方式存儲，如序列化方式)、數(shù)據(jù)格式(數(shù)據(jù)內(nèi)容的組織形式，如分隔符)等的不同，并進(jìn)行轉(zhuǎn)換。_9] 方法實施例
根據(jù)本發(fā)明實施例，提供了一種分布式數(shù)據(jù)加載調(diào)度方法，如圖6所示，本實施例包括:
步驟102:根據(jù)系統(tǒng)需求，配置Source節(jié)點和Dest節(jié)點，以及配置分布式數(shù)據(jù)加載調(diào)度系統(tǒng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的初始狀態(tài)；
步驟104:Master節(jié)點實時收集Source節(jié)點和Dest節(jié)點的運(yùn)行狀態(tài)信息；
步驟106:Master節(jié)點根據(jù)收集到的Source節(jié)點和Dest節(jié)點的運(yùn)行狀態(tài)信息,生成配置更新信息，通知Source節(jié)點和Dest節(jié)點；
步驟108:Source節(jié)點和Dest節(jié)點按照配置更新信息繼續(xù)完成數(shù)據(jù)加載任務(wù),如果數(shù)據(jù)加載未完成，則轉(zhuǎn)向步驟104，否則，結(jié)束加載。
根據(jù)本發(fā)明實施例，提供了另一種分布式數(shù)據(jù)加載調(diào)度方法，如圖7所示，本實施例包括:
步驟202:根據(jù)系統(tǒng)需求，配置Source節(jié)點和Dest節(jié)點，以及配置分布式數(shù)據(jù)加載調(diào)度系統(tǒng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的初始狀態(tài)；
步驟204:Master節(jié)點實時收集Source節(jié)點和Dest節(jié)點的運(yùn)行狀態(tài)信息；
步驟206:Master節(jié)點根據(jù)收集到的Source節(jié)點和Dest節(jié)點的運(yùn)行狀態(tài)信息,生成配置更新信息上報給Master節(jié)點集群；
步驟208 =Master節(jié)點集群最終通過一個關(guān)于配置更新信息的一致性決策；
步驟210:Master節(jié)點通知Source節(jié)點和Dest節(jié)點配置更新信息；
步驟212 =Source節(jié)點和Dest節(jié)點按照配置更新信息繼續(xù)完成數(shù)據(jù)加載任務(wù)，如果數(shù)據(jù)加載未完成，則轉(zhuǎn)向步驟204，否則，結(jié)束加載。
需要說明的是，在圖6和圖7的實施例中，Master節(jié)點只能控制Source節(jié)點和Dest節(jié)點之間的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。Master節(jié)點不能控制Source節(jié)點的任務(wù)分配,該任務(wù)分配包括:分布式系統(tǒng)新增了 Source節(jié)點,如何將新增Source節(jié)點部署在數(shù)據(jù)源側(cè)的一個節(jié)點上,如何獲取數(shù)據(jù)加載任務(wù)，Source節(jié)點如何將數(shù)據(jù)按數(shù)據(jù)大小分成多份，以及Dest節(jié)點如何部署在存儲側(cè)的一個節(jié)點上，等等。
本發(fā)明的分布式數(shù)據(jù)加載調(diào)度方法，采用動態(tài)拓?fù)渖珊妥詣诱{(diào)度方法，由于采用靈活的配置更新策略，保證了系統(tǒng)的負(fù)載均衡和高可靠性，提高了系統(tǒng)吞吐率，提高了數(shù)據(jù)加載的效率。系統(tǒng)實施例根據(jù)本發(fā)明實施例，提供了 一種分布式數(shù)據(jù)加載調(diào)度系統(tǒng)。如圖3和圖8所示，本實施例包括:控制節(jié)點10，位于分布式系統(tǒng)中，用于實時收集源加載節(jié)點和目的加載節(jié)點的運(yùn)行狀態(tài)信息，根據(jù)所述運(yùn)行狀態(tài)信息，生成配置更新信息下發(fā)給源加載節(jié)點和目的加載節(jié)點。分布式系統(tǒng)中還包括控制節(jié)點集群:控制節(jié)點集群，用于接收控制節(jié)點10上報的配置更新信息，并對配置更新信息進(jìn)行確認(rèn)。系統(tǒng)包括源加載節(jié)點和目的加載節(jié)點，源加載節(jié)點與分布式系統(tǒng)的數(shù)據(jù)源中的源數(shù)據(jù)節(jié)點相耦合，目的加載節(jié)點與分布式系統(tǒng)的存儲側(cè)的存儲節(jié)點相耦合:源加載節(jié)點20，用于獲取源數(shù)據(jù)節(jié)點中的數(shù)據(jù)，并將該數(shù)據(jù)進(jìn)行封裝處理；目的加載節(jié)點，用于接收來自源加載節(jié)點20的數(shù)據(jù)，導(dǎo)入到存儲節(jié)點內(nèi)。控制節(jié)點10包括:信息收集模塊11，用于實時收集源加載節(jié)點和目的加載節(jié)點的運(yùn)行狀態(tài)信息；配置更新模塊12，用于根據(jù)運(yùn)行狀態(tài)信息，動態(tài)的對每個源加載節(jié)點和目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新，生成配置更新信息；信息下發(fā)模塊13，用于將生成的配置更新信息下發(fā)給源加載節(jié)點和目的加載節(jié)點。源加載節(jié)點20包括:數(shù)據(jù)分割模塊21，用于在海量數(shù)據(jù)加載情況下，在控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，將源加載節(jié)點的數(shù)據(jù)按數(shù)據(jù)量大小分成多份；任務(wù)分配模塊22，用于將該數(shù)據(jù)按份分配給多個目的加載節(jié)點處理。源加載節(jié)點20還包括:任務(wù)分配模塊22，還用于在源加載節(jié)點增加的情況下，在控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，將增加的任?wù)均衡的分配給目的加載節(jié)點，在目的加載節(jié)點增加或目的加載節(jié)點的處理任務(wù)不均時，在控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，將源加載節(jié)點中未處理的任務(wù)重新進(jìn)行分配。源加載節(jié)點20還包括:任務(wù)分配模塊22，還用于在目的加載節(jié)點出現(xiàn)失效的情況下，在控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎拢瑢⒂稍撌康募虞d節(jié)點負(fù)責(zé)處理的未完成任務(wù)分配給其它空閑或任務(wù)負(fù)擔(dān)較輕的目的加載節(jié)點。本發(fā)明的分布式數(shù)據(jù)加載調(diào)度系統(tǒng)，采用動態(tài)拓?fù)渖珊妥詣诱{(diào)度方法，由于采用靈活的配置更新策略，保證了系統(tǒng)的負(fù)載均衡和高可靠性，提高了系統(tǒng)吞吐率，提高了數(shù)據(jù)加載的效率。本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括:ROM、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
最后應(yīng)說明的是:以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，盡管參照前述實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，對于本領(lǐng)域的技術(shù)人員來說，其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種分布式數(shù)據(jù)加載調(diào)度方法，其特征在于，包括: 控制節(jié)點實時收集源加載節(jié)點和目的加載節(jié)點的運(yùn)行狀態(tài)信息； 所述控制節(jié)點根據(jù)所述運(yùn)行狀態(tài)信息，生成配置更新信息下發(fā)給所述源加載節(jié)點和目的加載節(jié)點； 其中，所述控制節(jié)點位于分布式系統(tǒng)中。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，如果分布式系統(tǒng)中還包括控制節(jié)點集群，則方法還包括: 所述控制節(jié)點將所述配置更新信息上報給控制節(jié)點集群，經(jīng)過所述控制節(jié)點集群確認(rèn)通過后，由所述控制節(jié)點將所述配置更新信息下發(fā)給所述源加載節(jié)點和目的加載節(jié)點。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括: 在分布式系統(tǒng)的數(shù)據(jù)源側(cè)部署源加載節(jié)點，該源加載節(jié)點與數(shù)據(jù)源中的源數(shù)據(jù)節(jié)點相耦合，獲取所述源數(shù)據(jù)節(jié)點中的數(shù)據(jù)，并將該數(shù)據(jù)進(jìn)行封裝處理； 在分布式系統(tǒng)的存儲側(cè)部署目的加載節(jié)點，該目的加載節(jié)點與存儲側(cè)的存儲節(jié)點相耦合，接收來自所述源加載節(jié)點的數(shù)據(jù)，導(dǎo)入到所述存儲節(jié)點內(nèi)。
4.根據(jù)權(quán)利要求1-3中任意一項所述的方法，其特征在于，所述控制節(jié)點根據(jù)運(yùn)行狀態(tài)信息，生成配置更新信息的步驟包括: 所述控制節(jié)點根據(jù)運(yùn)行狀態(tài)信息，動態(tài)的對每個源加載節(jié)點和目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新，生成配置更新信息。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，控制節(jié)點根據(jù)運(yùn)行狀態(tài)信息，動態(tài)的對每個源加載節(jié)點和目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新的步驟包括: 控制節(jié)點根據(jù)負(fù)載情況動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新；或者， 控制節(jié)點根據(jù)節(jié)點健康情況動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述控制節(jié)點根據(jù)負(fù)載情況動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新具體包括: 在海量數(shù)據(jù)加載情況下，在所述控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，所述源加載節(jié)點將自身的數(shù)據(jù)按數(shù)據(jù)量大小分成多份，并將該數(shù)據(jù)按份分配給多個目的加載節(jié)點處理。
7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述控制節(jié)點根據(jù)節(jié)點健康情況動態(tài)的對每個源加載節(jié)點和每個目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新具體包括: 在所述源加載節(jié)點增加的情況下，在所述控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，所述源加載節(jié)點將增加的任務(wù)均衡的分配給所述目的加載節(jié)點； 在所述目的加載節(jié)點增加或所述目的加載節(jié)點的處理任務(wù)不均時，在所述控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，所述源加載節(jié)點將自身中未處理的任務(wù)重新進(jìn)行分配； 在所述目的加載節(jié)點出現(xiàn)失效的情況下，在所述控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，所述源加載節(jié)點將由該失效目的加載節(jié)點負(fù)責(zé)處理的未完成任務(wù)分配給其它空閑或任務(wù)負(fù)擔(dān)較輕的目的加載節(jié)點。
8.一種分布式數(shù)據(jù)加載調(diào)度系統(tǒng)，其特征在于，包括: 控制節(jié)點，位于分布式系統(tǒng)中，用于實時收集源加載節(jié)點和目的加載節(jié)點的運(yùn)行狀態(tài)信息，根據(jù)所述運(yùn)行狀態(tài)信息，生成配置更新信息下發(fā)給所述源加載節(jié)點和目的加載節(jié)點。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，分布式系統(tǒng)中還包括控制節(jié)點集群: 所述控制節(jié)點集群，用于接收所述控制節(jié)點上報的配置更新信息，并對所述配置更新信息進(jìn)行確認(rèn)。
10.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，包括源加載節(jié)點和目的加載節(jié)點，所述源加載節(jié)點與分布式系統(tǒng)的數(shù)據(jù)源中的源數(shù)據(jù)節(jié)點相耦合，所述目的加載節(jié)點與分布式系統(tǒng)的存儲側(cè)的存儲節(jié)點相耦合: 所述源加載節(jié)點，用于獲取所述源數(shù)據(jù)節(jié)點中的數(shù)據(jù)，并將該數(shù)據(jù)進(jìn)行封裝處理；所述目的加載節(jié)點，用于接收來自所述源加載節(jié)點的數(shù)據(jù)，導(dǎo)入到所述存儲節(jié)點內(nèi)。
11.根據(jù)權(quán)利要求8-10中任意一項所述的系統(tǒng)，其特征在于，所述控制節(jié)點包括: 信息收集模塊，用于實時收集源加載節(jié)點和目的加載節(jié)點的運(yùn)行狀態(tài)信息； 配置更新模塊，用于根據(jù)運(yùn)行狀態(tài)信息，動態(tài)的對每個源加載節(jié)點和目的加載節(jié)點之間的網(wǎng)絡(luò)拓?fù)溥M(jìn)行配置更新，生成配置更新信息；信息下發(fā)模塊，用于將生成的配置更新信息下發(fā)給所述源加載節(jié)點和目的加載節(jié)點。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其特征在于，所述源加載節(jié)點包括: 數(shù)據(jù)分割模塊，用于在海量數(shù)據(jù)加載情況下，在所述控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎拢瑢⒃醇虞d節(jié)點的數(shù)據(jù)按數(shù)據(jù)量大小分成多份； 任務(wù)分配模塊，用于將該數(shù)據(jù)按份分配給多個目的加載節(jié)點處理。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其特征在于，所述源加載節(jié)點還包括: 任務(wù)分配模塊，用于在所述源加載節(jié)點增加的情況下，在所述控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎?，將增加的任?wù)均衡的分配給所述目的加載節(jié)點，在所述目的加載節(jié)點增加或所述目的加載節(jié)點的處理任務(wù)不均時，在所述控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎拢瑢⑺鲈醇虞d節(jié)點中未處理的任務(wù)重新進(jìn)行分配， 在所述目的加載節(jié)點出現(xiàn)失效的情況下，在所述控制節(jié)點配置的網(wǎng)絡(luò)拓?fù)湎拢瑢⒂稍撌康募虞d節(jié)點負(fù)責(zé)處理的未完成任務(wù)分配給其它空閑或任務(wù)負(fù)擔(dān)較輕的目的加載節(jié)點。
全文摘要
本發(fā)明公開了一種分布式數(shù)據(jù)加載調(diào)度的方法及系統(tǒng)，其中，該方法包括控制節(jié)點實時收集源加載節(jié)點和目的加載節(jié)點的運(yùn)行狀態(tài)信息；控制節(jié)點根據(jù)運(yùn)行狀態(tài)信息，生成配置更新信息下發(fā)給源加載節(jié)點和目的加載節(jié)點；其中，控制節(jié)點位于分布式系統(tǒng)中。本發(fā)明的分布式數(shù)據(jù)加載調(diào)度方法和系統(tǒng)，采用動態(tài)拓?fù)渖珊妥詣诱{(diào)度方法，由于采用靈活的配置更新策略，保證了系統(tǒng)的負(fù)載均衡和高可靠性，提高了系統(tǒng)吞吐率，提高了數(shù)據(jù)加載的效率。
文檔編號H04L29/08GK103188161SQ201110453878
公開日2013年7月3日 申請日期2011年12月30日 優(yōu)先權(quán)日2011年12月30日
發(fā)明者高丹, 錢嶺, 齊驥, 郭磊濤, 周大 申請人:中國移動通信集團(tuán)公司