本發(fā)明涉及大數(shù)據(jù)，特別涉及一種基于hadoop的數(shù)據(jù)處理方法。

背景技術(shù)：

云計算通過互聯(lián)網(wǎng)將龐大的數(shù)據(jù)存儲和計算處理程序分布到集群系統(tǒng)的計算機中，并且提供相應(yīng)的應(yīng)用程序服務(wù)。用戶在對資源提交訪問請求時，系統(tǒng)能夠自動地將請求切換到實際的存放資源的計算機和存儲系統(tǒng)。虛擬化技術(shù)的云計算平臺在海量數(shù)據(jù)處理方面取得了令人滿意的成果。但云計算將海量數(shù)據(jù)分布在大規(guī)模集群上進行并行處理，由于目前主流云計算平臺底層采用虛擬化技術(shù)，其上所有軟件和應(yīng)用均運行在虛擬硬件之上，這種策略必然帶來一定程度上的性能降低。而且mapreduce內(nèi)部實現(xiàn)機制是采用先存儲數(shù)據(jù)再讀出轉(zhuǎn)發(fā)處理的策略，當中間數(shù)據(jù)量變大、個數(shù)增多時，這種模式必然產(chǎn)生大量的無用的磁盤i/o操作；如果數(shù)據(jù)在遠端，這樣會增加網(wǎng)絡(luò)負載；如果數(shù)據(jù)在本地，則會受i/o瓶頸限制，從而降低了任務(wù)執(zhí)行的效率。

技術(shù)實現(xiàn)要素：

為解決上述現(xiàn)有技術(shù)所存在的問題，本發(fā)明提出了一種基于hadoop的數(shù)據(jù)處理方法，包括：

使用異構(gòu)硬件架設(shè)云基礎(chǔ)設(shè)施服務(wù)層，基于多級容錯的并行計算接口建立分布式計算架構(gòu)。

優(yōu)選地，所述基于hadoop的云計算平臺架構(gòu)包括異構(gòu)計算節(jié)點、基于并行計算接口的容錯單元、監(jiān)控模塊、作業(yè)管理模塊、任務(wù)管理模塊、分布式數(shù)據(jù)庫和mapreduce計算框架；

所述作業(yè)管理模塊，用于保存作業(yè)隊列，管理作業(yè)的調(diào)度，監(jiān)控作業(yè)的執(zhí)行，支持遠程作業(yè)提交以及結(jié)果返回；所述監(jiān)控模塊，用于管理可用主機列表，發(fā)現(xiàn)異常節(jié)點并根據(jù)負載情況對節(jié)點排序，首先選擇負載最小的節(jié)點執(zhí)行任務(wù)；所述任務(wù)管理模塊用于任務(wù)劃分和分配調(diào)度，任務(wù)執(zhí)行，收集并返回結(jié)果。

優(yōu)選地，所述作業(yè)管理模塊中包含作業(yè)通信子模塊，根據(jù)用戶交互，實現(xiàn)作業(yè)提交與結(jié)果反饋；作業(yè)通信子模塊初始化后，依照用戶的設(shè)定，需要綁定的本地套接服務(wù)器地址以及作業(yè)管理子模塊的套接服務(wù)器遠程地址，并創(chuàng)建兩個工作線程：等待線程：循環(huán)等待接收來自任務(wù)管理模塊反饋的作業(yè)結(jié)果；發(fā)送線程，一旦用戶提交了新作業(yè)，基于作業(yè)管理子模塊的服務(wù)器地址，借助套接字把用戶輸入的作業(yè)打包發(fā)送給作業(yè)管理子模塊；作業(yè)管理子模塊等待作業(yè)通信子模塊提交給自己的作業(yè)；創(chuàng)建兩個工作線程：解析線程，維護本地的套接服務(wù)器，得到作業(yè)通信子模塊遠程提交的作業(yè)，解析該信息并確認該信息是否符合規(guī)則，將合格的作業(yè)綁定作業(yè)提交者的地址后放置到多優(yōu)先級作業(yè)隊列中，以待被調(diào)度執(zhí)行；掃描線程，循環(huán)掃描多優(yōu)先級作業(yè)隊列以確定隊列中是否有較高優(yōu)先級的作業(yè)，若有較高優(yōu)先級的作業(yè)存在，則取出作業(yè)，依據(jù)作業(yè)構(gòu)造命令行并啟動多個任務(wù)執(zhí)行模塊的進程來完成本次并行計算作業(yè)；循環(huán)等待本次并行計算作業(yè)執(zhí)行結(jié)束；如果是作業(yè)不是正常執(zhí)行完成則判斷發(fā)生異常，則重新調(diào)度執(zhí)行本次作業(yè)。

本發(fā)明相比現(xiàn)有技術(shù)，具有以下優(yōu)點：

本發(fā)明提出了一種基于hadoop的數(shù)據(jù)處理方法，提高了云計算的效率，以滿足高性能云計算的需要。

附圖說明

圖1是根據(jù)本發(fā)明實施例的基于hadoop的數(shù)據(jù)處理方法的流程圖。

具體實施方式

下文與圖示本發(fā)明原理的附圖一起提供對本發(fā)明一個或者多個實施例的詳細描述。結(jié)合這樣的實施例描述本發(fā)明，但是本發(fā)明不限于任何實施例。本發(fā)明的范圍僅由權(quán)利要求書限定，并且本發(fā)明涵蓋諸多替代、修改和等同物。在下文描述中闡述諸多具體細節(jié)以便提供對本發(fā)明的透徹理解。出于示例的目的而提供這些細節(jié)，并且無這些具體細節(jié)中的一些或者所有細節(jié)也可以根據(jù)權(quán)利要求書實現(xiàn)本發(fā)明。

本發(fā)明的一方面提供了一種基于hadoop的數(shù)據(jù)處理方法。圖1是根據(jù)本發(fā)明實施例的基于hadoop的數(shù)據(jù)處理方法流程圖。

本發(fā)明設(shè)計的高性能云計算平臺不經(jīng)過虛擬化，直接使用異構(gòu)計算節(jié)點構(gòu)建云平臺底層；采用增加多級容錯功能的并行計算接口技術(shù)和多線程技術(shù)重寫mapreduce，在計算中避免大量的無用的i/o操作，從而提高了云計算的效率，以滿足高性能云計算的需要。在節(jié)點異構(gòu)環(huán)境下，基于hadoop，使用異構(gòu)硬件架設(shè)云基礎(chǔ)設(shè)施服務(wù)層，實現(xiàn)作業(yè)二次調(diào)度，作業(yè)/任務(wù)回滾和動態(tài)遷移，基于多級容錯并行計算接口的建立mapreduce架構(gòu)。對中間結(jié)果進行直接處理，減少不必要的i/o操作。

本發(fā)明的基于hadoop的云計算平臺架構(gòu)包括異構(gòu)計算節(jié)點、基于并行計算接口的容錯單元、監(jiān)控模塊、作業(yè)管理模塊、任務(wù)管理模塊、分布式數(shù)據(jù)庫和mapreduce計算框架。

作業(yè)管理模塊用于保存作業(yè)隊列，管理作業(yè)的調(diào)度，監(jiān)控作業(yè)的執(zhí)行，提供相應(yīng)的容錯，支持遠程作業(yè)提交以及結(jié)果返回。監(jiān)控模塊用于管理可用主機列表，發(fā)現(xiàn)異常節(jié)點并根據(jù)負載情況對節(jié)點排序，以首先選擇負載最小的節(jié)點執(zhí)行任務(wù)。任務(wù)管理模塊用于任務(wù)劃分和分配調(diào)度，任務(wù)執(zhí)行，收集并返回結(jié)果。

作業(yè)管理模塊中包含作業(yè)通信子模塊，根據(jù)用戶交互，實現(xiàn)作業(yè)提交與結(jié)果反饋；作業(yè)管理子模塊據(jù)作業(yè)的管理和調(diào)度，維護作業(yè)隊列，按優(yōu)先級進行作業(yè)調(diào)度；監(jiān)控模塊據(jù)監(jiān)控所有節(jié)點的運行情況和負載程度，并據(jù)此為任務(wù)執(zhí)行模塊提供所需的主機列表文件。

任務(wù)管理模塊是作業(yè)的具體執(zhí)行模塊，對作業(yè)進行分片，并對分片進行合理調(diào)度，最后收集并反饋計算結(jié)果。任務(wù)管理模塊得到作業(yè)管理與調(diào)度模塊分發(fā)的作業(yè)后，按設(shè)定的策略將作業(yè)劃分成多個任務(wù)，與監(jiān)控模塊進行交互以生成調(diào)度執(zhí)行并行計算任務(wù)所需的主機列表文件；然后基于并行計算接口的動態(tài)進程創(chuàng)建與管理模型，分配符合主機列表文件要求的負載進程主節(jié)點將任務(wù)通過map過程分發(fā)給負載節(jié)點，并從負載節(jié)點那里通過reduce過程得到對應(yīng)的任務(wù)結(jié)果；歸并這些中間結(jié)果就可以得到本次并行計算作業(yè)的最終結(jié)果，最后把這個結(jié)果遠程反饋給任務(wù)提交者。一旦主節(jié)點偵測到某一個負載節(jié)點發(fā)生異常，則與監(jiān)控模塊交互以產(chǎn)生新的主機列表文件，并分配新的負載節(jié)點來接替異常的負載節(jié)點執(zhí)行任務(wù)。

作業(yè)通信子模塊初始化后，依照用戶的設(shè)定，需要綁定的本地套接服務(wù)器地址以及作業(yè)管理子模塊的套接服務(wù)器遠程地址，并創(chuàng)建兩個工作線程：等待線程：循環(huán)等待接收來自任務(wù)管理模塊反饋的作業(yè)結(jié)果；發(fā)送線程，一旦用戶提交了新作業(yè)，基于作業(yè)管理子模塊的服務(wù)器地址，借助套接字把用戶輸入的作業(yè)打包發(fā)送給作業(yè)管理子模塊。

作業(yè)管理子模塊等待作業(yè)通信子模塊提交給自己的作業(yè)。在工作線程中，創(chuàng)建了兩個工作線程。解析線程，用于維護本地的套接服務(wù)器，得到作業(yè)通信子模塊遠程提交的作業(yè)，解析該信息并確認該信息是否符合規(guī)則，將合格的作業(yè)綁定作業(yè)提交者的地址后放置到多優(yōu)先級作業(yè)隊列中，以待被調(diào)度執(zhí)行。掃描線程，循環(huán)掃描多優(yōu)先級作業(yè)隊列以確定隊列中是否有較高優(yōu)先級的作業(yè)，若有較高優(yōu)先級的作業(yè)存在，則取出作業(yè)，依據(jù)作業(yè)構(gòu)造命令行并啟動多個任務(wù)執(zhí)行模塊的進程來完成本次并行計算作業(yè)；循環(huán)等待本次并行計算作業(yè)執(zhí)行結(jié)束；如果是作業(yè)不是正常執(zhí)行完成則判斷發(fā)生異常，則重新調(diào)度執(zhí)行本次作業(yè)。

主節(jié)點進程啟動后，分析傳入的命令行參數(shù)以得到本次并行接口作業(yè)的相關(guān)信息。依據(jù)監(jiān)控模塊生成的主機列表文件，動態(tài)分配多個負載節(jié)點并構(gòu)成一個通信域，然后等待負載節(jié)點申請任務(wù)或提交任務(wù)結(jié)果。

主節(jié)點將作業(yè)分成獨立的任務(wù)，并維護一個初始值均為0的任務(wù)狀態(tài)數(shù)組，用以記錄任務(wù)執(zhí)行情況。一但有負載節(jié)點申請任務(wù)，則先搜索得到狀態(tài)數(shù)組中為0的項所對應(yīng)的任務(wù)，將任務(wù)分配給申請者并將狀態(tài)數(shù)組中對應(yīng)項置1；如果某任務(wù)完成，則狀態(tài)數(shù)組中對應(yīng)項應(yīng)該被置為2；如果執(zhí)行某個任務(wù)的進程異常，則狀態(tài)數(shù)組中對應(yīng)項應(yīng)該被重置為0，以等待重新分配給其他節(jié)點執(zhí)行；如果狀態(tài)數(shù)組中標記為1的某項所對應(yīng)的任務(wù)在規(guī)定時間范圍內(nèi)沒有反饋結(jié)果，則判定執(zhí)行該任務(wù)的進程異常，并將狀態(tài)數(shù)組中該任務(wù)對應(yīng)的項重置0，以期被重新分配給其他節(jié)點執(zhí)行。

如果主節(jié)點發(fā)現(xiàn)任務(wù)對應(yīng)的狀態(tài)數(shù)組中的所有項都是2，則表明本次并行計算作業(yè)已經(jīng)完成，主節(jié)點將最終的作業(yè)結(jié)果通過套接字通信遠程反饋給相對應(yīng)的任務(wù)提交者。

負載節(jié)點啟動后，分析其父進程是否存在，若不存在，則拒絕執(zhí)行；若存在，則判定自身是由主節(jié)點啟動。負載節(jié)點向主節(jié)點申請任務(wù)，得到任務(wù)后就按預(yù)定的業(yè)務(wù)方案執(zhí)行任務(wù)；任務(wù)執(zhí)行完成后，將任務(wù)的結(jié)果反饋給主節(jié)點并申請下一個任務(wù)。如果負載節(jié)點得到的任務(wù)信息是無效，則本次并行計算任務(wù)成功完成，負載節(jié)點結(jié)束業(yè)務(wù)。

在本發(fā)明提出的高性能云計算平臺中包括三級容錯方案：一級容錯即作業(yè)二次調(diào)度。當系統(tǒng)偵測到集群中某一節(jié)點在執(zhí)行任務(wù)中異常，則系統(tǒng)會立即重新調(diào)度執(zhí)行本次任務(wù)。二級容錯即作業(yè)/任務(wù)回滾。系統(tǒng)回滾作業(yè)/任務(wù)至最近檢查點處執(zhí)行。如果主節(jié)點異常，則本次并行計算作業(yè)失敗，系統(tǒng)二次調(diào)度本次并行計算作業(yè)并回滾作業(yè)的執(zhí)行狀態(tài)至最近的檢查點處并繼續(xù)執(zhí)行作業(yè)；如果負載節(jié)點異常，則系統(tǒng)嘗試重啟異常節(jié)點并回滾其任務(wù)執(zhí)行狀態(tài)至最近的檢查點處并繼續(xù)執(zhí)行任務(wù)。三級容錯是動態(tài)遷移。當異常的負載節(jié)點在短時間內(nèi)無法得到回滾，也就是說二級容錯失敗的情況下，系統(tǒng)會主動將異常的工作節(jié)點的任務(wù)遷移至其他工作節(jié)點執(zhí)行。為了保證并行接口集群計算能力的穩(wěn)定性，并行云計算平臺通過動態(tài)分配新的負載進程來替代異常負載進程。

本發(fā)明系統(tǒng)中監(jiān)控模塊用于生成可用的主機列表：根據(jù)cpu核心數(shù)目和正在執(zhí)行任務(wù)的進程數(shù)量比較，若進程數(shù)小于核心數(shù)則將主機名加入主機列表。若進程數(shù)不小于cpu核心數(shù)，則將主機名從主機列表中移除。監(jiān)控程序中的0號進程所在的節(jié)點為監(jiān)控服務(wù)器，非0進程所在的節(jié)點任務(wù)節(jié)點。進程模型的監(jiān)控的具體步驟為：

1)在每個非0進程上創(chuàng)建一個內(nèi)核對象即事件信號，執(zhí)行任務(wù)時進程打開此事件信號，計算完成觸發(fā)事件信號。此信號用于獲取進程是否等待退出。

2)得到主機名，計算出正在執(zhí)行任務(wù)的進程數(shù)量m和進程中己經(jīng)執(zhí)行完成等待退出的數(shù)量k，建立可用主機列表文件。

3)若正在執(zhí)行任務(wù)的進程數(shù)量m等于進程中己經(jīng)執(zhí)行完成等待退出的數(shù)量k，則將此主機名寫入主機列表文件。

主機列表的更新有兩種策略：定時更新和任務(wù)調(diào)度前更新。對于定時更新，監(jiān)控程序保持一直運行，調(diào)度程序和監(jiān)控不發(fā)生交互；對于任務(wù)前更新，監(jiān)控程序的運行發(fā)生在分配任務(wù)前，監(jiān)控程序在執(zhí)行任務(wù)前自動啟動更新主機列表，然后退出，主節(jié)點進程根據(jù)可用主機列表進行動態(tài)一組進程執(zhí)行任務(wù)，若其中有進程任務(wù)中途失敗，則再次自動啟動監(jiān)控程序更新列表，主節(jié)點進程再根據(jù)可用主機列表啟動相應(yīng)的數(shù)量的進程完成失敗進程的任務(wù)。

本發(fā)明任務(wù)調(diào)度基于作業(yè)的分片。作業(yè)從作業(yè)隊列里取出來以后，先進行作業(yè)的一級分片，將一級分片分配到節(jié)點，然后在節(jié)點內(nèi)進行二次分片，將二級分片分配到線程，任務(wù)的分配采用負載池加線程池的方法。對于map操作，一級分片的分配是根據(jù)空閑負載節(jié)點申請原則，計算能力強的節(jié)點申請更多的分片，計算能力弱的節(jié)點完成較少的分片。負載節(jié)點進行完map任務(wù)之后，直接將map的結(jié)果作為reduce的輸入進行第一次reduce，然后將結(jié)果發(fā)送給主節(jié)點做第二次reduce，并得到最終結(jié)果。

負載向負載池申請任務(wù)，主節(jié)點將查詢查詢一級分片表，若查到狀態(tài)值為未執(zhí)行的分片，就將此分片信息發(fā)送給負載進程。當主節(jié)點在執(zhí)行任務(wù)動態(tài)遷移的容錯策略吋，發(fā)送分片任務(wù)的起始點和終止點的位置，而且將待遷移的一級分片中的所有二級分片的執(zhí)行信息表一起打包發(fā)送給負載。

若此作業(yè)是第一次被調(diào)度，則主節(jié)點將所有的一級分片都放入負載池進行調(diào)度。若作業(yè)不是第一次被調(diào)度，則主節(jié)點挑選狀態(tài)值為未完成的片進行調(diào)度。在執(zhí)行調(diào)度的過程中主節(jié)點持續(xù)更新執(zhí)行狀態(tài)表的內(nèi)容。

主節(jié)點根據(jù)負載發(fā)送的負載內(nèi)部狀態(tài)表的內(nèi)容，若檢測到此時負載上的此一級分片執(zhí)行到一定進度而未完成，則給它發(fā)送另外一個分片任務(wù)。主節(jié)點若檢測到執(zhí)行狀態(tài)表中的內(nèi)容都為已完成，則整個任務(wù)完成，給負載節(jié)點發(fā)送等待退出信號，此作業(yè)完成。對于負載節(jié)點，—級分片發(fā)送到負載之后，負載先對此一級分片做內(nèi)存映射，然后檢測節(jié)點上所有處理器總的核心數(shù)，開啟相應(yīng)數(shù)量的線程，啟動線程池執(zhí)行任務(wù)。

在負載中，用負載內(nèi)部狀態(tài)表代表一級分片。線程池根據(jù)負載內(nèi)部狀態(tài)表，取出還沒有執(zhí)行的分片執(zhí)行map任務(wù)，然后將map任務(wù)的結(jié)果作為reduce任務(wù)的輸入執(zhí)行reduce任務(wù)，在執(zhí)行的過程中，每完成一個二級分片就更新負載內(nèi)部狀態(tài)表的內(nèi)容，并將執(zhí)行得到結(jié)果和對負載內(nèi)部狀態(tài)表的修改信息一并發(fā)給主節(jié)點，主節(jié)點再根據(jù)負載內(nèi)部狀態(tài)表更新所有分片的執(zhí)行狀態(tài)表。直到執(zhí)行狀態(tài)全部為執(zhí)行完成，所有分片執(zhí)行完成。

作業(yè)從提交到得到結(jié)果的流程如下：作業(yè)通信子模塊提交優(yōu)先級的作業(yè)；作業(yè)管理子模塊從任務(wù)隊列取出最高優(yōu)先級的作業(yè)；主節(jié)點對作業(yè)進行分片，得到一級分片，放入負載池。負載節(jié)點向主節(jié)點申請任務(wù)，主節(jié)點通過查詢狀態(tài)表得到一級分片的信息，然后獲取到此分片中所有二級分片的執(zhí)行信息打包發(fā)送給負載；負載接收到任務(wù)，對此片做內(nèi)存映射和二次分片，檢測總的核心數(shù)，建立線程池，然后將分片放入線程池，線程通過負載內(nèi)部狀態(tài)表取得二級任務(wù)片，直到表中內(nèi)容全部為執(zhí)行完成，退出線程，線程池銷毀。負載節(jié)點的每個線程執(zhí)行完成一個二級任務(wù)片后進行一次reduce，將reduce結(jié)果和內(nèi)部狀態(tài)表發(fā)送給主節(jié)點，主節(jié)點確定是否給此負載發(fā)送另外一個分片，若需要發(fā)送新的任務(wù)，則繼續(xù)取任務(wù)發(fā)送給負載。直到狀態(tài)表中內(nèi)容全部為執(zhí)行完成后，主節(jié)點給每個負載發(fā)送退出指令，負載觸發(fā)事件信號，通知監(jiān)控等待退出，所有負載和主節(jié)點等待一起退出。主節(jié)點將負載發(fā)送來的結(jié)果進行reduce操作。主節(jié)點將結(jié)果發(fā)送給作業(yè)的提交者作業(yè)通信子模塊。

在節(jié)點數(shù)據(jù)緩存策略中，部署在云平臺的負載節(jié)點緩存云平臺中節(jié)點子網(wǎng)中的作業(yè)。將本地索引服務(wù)器被部署在每一個子網(wǎng)內(nèi)，存儲正在所處云平臺內(nèi)共享的作業(yè)，以及各個作業(yè)對應(yīng)的節(jié)點列表。負載節(jié)點以資源提供者的身份向本地索引服務(wù)器注冊自己所緩存的作業(yè)。本地索引服務(wù)器組織云平臺內(nèi)在線節(jié)點構(gòu)建云平臺中的子網(wǎng)，幫助子網(wǎng)用戶方便地找到負載節(jié)點。管理服務(wù)器周期性地從每個云平臺內(nèi)的本地索引服務(wù)器收集作業(yè)請求信息；每次運行緩存算法之后，管理服務(wù)器為每個云平臺生成兩張緩存對象清單，并且將這兩個作業(yè)列表分別發(fā)送給在云平臺中部署的兩個負載節(jié)點；每一個存儲在節(jié)點中的作業(yè)的當前狀態(tài)也周期性地上報給管理服務(wù)器。負載節(jié)點根據(jù)從管理服務(wù)器收到的作業(yè)列表，更新自己的進程空間；一旦某個新的緩存對象同步完成，負載節(jié)點就會計算它的內(nèi)容hash值，并向所處云平臺內(nèi)的本地索引服務(wù)器注冊作業(yè)。

當某個云平臺的用戶啟動一個作業(yè)時，該節(jié)點同時加入全局節(jié)點子網(wǎng)以及云平臺中的子網(wǎng)。并向本地索引服務(wù)器上報每個作業(yè)的運行狀態(tài)，本地索引服務(wù)器監(jiān)控云平臺內(nèi)子網(wǎng)，將云平臺內(nèi)每一個活動作業(yè)的相關(guān)信息發(fā)送給管理服務(wù)器，包括作業(yè)的唯一hash標識，作業(yè)大小，正在訪問的用戶數(shù)，云平臺內(nèi)當前可用的副本數(shù)，最近請求該作業(yè)的子網(wǎng)用戶數(shù)等。根據(jù)從本地索引服務(wù)器收集到的信息，管理服務(wù)器定期執(zhí)行一次緩存算法以得出每個云平臺內(nèi)的負載節(jié)點需要更新和刪除的作業(yè)。并將得出的作業(yè)清單立即發(fā)送給各個負載節(jié)點。當同步完成一個作業(yè)之后，負載節(jié)點立即向云平臺內(nèi)的本地索引服務(wù)器注冊該作業(yè)。然后負載節(jié)點為本地請求該作業(yè)的用戶提供數(shù)據(jù)上傳。

進一步地，通過以下過程把待分發(fā)的作業(yè)分片主動發(fā)送給有空閑帶寬的節(jié)點。在管理服務(wù)器設(shè)置決策單元，根據(jù)收集到的信息，決定需要發(fā)送的作業(yè)，并對其進行分片，發(fā)送給輔助節(jié)點的大作業(yè)分片，并向用戶的存儲器分派存儲作業(yè)。給每個選中的發(fā)送目標節(jié)點增加了一個作業(yè)，該作業(yè)在后臺運行，該作業(yè)與用戶自主執(zhí)行的小作業(yè)同時進入資源提供狀態(tài)，共用上傳帶寬。當用戶離開系統(tǒng)，該后臺運行的作業(yè)結(jié)束。管理服務(wù)器選擇發(fā)送目標節(jié)點，通知每個被選中的節(jié)點存儲發(fā)送目標作業(yè)的一個分片；接收到發(fā)送作業(yè)的節(jié)點從云平臺和節(jié)點子網(wǎng)存儲指定的作業(yè)分片。發(fā)送的作業(yè)分片存儲完成后，發(fā)送目標節(jié)點為其他存儲節(jié)點提供上傳，作為輔助節(jié)點；當分發(fā)過程結(jié)束，管理服務(wù)器向所有接收過發(fā)送作業(yè)的節(jié)點發(fā)出消息，通知其存儲器從用戶的進程空間中清除先前發(fā)送的作業(yè)分片。

綜上所述，本發(fā)明提出了一種基于hadoop的數(shù)據(jù)處理方法，提高了云計算的效率，以滿足高性能云計算的需要。

顯然，本領(lǐng)域的技術(shù)人員應(yīng)該理解，上述的本發(fā)明的各模塊或各步驟可以用通用的計算系統(tǒng)來實現(xiàn)，它們可以集中在單個的計算系統(tǒng)上，或者分布在多個計算系統(tǒng)所組成的網(wǎng)絡(luò)上，可選地，它們可以用計算系統(tǒng)可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲在存儲系統(tǒng)中由計算系統(tǒng)來執(zhí)行。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。

應(yīng)當理解的是，本發(fā)明的上述具體實施方式僅僅用于示例性說明或解釋本發(fā)明的原理，而不構(gòu)成對本發(fā)明的限制。因此，在不偏離本發(fā)明的精神和范圍的情況下所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。此外，本發(fā)明所附權(quán)利要求旨在涵蓋落入所附權(quán)利要求范圍和邊界、或者這種范圍和邊界的等同形式內(nèi)的全部變化和修改例。