系列數(shù)據(jù)并行分析基礎設施及其并行分散處理方法
【技術領域】
[0001]本發(fā)明涉及使用多個分散的計算機并行地處理大量系列數(shù)據(jù)的并行分散處理方法以及計算機系統(tǒng)。
【背景技術】
[0002]近年來，通過分析和處理大量的數(shù)據(jù)，發(fā)現(xiàn)這之前不能得到的知識并進行活用的大數(shù)據(jù)處理受到關注。大數(shù)據(jù)內，例如裝置等的傳感器數(shù)據(jù)等是所謂被稱為系列數(shù)據(jù)的數(shù)據(jù)方式。系列數(shù)據(jù)是指針對多個數(shù)據(jù)項目設定了各個值的多個數(shù)據(jù)按照預定的順序標簽的值而排列而得的數(shù)據(jù)集合。
[0003]這樣存在分析大量數(shù)據(jù)的需求，但在已知的分散分析系統(tǒng)中，需要對每個處理內容設計系統(tǒng)，系統(tǒng)結構的成本高。
[0004]對此，作為如專利文獻1以及非專利文獻1所示那樣簡單地安裝分析處理的基礎技術，公知有MapReduce框架。MapReduce框架是指通過從數(shù)據(jù)存儲器提取希望數(shù)據(jù)的提取處理(映射(Map)處理)和將提取出的數(shù)據(jù)加工成容易使用的方式或統(tǒng)計信息等的集約處理(Reduce處理)這兩個階段來記述數(shù)據(jù)的分析處理的編程模型。這樣，MapReduce框架的執(zhí)行引擎能夠決定分析應用的處理的分割單位，并控制并行處理。
[0005]不過，至此為止，MapReduce框架以描述針對原來Web的檢索系統(tǒng)等主要非結構/沒有順序的數(shù)據(jù)的處理為目的，沒有預料到對于系列數(shù)據(jù)，MapReduce框架的處理能力的提高。例如，在大多基礎設施中作為多個任務而同時實施提取處理，因此對處理的高速化有很大貢獻，但是由于通過非順序進行其結果輸出，因此難以適用移動平均或傅立葉轉換等一般用于系列數(shù)據(jù)的分析方法。
[0006]在通過MapReduce框架記述這些處理的情況下，通過集約處理來實施，但是在集約處理中增大處理的基礎設施數(shù)量比較困難，不能夠得到充分的高速化。
[0007]對此，知道一種方法，即例如非專利文獻2所示那樣通過在集約處理中使用流處理基礎設施來進行高速化。但是，即使在使用了流處理基礎設施的情況下，也會存在如下問題，即在提取處理中產(chǎn)生直到提取所有數(shù)據(jù)為止的等待時間，直接通過網(wǎng)絡等將提取的數(shù)據(jù)發(fā)送給另外的服務器等通信的負荷變高等。進而，在結果的寫入處理中，在系列數(shù)據(jù)的情況下，集約處理的結果不限于能夠充分地削減數(shù)據(jù)量而是需要再配置大量的數(shù)據(jù)等，造成通信和處理的負荷增大，速度的下降。
[0008]現(xiàn)有技術文獻
[0009]專利文獻
[0010]專利文獻1:美國專利申請公開第2008/0086442號說明書
[0011]非專利文獻
[0012]非專利文獻1:“MapReduce: Simplified Data Processing on LargeClusters”Jeffrey Dean，Sanjay Ghemawat, Google，Inc.0SDI’ 04:Sixth Symposium onOperating System Design and Implementat1n，San Francisco，CA，December 6,2004.
[0013]非專利文獻2:“SC0PE:parallel databases MapReduce，，Jingren Zhou,NicolasBruno, Ming-Chuan ffu, Per—Ake Larson， Ronnie Chaiken， Darren Shakib， MicrosoftCorp., The VLDB Journal

【發(fā)明內容】

[0014]發(fā)明要解決的課題
[0015]在沒有使用MapReduce框架的分散分析系統(tǒng)中，不能夠靈活地記述數(shù)據(jù)處理。
[0016]另一方面，在活用了 MapReduce框架的現(xiàn)有系統(tǒng)結構中，不能得到與計算設備臺數(shù)對應的處理提高(可擴展性)。另外，在活用了 MapReduce框架的現(xiàn)有系統(tǒng)結構中，在一次加工、2次加工原數(shù)據(jù)時，不能夠高速地保存一次加工數(shù)據(jù)。
[0017]用于解決問題的手段
[0018]以下表示本申請中公開的發(fā)明的一個代表例。
[0019]S卩，針對系列數(shù)據(jù)進行并行分散處理的系列數(shù)據(jù)并行分析基礎設施或分散處理系統(tǒng)，該系列數(shù)據(jù)由順序標簽、以一對一或者一對多地與上述順序標簽對應的至少一個以上的值以及用于對上述值中的每一個進行區(qū)別的值名而構成，
[0020]系列數(shù)據(jù)并行分析基礎設施或分散處理系統(tǒng)具備:并行處理基礎設施，其由一個以上的計算設備和用于上述計算設備進行數(shù)據(jù)交換的網(wǎng)絡而構成，并行地進行數(shù)據(jù)處理；和分散系列數(shù)據(jù)管理部，其管理在上述計算設備中分散進行配置的上述系列數(shù)據(jù)，
[0021]上述并行處理基礎設施具備:按照每個上述計算設備將至少一個以上的上述系列數(shù)據(jù)中與一個順序標簽對應的一個值通過多個順序標簽進行分組化而得的數(shù)據(jù)組；數(shù)據(jù)組處理服務器，其按照每個上述計算設備對至少一個以上的上述數(shù)據(jù)組進行處理；以及組處理集約服務器，其按照每個上述計算設備處理至少一個以上的上述數(shù)據(jù)組處理服務器的結果Ο
[0022]上述分散系列數(shù)據(jù)管理部具備:數(shù)據(jù)讀入部，其用于將上述系列數(shù)據(jù)保持在上述系列數(shù)據(jù)并行分析基礎設施中；數(shù)據(jù)選擇部，其用于從上述系列數(shù)據(jù)并行分析基礎設施取得上述系列數(shù)據(jù)；以及分散信息管理數(shù)據(jù)庫，其用于管理上述數(shù)據(jù)組，在上述分散信息管理數(shù)據(jù)庫中保持管理數(shù)據(jù)，該管理數(shù)據(jù)由指示上述數(shù)據(jù)組的上述順序標簽的范圍的順序標簽范圍、與上述數(shù)據(jù)組的上述值名對應的系列ID以及用于確定配置了上述數(shù)據(jù)組的上述計算設備的元信息而構成。
[0023]發(fā)明的效果
[0024]根據(jù)上述結構的系列數(shù)據(jù)并行分析基礎設施或者分散處理系統(tǒng)，能夠記述對系列數(shù)據(jù)也靈活地分散處理。另外，針對系列數(shù)據(jù)也能夠實現(xiàn)有可擴展性的數(shù)據(jù)存儲器以及處理基礎設施。進而，在加工保存在數(shù)據(jù)存儲器中的原數(shù)據(jù)，并新生成數(shù)據(jù)的情況下，能夠高速地保存新的數(shù)據(jù)。
【附圖說明】
[0025]圖1是表示了本發(fā)明第一實施方式的系列數(shù)據(jù)并行分析基礎設施的概要的說明圖。
[0026]圖2是表示了本發(fā)明第一實施方式的系列數(shù)據(jù)的概要的說明圖。
[0027]圖3是表示了本發(fā)明第一實施方式的系列數(shù)據(jù)并行存儲器的結構的說明圖。
[0028]圖4是表示了本發(fā)明第一實施方式的并行處理基礎設施的結構的說明圖。
[0029]圖5是表示了本發(fā)明第一實施方式的系列數(shù)據(jù)并行分析基礎設施的結構的框圖。
[0030]圖6是表示了本發(fā)明第一實施方式的系列數(shù)據(jù)并行分析處理的步驟的流程圖。
[0031]圖7是表示了本發(fā)明第一實施方式的系列數(shù)據(jù)并行存儲器的數(shù)據(jù)選擇的步驟的流程圖。
[0032]圖8是表示了本發(fā)明第一實施方式的系列數(shù)據(jù)并行存儲器的數(shù)據(jù)登錄步驟的流程圖。
[0033]圖9是表示了本發(fā)明實施方式的系列數(shù)據(jù)并行存儲器的數(shù)據(jù)登錄的分散目的地決定的步驟的流程圖。
[0034]圖10是表示了本發(fā)明實施方式的系列數(shù)據(jù)并行存儲器的數(shù)據(jù)登錄的分散目的地決定的步驟的流程圖。
[0035]圖11是表示了本發(fā)明實施方式的系列數(shù)據(jù)并行存儲器的數(shù)據(jù)登錄的分散目的地決定的步驟的流程圖。
[0036]圖12是表示了本發(fā)明實施方式的系列數(shù)據(jù)并行存儲器的數(shù)據(jù)登錄的分散目的地決定的步驟的流程圖。
[0037]圖13是表示了本發(fā)明第一實施方式的系列數(shù)據(jù)并行存儲器的Map處理中的數(shù)據(jù)登錄的步驟的流程圖。
[0038]圖14是表示了本發(fā)明第一實施方式的實施效果的說明圖。
[0039]圖15是表示了本發(fā)明第二實施方式的框圖。
[0040]圖16是表示了本發(fā)明第二實施方式的系列數(shù)據(jù)并行分析處理的步驟的流程圖。
[0041]圖17是表示了本發(fā)明第二實施方式的系列數(shù)據(jù)并行存儲器的數(shù)據(jù)選擇的步驟的流程圖。
【具體實施方式】
[0042]以下，參照【附圖說明】本發(fā)明的實施方式。
[0043](第一實施方式)
[0044]圖1表示本發(fā)明的系列數(shù)據(jù)并行分析基礎設施102的概要。系列數(shù)據(jù)并行分析基礎設施102由輸入、累積系列數(shù)據(jù)101的系列數(shù)據(jù)并行存儲器103和使用系列數(shù)據(jù)并行存儲器103的數(shù)據(jù)進行分散分析的并行分析基礎設施104構成。用戶106能夠對并行分析基礎設施104進行處理指示，將其結果輸出為系列數(shù)據(jù)并行存儲器103或分析結果數(shù)據(jù)105。用戶106可以是人，也可以是其它的系統(tǒng)或程序等。<