一種實(shí)現(xiàn)多云存儲容錯轉(zhuǎn)換機(jī)制的方法
【專利摘要】本發(fā)明公開了一種實(shí)現(xiàn)多云存儲容錯轉(zhuǎn)換機(jī)制的方法，包括：根據(jù)數(shù)據(jù)熱度的變化，擬對熱數(shù)據(jù)采用雙副本冗余機(jī)制進(jìn)行存儲，對冷數(shù)據(jù)采用RAID5機(jī)制進(jìn)行冗余存儲。伴隨時間的推移，數(shù)據(jù)會從熱數(shù)據(jù)轉(zhuǎn)變?yōu)槔鋽?shù)據(jù)，即容錯轉(zhuǎn)換過程。通過在容錯轉(zhuǎn)換過程中引入中間節(jié)點(diǎn)計(jì)算的方法，使用計(jì)算資源來換取帶寬資源，減少容錯轉(zhuǎn)換成本。從多副本到RAID5機(jī)制的轉(zhuǎn)換可采用多種路徑，從眾多路徑中選擇成本較低的路徑進(jìn)行轉(zhuǎn)換，在一定程度上減少容錯轉(zhuǎn)換成本。本發(fā)明能在一定程度上提高存儲效率、降低用戶成本。
【專利說明】
一種實(shí)現(xiàn)多云存儲容錯轉(zhuǎn)換機(jī)制的方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于多云存儲系統(tǒng)領(lǐng)域，更具體地，涉及一種實(shí)現(xiàn)多云存儲容錯轉(zhuǎn)換機(jī)制的方法?！颈尘凹夹g(shù)】
[0002]隨著云存儲技術(shù)的發(fā)展，公有云服務(wù)受到企業(yè)、政府部門及個人的廣泛關(guān)注和歡迎。用戶不需自己構(gòu)建部署存儲硬件，通過購買云服務(wù)提供商所提供的各項(xiàng)服務(wù)就可滿足自身需求，節(jié)省了大量的成本。隨著云服務(wù)商的大量出現(xiàn)，各個云服務(wù)商的費(fèi)用之間存在著差異，為了應(yīng)對單云中服務(wù)商壟斷、云存儲系統(tǒng)可靠性等問題，則采用多云存儲架構(gòu)來為用戶提供所需服務(wù)。
[0003] 多云存儲是指將各種類型(public、private、hybrid clouds)和品牌(Azure、 Amazon、Rackspace、Aliyun等)的云存儲產(chǎn)品部署在一起，為用戶提供可靠安全的存儲和數(shù)據(jù)訪問服務(wù)。在多云環(huán)境下，不會因某個云服務(wù)的癱瘓或中斷，而影響用戶的正常數(shù)據(jù)請求；當(dāng)某個云服務(wù)商提供的服務(wù)出現(xiàn)價格或服務(wù)質(zhì)量波動等情況時，如需迀移數(shù)據(jù)到另一個云平臺，那么只需迀移部分?jǐn)?shù)據(jù)，而不是全部數(shù)據(jù)，這樣則可在很大程度上減少數(shù)據(jù)迀出費(fèi)用，極大地降低了用戶成本。
[0004]多云存儲容錯是指當(dāng)前云服務(wù)提供商所提供的存儲服務(wù)可能無法保證其真正承諾的數(shù)據(jù)可用性，采用容錯機(jī)制保證在某個云存儲服務(wù)中的數(shù)據(jù)不可靠時，其他云存儲服務(wù)仍然能提供對該數(shù)據(jù)的正常訪問。
[0005]容錯轉(zhuǎn)換是指各個云存儲平臺都支持著各自不同的應(yīng)用，而不同的應(yīng)用包含不同熱度的數(shù)據(jù)，隨著時間的推移，數(shù)據(jù)的熱度也處于不停地變化當(dāng)中。當(dāng)數(shù)據(jù)熱度發(fā)生變化時，出于對存儲效率及性能的考慮，則需要對數(shù)據(jù)進(jìn)行容錯轉(zhuǎn)換。例如當(dāng)前比較常見的冗余機(jī)制:對熱數(shù)據(jù)采用多副本存儲冗余機(jī)制存儲，對冷數(shù)據(jù)則采用冗余度較低的冗余機(jī)制存儲(如RAID5)，當(dāng)數(shù)據(jù)從熱變冷時，則需從雙副本冗余機(jī)制轉(zhuǎn)換到RAID5冗余機(jī)制，這個過程稱為容錯轉(zhuǎn)換。
[0006]現(xiàn)有的多云存儲研究均未考慮和涉及不同應(yīng)用的不同容錯方案之間容錯轉(zhuǎn)換成本問題。
【發(fā)明內(nèi)容】

[0007]針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種實(shí)現(xiàn)多云存儲容錯轉(zhuǎn)換機(jī)制的方法，其目的在于在多云存儲架構(gòu)中提高數(shù)據(jù)存儲效率，降低容錯轉(zhuǎn)換成本等問題， 由此解決降低不同應(yīng)用的不同容錯方案轉(zhuǎn)換成本的技術(shù)問題。
[0008]為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種實(shí)現(xiàn)多云存儲容錯轉(zhuǎn)換機(jī)制的方法，包括:
[0009](1)當(dāng)用戶上傳文件至多云架構(gòu)時，首先在控制端主機(jī)上對文件進(jìn)行分割處理；[〇〇1〇](2)在文件的元數(shù)據(jù)信息中添加轉(zhuǎn)換閾值屬性，以備后期進(jìn)行容錯轉(zhuǎn)換時使用；[〇〇11](3)對每個分割后的數(shù)據(jù)塊進(jìn)行hash(key)，key為數(shù)據(jù)塊名稱，然后通過hash計(jì)算結(jié)果確定數(shù)據(jù)塊的放置位置，依次采用雙副本冗余機(jī)制上傳至多云存儲架構(gòu)中，并將所有元數(shù)據(jù)信息保存在控制端主機(jī)中；
[0012](4)定期對多云存儲架構(gòu)中文件的轉(zhuǎn)換閾值進(jìn)行檢查，對于達(dá)到閾值的文件，則采用雙副本到RAID5的容錯轉(zhuǎn)換機(jī)制進(jìn)行轉(zhuǎn)換。
[0013]可選地，所述步驟(1)具體包括如下子步驟:[〇〇14](1.1)當(dāng)客戶端上傳文件至多云架構(gòu)時，首先會將請求發(fā)送至控制端主機(jī)；[〇〇15](1.2)控制端主機(jī)根據(jù)多云架構(gòu)中包含的云服務(wù)數(shù)目來確定文件分割數(shù)據(jù)塊的數(shù)目，其中數(shù)據(jù)塊的數(shù)目比云服務(wù)器的數(shù)目少一；
[0016](1.3)根據(jù)分割的數(shù)據(jù)塊數(shù)目，對文件進(jìn)行分割并通過隨機(jī)函數(shù)產(chǎn)生隨機(jī)數(shù)的方法對數(shù)據(jù)塊進(jìn)行命名。
[0017]可選地，所述步驟(3)具體包括如下子步驟:
[0018](3.1)控制端主機(jī)對文件的各個數(shù)據(jù)塊進(jìn)行hash(key)運(yùn)算，key為數(shù)據(jù)塊名稱， hash算法為對數(shù)據(jù)塊名稱進(jìn)行取模運(yùn)算；[〇〇19](3.2)通過hash算法確定好數(shù)據(jù)塊放置位置后，根據(jù)設(shè)定的云服務(wù)順序來確定數(shù)據(jù)塊在多云架構(gòu)中的放置和分布情況，然后采用雙副本機(jī)制上傳文件所包含的數(shù)據(jù)塊；
[0020](3.3)將文件以及分割后的數(shù)據(jù)塊元數(shù)據(jù)信息保存在控制端主機(jī)中，以備后期進(jìn)行文件獲取和容錯轉(zhuǎn)換時使用;每個文件的元數(shù)據(jù)信息包含:文件名、包含的數(shù)據(jù)塊、每個數(shù)據(jù)塊在多云架構(gòu)中的存放位置以及轉(zhuǎn)換閾值。[0021 ] 可選地，所述步驟(4)具體包括如下子步驟:[〇〇22](4.1)通過提前設(shè)置的轉(zhuǎn)換閾值來確定需要容錯轉(zhuǎn)換的文件，定期對元數(shù)據(jù)信息進(jìn)行檢查，如有文件達(dá)到閾值，則進(jìn)行容錯轉(zhuǎn)換；
[0023](4.2)根據(jù)(4.1)中獲取到需要轉(zhuǎn)換的文件后，根據(jù)文件名稱查找該文件的元數(shù)據(jù)信息，通過元數(shù)據(jù)信息來確定具體的容錯轉(zhuǎn)換方案；
[0024](4.3)容錯轉(zhuǎn)換方案中包含校驗(yàn)云的選擇、條帶布局的選擇、冗余塊刪除步驟。
[0025]本發(fā)明實(shí)施例中，當(dāng)文件包含的數(shù)據(jù)塊被隨機(jī)以雙副本機(jī)制上傳至多云存儲平臺時，數(shù)據(jù)的分布會出現(xiàn)兩種情況:不均勻和均勻。通過分析得知，當(dāng)數(shù)據(jù)分布均勻時，相對于不均勻的情況會較少數(shù)據(jù)塊的傳輸，因此本發(fā)明擬采用一致性hash算法來保證數(shù)據(jù)塊盡可能地在多云架構(gòu)中分布均勻，以減少數(shù)據(jù)塊傳輸，最終減少容錯轉(zhuǎn)換開銷和成本。
[0026]本發(fā)明實(shí)施例中，通過對各云服務(wù)提供商存儲和計(jì)算成本的調(diào)研，帶寬成本是計(jì)算成本的2-14倍，因此為了節(jié)約成本，我們應(yīng)盡可能使用計(jì)算資源進(jìn)行編碼，盡量減少數(shù)據(jù)傳輸帶來的帶寬成本，從而提出引入中間節(jié)點(diǎn)計(jì)算的思想。
[0027]總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，由于通過數(shù)據(jù)分布均勻減少容錯轉(zhuǎn)換過程中數(shù)據(jù)塊傳輸，引入計(jì)算資源來替換帶寬資源，能夠取得減少容錯轉(zhuǎn)換開銷和成本的有益效果。【附圖說明】
[0028]圖1是本發(fā)明實(shí)施例中多云存儲容錯轉(zhuǎn)換架構(gòu)圖；
[0029]圖2是本發(fā)明實(shí)施例中多云存儲中無容錯與容錯對比圖；[〇〇3〇]圖3是本發(fā)明實(shí)施例中多云存儲中未引入計(jì)算與引入計(jì)算對比圖；
[0031]圖4是本發(fā)明實(shí)施例中多云存儲中引入計(jì)算與引入計(jì)算對比圖；
[0032]圖5是本發(fā)明實(shí)施例中多云存儲容錯轉(zhuǎn)換流程圖?！揪唧w實(shí)施方式】[〇〇33]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
[0034]如圖1所示，本發(fā)明中多云存儲容錯轉(zhuǎn)換系統(tǒng)架構(gòu)圖詳細(xì)描述如下:[〇〇35] 該系統(tǒng)中包含多個云存儲服務(wù)(421^6、411^2011、1^^^。306、41171111等)，用于數(shù)據(jù)存儲，控制端主機(jī)(Control Host)用于對用戶上傳的文件進(jìn)行分割、合并，數(shù)據(jù)塊布局的確定以及容錯轉(zhuǎn)換的控制。[0〇36]當(dāng)Client端將請求發(fā)送至多云存儲容錯轉(zhuǎn)換系統(tǒng)時，由控制端主機(jī)對Client端請求進(jìn)行處理。如Client端需要上傳文件，則通過分割模塊對文件進(jìn)行分割，并通過數(shù)據(jù)塊放置模塊對數(shù)據(jù)塊布局進(jìn)行確定，然后采用雙副本機(jī)制依次將文件包含的數(shù)據(jù)塊上傳至多云存儲架構(gòu)中。當(dāng)文件達(dá)到轉(zhuǎn)換閾值時，則通過容錯轉(zhuǎn)換模塊對該文件進(jìn)行容錯轉(zhuǎn)換控制，完成從雙副本到RAID5冗余機(jī)制的轉(zhuǎn)換。當(dāng)用戶獲取文件時，控制端主機(jī)首先通過查找文件元數(shù)據(jù)信息，從對應(yīng)的云存儲服務(wù)中下載所包含的數(shù)據(jù)塊，然后通過文件分割合并模塊，對數(shù)據(jù)塊進(jìn)行合并操作，最終將完整的文件返回給用戶。[〇〇37]如圖2所示，本發(fā)明中多云存儲中無容錯與容錯對比圖詳細(xì)描述如下:[〇〇38]該圖解釋了多云存儲中容錯的必要性。當(dāng)用戶將數(shù)據(jù)上傳至多云存儲架構(gòu)中時， 如未采用任何容錯機(jī)制，則當(dāng)某個云存儲服務(wù)中的數(shù)據(jù)丟失或不可用時，則無法進(jìn)行恢復(fù)， 會徹底丟失數(shù)據(jù)，對用戶產(chǎn)生不可估量的經(jīng)濟(jì)損失。當(dāng)采用容錯機(jī)制時，某個云存儲服務(wù)中的數(shù)據(jù)發(fā)生丟失或不可用時，可通過冗余機(jī)制進(jìn)行快速恢復(fù)，從而避免不必要的經(jīng)濟(jì)損失。
[0039]如圖3和圖4所示，本發(fā)明中多云存儲中未引入計(jì)算與引入計(jì)算容錯轉(zhuǎn)換過程詳細(xì)描述如下:[〇〇4〇]圖3為未引入計(jì)算容錯轉(zhuǎn)換過程，圖4為引入計(jì)算容錯轉(zhuǎn)換過程。
[0041]兩張圖介紹了容錯轉(zhuǎn)換所包含的大致過程:校驗(yàn)云的選擇、條帶布局的選擇、冗余塊刪除步驟。在從雙副本冗余機(jī)制轉(zhuǎn)換到RAID5冗余機(jī)制時，需要選擇在某個云上進(jìn)行校驗(yàn)塊的生成(RAID5中的校驗(yàn)塊P)，然后選擇最終RAID5中的數(shù)據(jù)塊布局，根據(jù)以上選擇的校驗(yàn)云及數(shù)據(jù)塊布局進(jìn)行相應(yīng)的數(shù)據(jù)塊迀移及冗余塊刪除操作，最終完成容錯轉(zhuǎn)換過程。[〇〇42]從兩張圖的對比可以明顯看出，采用中間節(jié)點(diǎn)計(jì)算會減少數(shù)據(jù)塊的傳輸。通過調(diào)研得知，帶寬成本是計(jì)算成本的2-14倍，因此為了節(jié)約成本，我們應(yīng)盡可能使用計(jì)算資源進(jìn)行編碼，盡量減少數(shù)據(jù)傳輸帶來的帶寬成本。[〇〇43]如圖5所示，本發(fā)明中多云存儲容錯轉(zhuǎn)換流程圖詳細(xì)描述如下:[〇〇44]當(dāng)Client發(fā)送文件上傳請求時，首先由控制端主機(jī)對該請求進(jìn)行處理，通過控制端主機(jī)中的文件分割合并模塊對文件進(jìn)行分割，并通過數(shù)據(jù)塊放置模塊對數(shù)據(jù)塊布局進(jìn)行確定，然后采用雙副本機(jī)制將分割后的數(shù)據(jù)塊依次上傳至多云存儲架構(gòu)，并將元數(shù)據(jù)信息保存在控制端主機(jī)中，以備文件獲取或容錯轉(zhuǎn)換過程使用。定期對元數(shù)據(jù)信息中的文件進(jìn)行轉(zhuǎn)換閾值檢查，對達(dá)到轉(zhuǎn)換閾值的文件，則通過控制端主機(jī)中的容錯轉(zhuǎn)換模塊對容錯轉(zhuǎn)換過程進(jìn)行控制，最終完成從雙副本到RAID5冗余機(jī)制的容錯轉(zhuǎn)換。[〇〇45]本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種實(shí)現(xiàn)多云存儲容錯轉(zhuǎn)換機(jī)制的方法，其特征在于，包括如下步驟:(1)當(dāng)用戶上傳文件至多云架構(gòu)時，首先在控制端主機(jī)上對文件進(jìn)行分割處理；(2)在文件的元數(shù)據(jù)信息中添加轉(zhuǎn)換閾值屬性，以備后期進(jìn)行容錯轉(zhuǎn)換時使用；(3)對每個分割后的數(shù)據(jù)塊進(jìn)行hash(key)，key為數(shù)據(jù)塊名稱，然后通過hash計(jì)算結(jié)果 確定數(shù)據(jù)塊的放置位置，依次采用雙副本冗余機(jī)制上傳至多云存儲架構(gòu)中，并將所有元數(shù) 據(jù)信息保存在控制端主機(jī)中；(4)定期對多云存儲架構(gòu)中文件的轉(zhuǎn)換閾值進(jìn)行檢查，對于達(dá)到閾值的文件，則采用雙 副本到RAID5的容錯轉(zhuǎn)換機(jī)制進(jìn)行轉(zhuǎn)換。2.如權(quán)利要求1所述的一種實(shí)現(xiàn)多云存儲容錯轉(zhuǎn)換機(jī)制的方法，其特征在于，所述步驟 (1)具體包括如下子步驟:(1.1)當(dāng)客戶端上傳文件至多云架構(gòu)時，首先會將請求發(fā)送至控制端主機(jī)；(1.2)控制端主機(jī)根據(jù)多云架構(gòu)中包含的云服務(wù)數(shù)目來確定文件分割數(shù)據(jù)塊的數(shù)目， 其中數(shù)據(jù)塊的數(shù)目比云服務(wù)器的數(shù)目少一；(1.3)根據(jù)分割的數(shù)據(jù)塊數(shù)目，對文件進(jìn)行分割并通過隨機(jī)函數(shù)產(chǎn)生隨機(jī)數(shù)的方法對 數(shù)據(jù)塊進(jìn)行命名。3.如權(quán)利要求1或2所述的一種實(shí)現(xiàn)多云存儲容錯轉(zhuǎn)換機(jī)制的方法，其特征在于，所述 步驟(3)具體包括如下子步驟:(3.1)控制端主機(jī)對文件的各個數(shù)據(jù)塊進(jìn)行hash(key)運(yùn)算，key為數(shù)據(jù)塊名稱，hash算 法為對數(shù)據(jù)塊名稱進(jìn)行取模運(yùn)算；(3.2)通過hash算法確定好數(shù)據(jù)塊放置位置后，根據(jù)設(shè)定的云服務(wù)順序來確定數(shù)據(jù)塊 在多云架構(gòu)中的放置和分布情況，然后采用雙副本機(jī)制上傳文件所包含的數(shù)據(jù)塊；(3.3)將文件以及分割后的數(shù)據(jù)塊元數(shù)據(jù)信息保存在控制端主機(jī)中，以備后期進(jìn)行文 件獲取和容錯轉(zhuǎn)換時使用;每個文件的元數(shù)據(jù)信息包含:文件名、包含的數(shù)據(jù)塊、每個數(shù)據(jù) 塊在多云架構(gòu)中的存放位置以及轉(zhuǎn)換閾值。4.如權(quán)利要求1或2所述的一種實(shí)現(xiàn)多云存儲容錯轉(zhuǎn)換機(jī)制的方法，其特征在于，所述 步驟(4)具體包括如下子步驟:(4.1)通過提前設(shè)置的轉(zhuǎn)換閾值來確定需要容錯轉(zhuǎn)換的文件，定期對元數(shù)據(jù)信息進(jìn)行 檢查，如有文件達(dá)到閾值，則進(jìn)行容錯轉(zhuǎn)換；(4.2)根據(jù)(4.1)中獲取到需要轉(zhuǎn)換的文件后，根據(jù)文件名稱查找該文件的元數(shù)據(jù)信 息，通過元數(shù)據(jù)信息來確定具體的容錯轉(zhuǎn)換方案；(4.3)容錯轉(zhuǎn)換方案中包含校驗(yàn)云的選擇、條帶布局的選擇、冗余塊刪除步驟。
【文檔編號】H04L29/08GK105959356SQ201610262243
【公開日】2016年9月21日
【申請日】2016年4月26日
【發(fā)明人】馮丹, 王阿孟, 胡燏翀, 常拴霞, 吳鋒, 肖仁智, 張曉陽, 文可
【申請人】華中科技大學(xué)