本發(fā)明實施例涉及云資源管理,尤其涉及一種調(diào)度云計算資源的方法及裝置。
背景技術:
1、云計算作為一種新的計算范式不斷蓬勃發(fā)展,云計算成為互聯(lián)網(wǎng)計算中的一項重要服務。其中,云計算最緊迫的問題之一是資源管理。在云計算資源調(diào)度分配的場景中,需要調(diào)度系統(tǒng)決策為某個申請系統(tǒng)分配計算資源,調(diào)度系統(tǒng)需要決策分配資源池里的哪些cpu(central?processing?unit,簡稱cpu)和內(nèi)存資源給該申請系統(tǒng),調(diào)度系統(tǒng)需要評估多個評估點:該系統(tǒng)需求資源的時長,該批量系統(tǒng)對cpu、內(nèi)存的使用情況,以及資源池中剩余的資源情況,提供的資源是否集中在一臺服務器上等。
2、云計算環(huán)境下資源的狀態(tài)和需求是實時變化的,有效的資源調(diào)度需要基于最新的數(shù)據(jù)進行。而且隨著時間的推移,需要更新和維護用于決策支持的數(shù)據(jù),包括資源使用情況、性能指標等。在資源需求方面,云計算環(huán)境下,需求方的請求量和類型可能會迅速變化(如突發(fā)的高流量事件),這要求資源調(diào)度算法能夠?qū)崟r響應這些變化,動態(tài)調(diào)整資源分配策略。在環(huán)境(資源池)方面,服務器的可用性、網(wǎng)絡狀況等環(huán)境因素也可能快速變化,也會對資源調(diào)度造成影響。
3、當前背景技術,在實時收集和處理環(huán)境數(shù)據(jù),以及及時更新決策模型上存在挑戰(zhàn),導致資源分配決策基于過時的信息,會導致資源分配不夠及時和有效,造成資源浪費或服務質(zhì)量下降,影響決策的有效性和資源的利用率。
技術實現(xiàn)思路
1、本技術實施例提供了一種調(diào)度云計算資源的方法及裝置,用于根據(jù)需求方的資源調(diào)度請求通過匹配當前環(huán)境狀態(tài)與記憶庫中的環(huán)境狀態(tài),快速檢索出與當前環(huán)境最匹配的歷史優(yōu)秀解,實現(xiàn)對快速動態(tài)變化的高效適應。
2、第一方面,本技術實施例提供了一種調(diào)度云計算資源的方法,包括:
3、獲取需求方的資源調(diào)度請求,所述資源調(diào)度請求中包括需求資源信息;
4、針對所述需求資源信息中的任一需求項,根據(jù)云計算資源池的當前資源狀況和歷史資源調(diào)度請求的歷史調(diào)度結果,確定所述需求項的權重信息;
5、從記憶庫中查找與所述資源調(diào)度請求符合相似度要求的歷史資源調(diào)度請求;其中,相似度是通過計算各需求項在對應權重信息下的綜合結果來表征的;所述記憶庫中保存有每條歷史資源調(diào)度請求對應的歷史調(diào)度結果、歷史執(zhí)行結果之間的對應關系且所述記憶庫保持動態(tài)更新;
6、基于所述符合相似度要求的歷史資源調(diào)度請求對應的歷史調(diào)度結果,為所述資源調(diào)度請求確定調(diào)度結果。
7、本技術通過設計記憶庫來存儲歷史優(yōu)化過程中獲得的優(yōu)秀解及其對應的歷史調(diào)度結果,可以根據(jù)當前資源調(diào)度請求的需求資源信息(如數(shù)據(jù)量、計算需求、預期完成時間)快速地檢索到歷史上成功處理類似任務的資源配置方案。這不僅加快了資源調(diào)度的決策過程,還提高了資源配置的準確性,確保資源被高效利用,減少了因不匹配的資源分配導致的資源浪費。記憶庫根據(jù)完成的當前資源調(diào)度請求的需求資源信息可以將當前資源調(diào)度請求作為新的樹節(jié)點添加至記憶庫中,或者針對同樣的資源調(diào)度請求有不同調(diào)度結果,可以對歷史節(jié)點中的歷史調(diào)度結果進行修改或者刪除,以維持數(shù)據(jù)的實時性和準確性。
8、可選地,從記憶庫中查找與所述資源調(diào)度請求符合相似度要求的歷史資源調(diào)度請求,包括:
9、針對任一需求項,確定所述需求項在所述資源調(diào)度請求中的需求值與在任一歷史資源調(diào)度請求的歷史值之間歸一化的差異大??;
10、根據(jù)每個需求項的差異大小及每個需求項的權重信息,得到所述資源調(diào)度請求與任一歷史資源調(diào)度請求之間的綜合相似度;
11、確定綜合相似度符合相似度要求的歷史資源調(diào)度請求。
12、通過對每一需求項除以數(shù)據(jù)量可能的最大變化范圍,該公式歸一化了不同任務之間的相似度評分,使其不受具體數(shù)據(jù)量大小的影響,便于跨任務比較。同時,該公式也具備高度靈活性,可以通過調(diào)整數(shù)據(jù)量可能的最大變化范圍來適應不同規(guī)模的數(shù)據(jù)處理需求,或者結合其他維度的相似度評分來綜合評估總體相似度。并且保證了選擇歷史解時的平衡性,即使在沒有完全匹配的情況下也能找到接近的解,確保資源配置的可行性和有效性。
13、可選地,基于所述符合相似度要求的歷史資源調(diào)度請求對應的歷史調(diào)度結果,為所述資源調(diào)度請求確定調(diào)度結果,包括:
14、確定平衡參數(shù)信息;所述平衡參數(shù)信息用于作為資源利用率與任務完成時間的區(qū)分權重;
15、確定所述符合相似度要求的歷史資源調(diào)度請求對應的歷史調(diào)度結果,在所述平衡參數(shù)信息下的第一代價;
16、確定預置的資源配置方案在所述平衡參數(shù)信息下的第二代價;
17、根據(jù)所述第一代價和所述第二代價,為所述資源調(diào)度請求確定調(diào)度結果。
18、可選地,根據(jù)云計算資源池的當前資源狀況和歷史資源調(diào)度請求的歷史調(diào)度結果,確定所述需求項的權重信息,包括:
19、將所述資源調(diào)度請求輸入至預測模型,得到任一需求項的權重預測值;所述預測模型是通過各歷史資源調(diào)度請求及其對應的歷史調(diào)度結果和歷史執(zhí)行結果訓練得到的;
20、根據(jù)云計算資源池的當前資源狀況,確定權重調(diào)整信息;
21、根據(jù)所述權重調(diào)整信息對任一需求項的權重預測值進行調(diào)整,得到任一需求項的權重信息。
22、通過對相似度評分的參數(shù)進行動態(tài)權重調(diào)整,使得云計算資源調(diào)度能夠靈活應對各種任務的變化需求和系統(tǒng)的實時狀態(tài)。在云資源計算環(huán)境中,資源需求和可用性可能會快速變化,通過調(diào)整權重參數(shù)(如優(yōu)先考慮數(shù)據(jù)量大的任務或緊急任務)來適應這些變化,優(yōu)化任務的調(diào)度策略,保證了資源分配任務的成功率。
23、可選地,所述確定平衡參數(shù)信息,包括:
24、根據(jù)所述需求資源信息和所述云計算資源池的當前資源狀況,確定平衡參數(shù)初始值;
25、根據(jù)所述云計算資源池的當前資源狀況,確定權重調(diào)整信息;
26、根據(jù)所述權重調(diào)整信息對所述平衡參數(shù)初始值進行調(diào)整,得到平衡參數(shù)信息。
27、該資源配置決策算法通過引入平衡參數(shù)信息,提供了一個靈活的機制來平衡這兩個目標。平衡參數(shù)信息允許調(diào)度策略根據(jù)具體場景和優(yōu)先級來調(diào)整資源利用率和任務完成時間的相對重要性。較高的平衡參數(shù)信息值表示更加重視資源利用率,較低的平衡參數(shù)信息值表示更加重視任務的快速完成。并且平衡參數(shù)信息值引入動態(tài)調(diào)整模型,使得最終決策更加趨近平衡,收益最大化。
28、可選地,所述根據(jù)云計算資源池的當前資源狀況,確定權重調(diào)整信息,包括:
29、根據(jù)所述云計算資源池的實時狀態(tài)設置實時狀態(tài)反饋調(diào)整系數(shù);和/或
30、根據(jù)所述云計算資源池中設定時間內(nèi)的任務執(zhí)行情況設置滑動窗口權重;和/或
31、根據(jù)所述需求資源信息中的任務執(zhí)行要求設置場景識別調(diào)整系數(shù);
32、所述實時狀態(tài)反饋調(diào)整系數(shù)、所述滑動窗口權重及所述場景識別調(diào)整系數(shù)為權重調(diào)整信息。
33、可選地,各需求項包括數(shù)據(jù)量需求項、處理時間需求項和作業(yè)負載需求項;
34、所述記憶庫以多維索引節(jié)點的數(shù)據(jù)結構進行存儲,其中,節(jié)點包括表征調(diào)度結果的解向量、表征執(zhí)行結果的性能指標及表征需求資源信息的環(huán)境狀態(tài);多維索引包括解向量和環(huán)境狀態(tài)。
35、第二方面,本技術提供一種調(diào)度云計算資源的裝置,包括:
36、獲取模塊,用于獲取需求方的資源調(diào)度請求,所述資源調(diào)度請求中包括需求資源信息;
37、處理模塊,用于針對所述需求資源信息中的任一需求項,根據(jù)云計算資源池的當前資源狀況和歷史資源調(diào)度請求的歷史調(diào)度結果,確定所述需求項的權重信息;
38、所述處理模塊,還用于從記憶庫中查找與所述資源調(diào)度請求符合相似度要求的歷史資源調(diào)度請求;其中,相似度是通過計算各需求項在對應權重信息下的綜合結果來表征的;所述記憶庫中保存有每條歷史資源調(diào)度請求對應的歷史調(diào)度結果、歷史執(zhí)行結果之間的對應關系且所述記憶庫保持動態(tài)更新;
39、所述處理模塊,還用于基于所述符合相似度要求的歷史資源調(diào)度請求對應的歷史調(diào)度結果,為所述資源調(diào)度請求確定調(diào)度結果。
40、本技術通過設計記憶庫來存儲歷史優(yōu)化過程中獲得的優(yōu)秀解及其對應的歷史調(diào)度結果,可以根據(jù)當前資源調(diào)度請求的需求資源信息(如數(shù)據(jù)量、計算需求、預期完成時間)快速地檢索到歷史上成功處理類似任務的資源配置方案。這不僅加快了資源調(diào)度的決策過程,還提高了資源配置的準確性,確保資源被高效利用,減少了因不匹配的資源分配導致的資源浪費。
41、可選地,所述處理模塊具體用于:
42、針對任一需求項,確定所述需求項在所述資源調(diào)度請求中的需求值與在任一歷史資源調(diào)度請求的歷史值之間歸一化的差異大??;
43、根據(jù)每個需求項的差異大小及每個需求項的權重信息,得到所述資源調(diào)度請求與任一歷史資源調(diào)度請求之間的綜合相似度;
44、確定綜合相似度符合相似度要求的歷史資源調(diào)度請求。
45、可選地,所述處理模塊具體用于:
46、確定平衡參數(shù)信息;所述平衡參數(shù)信息用于作為資源利用率與任務完成時間的區(qū)分權重;
47、確定所述符合相似度要求的歷史資源調(diào)度請求對應的歷史調(diào)度結果,在所述平衡參數(shù)信息下的第一代價;
48、確定預置的資源配置方案在所述平衡參數(shù)信息下的第二代價;
49、根據(jù)所述第一代價和所述第二代價,為所述資源調(diào)度請求確定調(diào)度結果。
50、可選地,所述處理模塊具體用于:
51、將所述資源調(diào)度請求輸入至預測模型,得到任一需求項的權重預測值;所述預測模型是通過各歷史資源調(diào)度請求及其對應的歷史調(diào)度結果和歷史執(zhí)行結果訓練得到的;
52、根據(jù)云計算資源池的當前資源狀況,確定權重調(diào)整信息;
53、根據(jù)所述權重調(diào)整信息對任一需求項的權重預測值進行調(diào)整,得到任一需求項的權重信息。
54、可選地,所述處理模塊具體用于:
55、根據(jù)所述需求資源信息和所述云計算資源池的當前資源狀況,確定平衡參數(shù)初始值;
56、根據(jù)所述云計算資源池的當前資源狀況,確定權重調(diào)整信息;
57、根據(jù)所述權重調(diào)整信息對所述平衡參數(shù)初始值進行調(diào)整,得到平衡參數(shù)信息。
58、可選地,所述處理模塊具體用于:
59、根據(jù)所述云計算資源池的實時狀態(tài)設置實時狀態(tài)反饋調(diào)整系數(shù);和/或
60、根據(jù)所述云計算資源池中設定時間內(nèi)的任務執(zhí)行情況設置滑動窗口權重;和/或
61、根據(jù)所述需求資源信息中的任務執(zhí)行要求設置場景識別調(diào)整系數(shù);
62、所述實時狀態(tài)反饋調(diào)整系數(shù)、所述滑動窗口權重及所述場景識別調(diào)整系數(shù)為權重調(diào)整信息。
63、可選地,所述處理模塊具體用于:
64、各需求項包括數(shù)據(jù)量需求項、處理時間需求項和作業(yè)負載需求項;
65、所述記憶庫以多維索引節(jié)點的數(shù)據(jù)結構進行存儲,其中,節(jié)點包括表征調(diào)度結果的解向量、表征執(zhí)行結果的性能指標及表征需求資源信息的環(huán)境狀態(tài);多維索引包括解向量和環(huán)境狀態(tài)。
66、第三方面,本技術實施例提供了一種計算機設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執(zhí)行上述第一方面任意所述的調(diào)度云計算資源的方法。
67、第四方面,本技術實施例提供了一種計算機可讀存儲介質(zhì),其存儲有可由計算機設備執(zhí)行的計算機程序,當所述程序在計算機設備上運行時,使得所述計算機設備執(zhí)行上述第一方面任意所述的調(diào)度云計算資源的方法。