本發(fā)明涉及能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇領(lǐng)域，具體涉及一種數(shù)據(jù)中心的能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇方法。

背景技術(shù)：

1、目前，數(shù)據(jù)中心的規(guī)模持續(xù)增長(zhǎng)，其引發(fā)的能耗問(wèn)題迫切需要采取措施應(yīng)對(duì)。因此，通過(guò)提升數(shù)據(jù)中心的能源利用效率減少能源消耗、改善其高能耗和低利用率的情況，對(duì)于社會(huì)持續(xù)發(fā)展以及實(shí)施節(jié)能減排策略具有至關(guān)重要的意義。而實(shí)現(xiàn)上述目標(biāo)的前提，是對(duì)數(shù)據(jù)中心的能耗數(shù)據(jù)進(jìn)行實(shí)時(shí)且準(zhǔn)確的采集。

2、現(xiàn)有的能耗數(shù)據(jù)采集方法通過(guò)搭建采集環(huán)境記錄數(shù)據(jù)中心內(nèi)服務(wù)器的運(yùn)行數(shù)據(jù)，基于這些數(shù)據(jù)，建立了一個(gè)精確的計(jì)算模型，用以量化cpu與服務(wù)器能耗之間的關(guān)系，然而現(xiàn)有方法主要關(guān)注機(jī)房總體環(huán)境能耗和基于軟件采集的it設(shè)備的能耗情況，缺乏對(duì)it設(shè)備精細(xì)化的環(huán)能消耗的數(shù)據(jù)采集，因而不能精準(zhǔn)地評(píng)估每個(gè)it設(shè)備中不同負(fù)載對(duì)于數(shù)據(jù)中心整體能耗的影響，導(dǎo)致采集的能耗數(shù)據(jù)的準(zhǔn)確度不高。并且現(xiàn)有方法只能進(jìn)行基礎(chǔ)的能耗數(shù)據(jù)采集和展示，其數(shù)據(jù)中心雖然配備了監(jiān)控系統(tǒng)，但該系統(tǒng)主要關(guān)注硬件設(shè)備的運(yùn)行狀態(tài)和故障預(yù)警，對(duì)于能耗數(shù)據(jù)的處理相對(duì)簡(jiǎn)單，缺乏對(duì)特征數(shù)據(jù)進(jìn)行選擇，這使得管理人員在面臨能耗問(wèn)題時(shí)，往往只能依賴于基本的能耗數(shù)據(jù)，而無(wú)法獲得更深入的能耗分析和優(yōu)化建議。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供了一種數(shù)據(jù)中心的能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇方法，通過(guò)構(gòu)建的能耗數(shù)據(jù)采集架構(gòu)，利用智能電源分配單元采集服務(wù)端的能耗數(shù)據(jù)，能實(shí)現(xiàn)數(shù)據(jù)中心的環(huán)能監(jiān)測(cè)，基于隨機(jī)森林法和不純度比對(duì)法對(duì)服務(wù)端的性能指標(biāo)數(shù)據(jù)進(jìn)行特征選擇，獲取能耗數(shù)據(jù)的特征數(shù)據(jù)，能對(duì)現(xiàn)實(shí)工作進(jìn)行指導(dǎo)。

2、為了達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案為：

3、一種數(shù)據(jù)中心的能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇方法，包括以下步驟：

4、s1、構(gòu)建包括服務(wù)端、客戶端、監(jiān)控端和智能電源分配單元的能耗數(shù)據(jù)采集架構(gòu)，根據(jù)客戶端的服務(wù)請(qǐng)求，利用智能電源分配單元采集服務(wù)端的能耗數(shù)據(jù)；

5、s2、在服務(wù)端設(shè)置性能指標(biāo)數(shù)據(jù)采集模塊，并在監(jiān)控端設(shè)置分布式時(shí)間序列數(shù)據(jù)庫(kù)，采集服務(wù)端的性能指標(biāo)數(shù)據(jù)；

6、s3、基于隨機(jī)森林法和不純度比對(duì)法對(duì)服務(wù)端的性能指標(biāo)數(shù)據(jù)進(jìn)行特征選擇，獲取能耗數(shù)據(jù)的特征數(shù)據(jù)。

7、進(jìn)一步地，在步驟s2中，性能指標(biāo)數(shù)據(jù)采集模塊采用collectl，分布式時(shí)間序列數(shù)據(jù)庫(kù)采用opentsdb。

8、進(jìn)一步地，在步驟s2中，性能指標(biāo)數(shù)據(jù)包括cpu性能數(shù)據(jù)、磁盤性能數(shù)據(jù)、內(nèi)存性能數(shù)據(jù)、進(jìn)程性能數(shù)據(jù)和網(wǎng)絡(luò)性能數(shù)據(jù)。

9、進(jìn)一步地，cpu性能數(shù)據(jù)包括cpu的使用率、cpu的時(shí)鐘頻率、cpu用于用戶進(jìn)程的時(shí)間、cpu用于系統(tǒng)進(jìn)程的時(shí)間和cpu處于空閑的時(shí)間；磁盤性能數(shù)據(jù)包括磁盤的已使用空間大小、從磁盤讀取數(shù)據(jù)的速度、磁盤io操作等待的時(shí)間、磁盤平均響應(yīng)時(shí)間和向磁盤寫入數(shù)據(jù)的速度；內(nèi)存性能數(shù)據(jù)包括系統(tǒng)中已使用的內(nèi)存大小、內(nèi)存數(shù)據(jù)傳輸速率、內(nèi)存緩存命中的百分比、頁(yè)面錯(cuò)誤的數(shù)量和內(nèi)存交換的次數(shù)；進(jìn)程性能數(shù)據(jù)包括每個(gè)進(jìn)程占用cpu的時(shí)間比例、每個(gè)進(jìn)程占用內(nèi)存的大小、每個(gè)進(jìn)程執(zhí)行的io操作次數(shù)、每個(gè)進(jìn)程的線程數(shù)量和每個(gè)進(jìn)程的運(yùn)行狀態(tài)；網(wǎng)絡(luò)性能數(shù)據(jù)包括網(wǎng)絡(luò)傳輸速率、系統(tǒng)中當(dāng)前的網(wǎng)絡(luò)連接數(shù)、數(shù)據(jù)包丟失的百分比、數(shù)據(jù)在網(wǎng)絡(luò)傳輸過(guò)程中的延遲時(shí)間和tcp連接數(shù)。

10、進(jìn)一步地，步驟s3包括以下步驟：

11、s31、基于隨機(jī)森林法構(gòu)建至少一個(gè)決策樹模型，根據(jù)服務(wù)端的性能指標(biāo)數(shù)據(jù)構(gòu)建與決策樹模型相同數(shù)量的采樣集，利用決策樹模型隨機(jī)選擇采樣集進(jìn)行節(jié)點(diǎn)分裂，并計(jì)算性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的不純度減少；

12、s32、根據(jù)性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的不純度減少，計(jì)算性能指標(biāo)的重要度；

13、s33、對(duì)性能指標(biāo)的重要度進(jìn)行歸一化，并根據(jù)歸一化后的性能指標(biāo)的重要度和特征重要度閾值獲取能耗數(shù)據(jù)的特征數(shù)據(jù)。

14、進(jìn)一步地，在步驟s31中，利用決策樹模型隨機(jī)選擇采樣集進(jìn)行節(jié)點(diǎn)分裂，并計(jì)算性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的不純度減少，具體為：利用決策樹模型隨機(jī)選擇采樣集進(jìn)行節(jié)點(diǎn)分裂，獲取性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的基尼指數(shù)變化值，并將性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的基尼指數(shù)變化值確定為性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的不純度減少。

15、進(jìn)一步地，在步驟s32中，根據(jù)步驟s31中性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的不純度減少，計(jì)算性能指標(biāo)的重要度，表示為：

16、

17、其中：m(f)為性能指標(biāo)f的重要度，t為決策樹模型的數(shù)量，t為決策樹模型的編號(hào)，δgt(f)為性能指標(biāo)f在第t個(gè)決策樹模型的分裂節(jié)點(diǎn)引起的不純度減少。

18、本發(fā)明具有以下有益效果：

19、(1)本發(fā)明通過(guò)構(gòu)建的能耗數(shù)據(jù)采集架構(gòu)，利用智能電源分配單元采集服務(wù)端的能耗數(shù)據(jù)，能實(shí)現(xiàn)數(shù)據(jù)中心的環(huán)能監(jiān)測(cè)，提高了能耗數(shù)據(jù)采集的精確性；

20、(2)本發(fā)明通過(guò)在服務(wù)端設(shè)置性能指標(biāo)數(shù)據(jù)采集模塊，并在監(jiān)控端設(shè)置分布式時(shí)間序列數(shù)據(jù)庫(kù)，采集服務(wù)端的性能指標(biāo)數(shù)據(jù)，為進(jìn)行更為準(zhǔn)確的特征數(shù)據(jù)選擇奠定基礎(chǔ)；

21、(3)本發(fā)明基于隨機(jī)森林法和不純度比對(duì)法對(duì)服務(wù)端的性能指標(biāo)數(shù)據(jù)進(jìn)行特征選擇，獲取能耗數(shù)據(jù)的特征數(shù)據(jù)，以獲得更具實(shí)際意義的能耗數(shù)據(jù)，進(jìn)而提高了能耗評(píng)估預(yù)測(cè)的準(zhǔn)確性，為數(shù)據(jù)中心能耗優(yōu)化提供了有力的數(shù)據(jù)支持。

技術(shù)特征：

1.一種數(shù)據(jù)中心的能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)中心的能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇方法，其特征在于，在步驟s2中，性能指標(biāo)數(shù)據(jù)采集模塊采用collectl，分布式時(shí)間序列數(shù)據(jù)庫(kù)采用opentsdb。

3.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)中心的能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇方法，其特征在于，在步驟s2中，性能指標(biāo)數(shù)據(jù)包括cpu性能數(shù)據(jù)、磁盤性能數(shù)據(jù)、內(nèi)存性能數(shù)據(jù)、進(jìn)程性能數(shù)據(jù)和網(wǎng)絡(luò)性能數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的一種數(shù)據(jù)中心的能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇方法，其特征在于，cpu性能數(shù)據(jù)包括cpu的使用率、cpu的時(shí)鐘頻率、cpu用于用戶進(jìn)程的時(shí)間、cpu用于系統(tǒng)進(jìn)程的時(shí)間和cpu處于空閑的時(shí)間；磁盤性能數(shù)據(jù)包括磁盤的已使用空間大小、從磁盤讀取數(shù)據(jù)的速度、磁盤io操作等待的時(shí)間、磁盤平均響應(yīng)時(shí)間和向磁盤寫入數(shù)據(jù)的速度；內(nèi)存性能數(shù)據(jù)包括系統(tǒng)中已使用的內(nèi)存大小、內(nèi)存數(shù)據(jù)傳輸速率、內(nèi)存緩存命中的百分比、頁(yè)面錯(cuò)誤的數(shù)量和內(nèi)存交換的次數(shù)；進(jìn)程性能數(shù)據(jù)包括每個(gè)進(jìn)程占用cpu的時(shí)間比例、每個(gè)進(jìn)程占用內(nèi)存的大小、每個(gè)進(jìn)程執(zhí)行的io操作次數(shù)、每個(gè)進(jìn)程的線程數(shù)量和每個(gè)進(jìn)程的運(yùn)行狀態(tài)；網(wǎng)絡(luò)性能數(shù)據(jù)包括網(wǎng)絡(luò)傳輸速率、系統(tǒng)中當(dāng)前的網(wǎng)絡(luò)連接數(shù)、數(shù)據(jù)包丟失的百分比、數(shù)據(jù)在網(wǎng)絡(luò)傳輸過(guò)程中的延遲時(shí)間和tcp連接數(shù)。

5.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)中心的能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇方法，其特征在于，步驟s3包括以下步驟：

6.根據(jù)權(quán)利要求5所述的一種數(shù)據(jù)中心的能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇方法，其特征在于，在步驟s31中，利用決策樹模型隨機(jī)選擇采樣集進(jìn)行節(jié)點(diǎn)分裂，并計(jì)算性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的不純度減少，具體為：利用決策樹模型隨機(jī)選擇采樣集進(jìn)行節(jié)點(diǎn)分裂，獲取性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的基尼指數(shù)變化值，并將性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的基尼指數(shù)變化值確定為性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的不純度減少。

7.根據(jù)權(quán)利要求5所述的一種數(shù)據(jù)中心的能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇方法，其特征在于，在步驟s32中，根據(jù)步驟s31中性能指標(biāo)在決策樹模型的分裂節(jié)點(diǎn)引起的不純度減少，計(jì)算性能指標(biāo)的重要度，表示為：

技術(shù)總結(jié)
本發(fā)明公開了一種數(shù)據(jù)中心的能耗數(shù)據(jù)采集及特征數(shù)據(jù)選擇方法。該方法包括以下步驟：構(gòu)建能耗數(shù)據(jù)采集架構(gòu)，根據(jù)客戶端的服務(wù)請(qǐng)求，利用智能電源分配單元采集服務(wù)端的能耗數(shù)據(jù)；在服務(wù)端設(shè)置性能指標(biāo)數(shù)據(jù)采集模塊，并在監(jiān)控端設(shè)置分布式時(shí)間序列數(shù)據(jù)庫(kù)，采集服務(wù)端的性能指標(biāo)數(shù)據(jù)；基于隨機(jī)森林法和不純度比對(duì)法對(duì)服務(wù)端的性能指標(biāo)數(shù)據(jù)進(jìn)行特征選擇，獲取能耗數(shù)據(jù)的特征數(shù)據(jù)。本發(fā)明通過(guò)構(gòu)建的能耗數(shù)據(jù)采集架構(gòu)，利用智能電源分配單元采集服務(wù)端的能耗數(shù)據(jù)，能實(shí)現(xiàn)數(shù)據(jù)中心的環(huán)能監(jiān)測(cè)，基于隨機(jī)森林法和不純度比對(duì)法對(duì)服務(wù)端的性能指標(biāo)數(shù)據(jù)進(jìn)行特征選擇，獲取能耗數(shù)據(jù)的特征數(shù)據(jù)，能對(duì)現(xiàn)實(shí)工作進(jìn)行指導(dǎo)。

技術(shù)研發(fā)人員：王燕,周俊強(qiáng),李杰鋒,李祥
受保護(hù)的技術(shù)使用者：內(nèi)蒙古大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/12