本發(fā)明涉及智能系統(tǒng)故障自愈能力測(cè)試，具體涉及一種智能群系統(tǒng)故障自愈能力的測(cè)試方法、裝置及設(shè)備。

背景技術(shù)：

1、智能群系統(tǒng)自愈能力指的是當(dāng)系統(tǒng)中部分智能體發(fā)生故障之后，系統(tǒng)能夠保持或恢復(fù)任務(wù)執(zhí)行能力。對(duì)系統(tǒng)自愈能力的測(cè)試通常是采用注入故障的方式通過(guò)有意地向系統(tǒng)中注入故障或錯(cuò)誤來(lái)模擬異常情況，來(lái)觀測(cè)系統(tǒng)故障前后的反應(yīng)和恢復(fù)能力，最終評(píng)價(jià)系統(tǒng)的自愈能力?，F(xiàn)階段，智能群系統(tǒng)協(xié)同決策大多基于多智能體強(qiáng)化學(xué)習(xí)技術(shù)，其工作機(jī)理具有黑箱性、智能化水平高、運(yùn)行狀態(tài)空間規(guī)模龐大，給故障注入機(jī)制的設(shè)計(jì)帶來(lái)了很大的挑戰(zhàn)。在此情形下，如何合理地注入故障將是影響自愈能力測(cè)試效率和測(cè)試效果的關(guān)鍵措施。

2、傳統(tǒng)的故障注入方法高度依賴(lài)人類(lèi)經(jīng)驗(yàn)且隨機(jī)性高，智能系統(tǒng)工作機(jī)理具有黑箱性、智能化水平高、運(yùn)行狀態(tài)空間規(guī)模龐大，人類(lèi)經(jīng)驗(yàn)難以準(zhǔn)確把握故障注入時(shí)機(jī)，隨機(jī)注入故障將會(huì)導(dǎo)致難以高效發(fā)掘系統(tǒng)的能力缺陷，因此，傳統(tǒng)的故障注入方式測(cè)試結(jié)果不可靠、測(cè)試效率低，難以滿(mǎn)足智能系統(tǒng)自愈能力的測(cè)試評(píng)價(jià)需求。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種智能群系統(tǒng)故障自愈能力的測(cè)試方法、裝置及設(shè)備，以解決采用現(xiàn)有的故障注入方式得到智能系統(tǒng)故障自愈能力的測(cè)試結(jié)果不可靠、測(cè)試效率低，難以滿(mǎn)足智能系統(tǒng)自愈能力的測(cè)試評(píng)價(jià)需求的問(wèn)題。

2、第一方面，本發(fā)明提供了一種智能群系統(tǒng)故障自愈能力的測(cè)試方法，所述方法包括：

3、將智能群系統(tǒng)故障自愈能力測(cè)試中的故障注入決策過(guò)程建模為馬爾可夫決策過(guò)程，并設(shè)置被測(cè)智能群系統(tǒng)的狀態(tài)空間、故障注入決策空間和故障注入獎(jiǎng)勵(lì)機(jī)制和策略初始參數(shù)；

4、將求解所述馬爾可夫決策過(guò)程，建模為被測(cè)智能群系統(tǒng)自愈能力測(cè)試模型生成故障注入決策的過(guò)程；

5、基于所述系統(tǒng)狀態(tài)空間、故障注入決策空間和故障注入獎(jiǎng)勵(lì)機(jī)制和策略初始參數(shù)，利用預(yù)設(shè)強(qiáng)化學(xué)習(xí)算法結(jié)合無(wú)效動(dòng)作掩碼機(jī)制訓(xùn)練被測(cè)智能群系統(tǒng)自愈能力測(cè)試模型，直至模型參數(shù)收斂得到故障注入模型；

6、將所述故障注入模型生成的故障注入決策注入被測(cè)智能群系統(tǒng)與運(yùn)行環(huán)境中，根據(jù)其產(chǎn)生的交互數(shù)據(jù)得到故障自愈能力的測(cè)試結(jié)果。

7、本實(shí)施例提供的智能群系統(tǒng)故障自愈能力的測(cè)試方法，將智能群系統(tǒng)的自愈能力測(cè)試問(wèn)題建模成馬爾可夫決策過(guò)程，并采用策略梯度算法實(shí)現(xiàn)故障注入決策的設(shè)計(jì)；并基于故障注入自身約束條件對(duì)模型訓(xùn)練的限制，增加無(wú)效動(dòng)作掩碼的方式解決有約束條件下模型的訓(xùn)練問(wèn)題；本實(shí)施例提供的測(cè)試方法可以根據(jù)智能體群任務(wù)執(zhí)行的狀態(tài)，自適應(yīng)決定何時(shí)注入哪個(gè)智能體的故障，以快速發(fā)掘智能群系統(tǒng)的自愈能力缺陷，提升自愈能力測(cè)試效率。

8、在一種可選的實(shí)施方式中，所述馬爾可夫決策過(guò)程定義為：

9、<s，a，p，ρ0，r，γ，t，avalid>，

10、其中，s表示被測(cè)智能群系統(tǒng)的狀態(tài)空間；a表示故障注入的決策空間，表示在預(yù)設(shè)狀態(tài)下采取的動(dòng)作受約束條件a_valid限制，p：s×a×s→[0，1]表示狀態(tài)轉(zhuǎn)移概率；ρ0：s→[0，1]表示初始狀態(tài)分布；r：s×a→r表示獎(jiǎng)勵(lì)函數(shù)；γ∈[0，1]表示獎(jiǎng)勵(lì)的衰減因子；t表示一輪馬爾可夫決策過(guò)程的最大長(zhǎng)度；策略πθ：s×a→[0，1]將為給定的狀態(tài)下各個(gè)待選的故障注入決策分配一個(gè)概率值，策略πθ的參數(shù)由θ表示；

11、馬爾可夫決策過(guò)程的目標(biāo)在于最大化策略的期望折扣獎(jiǎng)勵(lì)：

12、

13、其中，τ表示決策過(guò)程的軌跡(s0，a0，r0，...，st-1，at-1，rt-1)，s0～ρ0，st～p(·|st-1，at-1)，at～πθ(·|st)，rt＝r(st，at)。

14、本發(fā)明實(shí)施例將智能群系統(tǒng)的自愈能力測(cè)試問(wèn)題建模成馬爾可夫決策過(guò)程，可以設(shè)置被測(cè)智能群系統(tǒng)的狀態(tài)空間、故障注入的決策空間和策略參數(shù)，模擬智能體與環(huán)境交互過(guò)程，進(jìn)而可引入強(qiáng)化學(xué)習(xí)理論解決故障注入決策問(wèn)題。

15、在一種可選的實(shí)施方式中，采用策略梯度算法求解所述馬爾可夫決策過(guò)程，以構(gòu)建智能群系統(tǒng)自愈能力測(cè)試模型，所述策略梯度算法根據(jù)期望折扣獎(jiǎng)勵(lì)j關(guān)于策略參數(shù)θ的策略梯度進(jìn)行梯度上升操作，最終最大化策略πθ的期望折扣獎(jiǎng)勵(lì)。

16、本發(fā)明實(shí)施例采用策略梯度算法可以在較大狀態(tài)空間和大行為空間的情況下具有較好的計(jì)算效率，從而提高訓(xùn)練的效率。

17、在一種可選的實(shí)施方式中，所述無(wú)效動(dòng)作掩碼機(jī)制基于被測(cè)智能群系統(tǒng)的故障注入決策的約束條件確定。

18、本發(fā)明實(shí)施例基于故障注入決策的約束條件確定無(wú)效動(dòng)作掩碼機(jī)制，以避免采樣出禁止執(zhí)行的故障注入決策。

19、在一種可選的實(shí)施方式中，所述策略πθ用神經(jīng)網(wǎng)絡(luò)進(jìn)行表征，并輸出未歸一化的各故障注入決策對(duì)應(yīng)的分?jǐn)?shù)，所述無(wú)效動(dòng)作掩碼機(jī)制包括：

20、在訓(xùn)練時(shí)，策略神經(jīng)網(wǎng)絡(luò)輸出的各個(gè)故障注入決策對(duì)應(yīng)的分?jǐn)?shù)中，將不符合故障注入決策的約束條件的無(wú)效故障注入決策對(duì)應(yīng)的分?jǐn)?shù)修改成一個(gè)足夠小的負(fù)數(shù)使故障注入決策被采樣的概率接近0，以滿(mǎn)足所述故障注入決策的約束條件。

21、本發(fā)明實(shí)施例通過(guò)將無(wú)效故障注入決策被采樣的概率接近0，以實(shí)現(xiàn)避免采樣出禁止執(zhí)行的動(dòng)作，滿(mǎn)足故障注入決策的約束條件。

22、在一種可選的實(shí)施方式中，所述故障注入決策的約束條件包括：注入時(shí)刻、注入次數(shù)、注入概率。

23、本發(fā)明實(shí)施例根據(jù)智能體系統(tǒng)具體的行為規(guī)則對(duì)應(yīng)設(shè)置故障注入決策的約束條件。

24、第二方面，本發(fā)明提供了一種智能群系統(tǒng)故障自愈能力的測(cè)試裝置，所述裝置包括：

25、第一建模模塊，用于將智能群系統(tǒng)故障自愈能力測(cè)試中的故障注入決策過(guò)程建模為馬爾可夫決策過(guò)程，并設(shè)置被測(cè)智能群系統(tǒng)的狀態(tài)空間、故障注入決策空間和故障注入獎(jiǎng)勵(lì)機(jī)制和策略初始參數(shù)；

26、第二建模模塊，用于將求解所述馬爾可夫決策過(guò)程，建模為被測(cè)智能群系統(tǒng)自愈能力測(cè)試模型生成故障注入決策的過(guò)程；

27、故障注入決策生成模塊，用于基于所述系統(tǒng)狀態(tài)空間、故障注入決策空間和故障注入獎(jiǎng)勵(lì)機(jī)制和策略初始參數(shù)，利用預(yù)設(shè)強(qiáng)化學(xué)習(xí)算法結(jié)合無(wú)效動(dòng)作掩碼機(jī)制訓(xùn)練被測(cè)智能群系統(tǒng)自愈能力測(cè)試模型，直至模型參數(shù)收斂得到故障注入模型；

28、測(cè)試模塊，用于將所述故障注入模型生成的故障注入決策注入被測(cè)智能群系統(tǒng)與運(yùn)行環(huán)境中，根據(jù)其產(chǎn)生的交互數(shù)據(jù)得到故障自愈能力的測(cè)試結(jié)果。

29、第三方面，本發(fā)明提供了一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器和處理器，存儲(chǔ)器和處理器之間互相通信連接，存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)指令，處理器通過(guò)執(zhí)行計(jì)算機(jī)指令，從而執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的智能群系統(tǒng)故障自愈能力的測(cè)試方法。

30、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的智能群系統(tǒng)故障自愈能力的測(cè)試方法。

31、第五方面，本發(fā)明提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的智能群系統(tǒng)故障自愈能力的測(cè)試方法。