技術(shù)特征：

1.一種基于深度強化學(xué)習(xí)算法的無人帆船控制方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于深度強化學(xué)習(xí)算法的無人帆船控制方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型包括第一critic網(wǎng)絡(luò)、第二critic網(wǎng)絡(luò)和actor網(wǎng)絡(luò)，所述第一critic網(wǎng)絡(luò)和第二critic網(wǎng)絡(luò)用以分別根據(jù)當(dāng)前的狀態(tài)量和動作量輸出一個q值，所述q值用于對actor網(wǎng)絡(luò)的決策產(chǎn)生影響，所述actor網(wǎng)絡(luò)用以根據(jù)當(dāng)前的狀態(tài)量、所述q值輸出舵角和帆角的均值及標(biāo)準(zhǔn)差。

3.根據(jù)權(quán)利要求2所述的一種基于深度強化學(xué)習(xí)算法的無人帆船控制方法，其特征在于，所述第一critic網(wǎng)絡(luò)包括第一輸入模塊和第二輸入模塊，所述第一輸入模塊和第二輸入模塊分別用以接收輸入的當(dāng)前的狀態(tài)量和動作量，所述第一輸入模塊和第二輸入模塊分別與第一全連接模塊和第二全連接模塊連接，所述第一全連接模塊和第二全連接模塊均使用256個神經(jīng)元分別與狀態(tài)量和動作量全連接，以分別生成256個特征，所述第一全連接模塊和第二全連接模塊均與拼接模塊連接，所述拼接模塊用以將狀態(tài)量和動作量的特征進行串聯(lián)，以形成512個特征組合，且其與第一激活模塊、第三全連接模塊、第二激活模塊和第四全連接模塊依次串聯(lián)連接，所述第一激活模塊用以對串聯(lián)后的特征進行激活，以產(chǎn)生512個非負特征并傳入第三全連接模塊，所述第三全連接模塊用以采用256個神經(jīng)元與512個特征全連接，以獲得256個高級特征表示狀態(tài)量特征與動作量特征之間的高級特征關(guān)系，所述第二激活模塊用以對第三全連接模塊輸出的高級特征進行激活，以根據(jù)256個高級特征產(chǎn)生256個非負特征，所述第四全連接模塊用以根據(jù)第二激活模塊產(chǎn)生的256個非負特征計算獲得q值。

4.根據(jù)權(quán)利要求3所述的一種基于深度強化學(xué)習(xí)算法的無人帆船控制方法，其特征在于，所述第二critic網(wǎng)絡(luò)與第一critic網(wǎng)絡(luò)的結(jié)構(gòu)相同，但其第一全連接模塊和第二全連接模塊均使用128個神經(jīng)元生成相應(yīng)的特征。

5.根據(jù)權(quán)利要求3所述的一種基于深度強化學(xué)習(xí)算法的無人帆船控制方法，其特征在于，所述actor網(wǎng)絡(luò)包括第三輸入模塊，所述第三輸入模塊用以接收輸入的當(dāng)前的狀態(tài)量，且其與第五全連接模塊連接，所述第五全連接模塊使用256個神經(jīng)元與狀態(tài)量全連接，以生成256個特征，且其與第三激活模塊連接，所述第三激活模塊用以對第五全連接模塊輸出的特征進行激活，以產(chǎn)生256個非負特征并分別傳入第六全連接模塊和第七全連接模塊；

6.根據(jù)權(quán)利要求1所述的一種基于深度強化學(xué)習(xí)算法的無人帆船控制方法，其特征在于，還包括：基于狀態(tài)誤差卡爾曼濾波算法實現(xiàn)對系統(tǒng)狀態(tài)的動態(tài)估計和修正。

7.根據(jù)權(quán)利要求1所述的一種基于深度強化學(xué)習(xí)算法的無人帆船控制方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型通過以下方式訓(xùn)練：

8.根據(jù)權(quán)利要求7所述的一種基于深度強化學(xué)習(xí)算法的無人帆船控制方法，其特征在于，所述模擬風(fēng)速函數(shù)和模擬風(fēng)向函數(shù)分別為：

技術(shù)總結(jié)
本發(fā)明公開了一種基于深度強化學(xué)習(xí)算法的無人帆船控制方法。該方法包括采集無人帆船的位置坐標(biāo)信息，基于無人帆船的位置坐標(biāo)信息計算無人帆船坐標(biāo)系的速度，采集無人帆船的三軸的線加速度和三軸角速度，同時計算無人帆船的橫搖角，將當(dāng)前的狀態(tài)量、動作量輸入至訓(xùn)練合格的神經(jīng)網(wǎng)絡(luò)模型預(yù)測下一時刻的舵角和帆角；控制無人帆船的風(fēng)帆舵機與船舵舵機預(yù)測的舵角和帆角工作。本發(fā)明只需要采集當(dāng)前的帆角、舵角和狀態(tài)數(shù)據(jù)，就能夠進行后續(xù)控帆、控舵決策的強化學(xué)習(xí)方法，不需要對風(fēng)速、風(fēng)向進行實時監(jiān)測，能夠有效抵抗隨機風(fēng)場波動的外部干擾，省去風(fēng)速風(fēng)向儀的裝配，降低環(huán)境變化對依賴風(fēng)速風(fēng)向控制算法的影響，同時提升帆船整體的集成性。

技術(shù)研發(fā)人員：陳鵬,李琳
受保護的技術(shù)使用者：三亞?；酆Ｑ罂萍加邢薰?br/>技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21