本申請(qǐng)屬于通信，尤其涉及一種搜網(wǎng)方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、目前，在搜網(wǎng)過(guò)程中，需要優(yōu)先搜索先驗(yàn)頻點(diǎn)，若不存在先驗(yàn)頻點(diǎn)，則需要對(duì)頻點(diǎn)搜索范圍中的全部頻點(diǎn)依次進(jìn)行搜索，直至搜索到合適的頻點(diǎn)后駐留并接入網(wǎng)絡(luò)，搜索時(shí)間較長(zhǎng)，搜索效率較低。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種搜網(wǎng)方法、裝置、設(shè)備及介質(zhì)，減少了網(wǎng)絡(luò)搜索的時(shí)間成本，能夠提高搜網(wǎng)效率。

2、第一方面，本申請(qǐng)實(shí)施例提供一種搜網(wǎng)方法，所述方法包括：

3、在待駐網(wǎng)頻點(diǎn)處駐網(wǎng)失敗的情況下，在預(yù)先訓(xùn)練得到的q矩陣中搜索在所述待駐網(wǎng)頻點(diǎn)對(duì)應(yīng)的狀態(tài)下執(zhí)行各個(gè)預(yù)設(shè)動(dòng)作分別對(duì)應(yīng)的預(yù)期回報(bào)，所述待駐網(wǎng)頻點(diǎn)為預(yù)設(shè)頻點(diǎn)搜索范圍中的任意一個(gè)頻點(diǎn)，所述q矩陣包括所述預(yù)設(shè)頻點(diǎn)搜索范圍中各個(gè)頻點(diǎn)對(duì)應(yīng)的狀態(tài)、預(yù)設(shè)動(dòng)作以及在每個(gè)頻點(diǎn)對(duì)應(yīng)的狀態(tài)下執(zhí)行每個(gè)預(yù)設(shè)動(dòng)作的預(yù)期回報(bào)；

4、將所述待駐網(wǎng)頻點(diǎn)對(duì)應(yīng)的若干個(gè)預(yù)設(shè)動(dòng)作中預(yù)期回報(bào)的數(shù)值最大對(duì)應(yīng)的預(yù)設(shè)動(dòng)作確定為目標(biāo)動(dòng)作；

5、根據(jù)所述目標(biāo)動(dòng)作，確定所述待駐網(wǎng)頻點(diǎn)的下一跳待駐網(wǎng)頻點(diǎn)，以在下一跳待駐網(wǎng)頻點(diǎn)處進(jìn)行駐網(wǎng)，并返回在待駐網(wǎng)頻點(diǎn)處駐網(wǎng)失敗的情況下，在預(yù)先訓(xùn)練得到的q矩陣中搜索在所述待駐網(wǎng)頻點(diǎn)對(duì)應(yīng)的狀態(tài)下執(zhí)行各個(gè)預(yù)設(shè)動(dòng)作分別對(duì)應(yīng)的預(yù)期回報(bào)的步驟，直至駐網(wǎng)成功。

6、第二方面，本申請(qǐng)實(shí)施例提供了一種搜網(wǎng)裝置，所述裝置包括：

7、搜索模塊，用于在待駐網(wǎng)頻點(diǎn)處駐網(wǎng)失敗的情況下，在預(yù)先訓(xùn)練得到的q矩陣中搜索在所述待駐網(wǎng)頻點(diǎn)對(duì)應(yīng)的狀態(tài)下執(zhí)行各個(gè)預(yù)設(shè)動(dòng)作分別對(duì)應(yīng)的預(yù)期回報(bào)，所述待駐網(wǎng)頻點(diǎn)為預(yù)設(shè)頻點(diǎn)搜索范圍中的任意一個(gè)頻點(diǎn)，所述q矩陣包括所述預(yù)設(shè)頻點(diǎn)搜索范圍中各個(gè)頻點(diǎn)對(duì)應(yīng)的狀態(tài)、預(yù)設(shè)動(dòng)作以及在每個(gè)頻點(diǎn)對(duì)應(yīng)的狀態(tài)下執(zhí)行每個(gè)預(yù)設(shè)動(dòng)作的預(yù)期回報(bào)；

8、確定模塊，用于將所述待駐網(wǎng)頻點(diǎn)對(duì)應(yīng)的若干個(gè)預(yù)設(shè)動(dòng)作中預(yù)期回報(bào)的數(shù)值最大對(duì)應(yīng)的預(yù)設(shè)動(dòng)作確定為目標(biāo)動(dòng)作；

9、駐網(wǎng)模塊，用于根據(jù)所述目標(biāo)動(dòng)作，確定所述待駐網(wǎng)頻點(diǎn)的下一跳待駐網(wǎng)頻點(diǎn)，以在下一跳待駐網(wǎng)頻點(diǎn)處進(jìn)行駐網(wǎng)，并返回在待駐網(wǎng)頻點(diǎn)處駐網(wǎng)失敗的情況下，在預(yù)先訓(xùn)練得到的q矩陣中搜索在所述待駐網(wǎng)頻點(diǎn)對(duì)應(yīng)的狀態(tài)下執(zhí)行各個(gè)預(yù)設(shè)動(dòng)作分別對(duì)應(yīng)的預(yù)期回報(bào)的步驟，直至駐網(wǎng)成功。

10、第三方面，本申請(qǐng)實(shí)施例提供了一種電子設(shè)備，該電子設(shè)備包括：處理器以及存儲(chǔ)有計(jì)算機(jī)程序指令的存儲(chǔ)器；處理器執(zhí)行所述計(jì)算機(jī)程序指令時(shí)實(shí)現(xiàn)如第一方面的任一項(xiàng)實(shí)施例中所述的搜網(wǎng)方法的步驟。

11、第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序指令，計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面的任一項(xiàng)實(shí)施例中所述的搜網(wǎng)方法的步驟。

12、本申請(qǐng)實(shí)施例的搜網(wǎng)方法、裝置、設(shè)備及介質(zhì)，由于預(yù)先訓(xùn)練得到的用于網(wǎng)絡(luò)搜索的q矩陣包括預(yù)設(shè)頻點(diǎn)搜索范圍中各個(gè)頻點(diǎn)對(duì)應(yīng)的狀態(tài)、預(yù)設(shè)動(dòng)作以及在每個(gè)頻點(diǎn)對(duì)應(yīng)的狀態(tài)下執(zhí)行每個(gè)預(yù)設(shè)動(dòng)作的預(yù)期回報(bào)，因此，在當(dāng)前頻點(diǎn)處駐網(wǎng)失敗的情況下，能夠利用q矩陣搜索確定當(dāng)前頻點(diǎn)對(duì)應(yīng)的目標(biāo)動(dòng)作以確定下一跳頻點(diǎn)，從而進(jìn)行駐網(wǎng)，相較于傳統(tǒng)的全網(wǎng)搜索減少了網(wǎng)絡(luò)搜索的時(shí)間成本，能夠提高搜網(wǎng)效率。

技術(shù)特征：

1.一種搜網(wǎng)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述在待駐網(wǎng)頻點(diǎn)處駐網(wǎng)失敗的情況下，在預(yù)先訓(xùn)練得到的q矩陣中搜索在所述待駐網(wǎng)頻點(diǎn)對(duì)應(yīng)的狀態(tài)下執(zhí)行各個(gè)預(yù)設(shè)動(dòng)作分別對(duì)應(yīng)的預(yù)期回報(bào)之前，所述方法還包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)動(dòng)作包括：在所述預(yù)設(shè)頻點(diǎn)搜索范圍中從所述頻點(diǎn)向上切、向下切、向左切和向右切。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述狀態(tài)數(shù)據(jù)包括所述頻點(diǎn)對(duì)應(yīng)的信號(hào)質(zhì)量和信噪比；

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述頻點(diǎn)類(lèi)型包括懲罰頻點(diǎn)、已知狀態(tài)頻點(diǎn)和未知狀態(tài)頻點(diǎn)；

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)頻點(diǎn)類(lèi)型對(duì)應(yīng)的預(yù)設(shè)賦值規(guī)則，對(duì)頻點(diǎn)狀態(tài)的初始獎(jiǎng)勵(lì)指標(biāo)進(jìn)行賦值，包括：

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述下一跳頻點(diǎn)對(duì)應(yīng)的狀態(tài)數(shù)據(jù)和駐網(wǎng)結(jié)果，對(duì)所述初始獎(jiǎng)勵(lì)矩陣進(jìn)行更新，得到更新后的獎(jiǎng)勵(lì)矩陣，包括：

8.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述更新后的獎(jiǎng)勵(lì)矩陣對(duì)所述初始q矩陣進(jìn)行更新，包括：

9.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)條件包括下列中至少一個(gè)：迭代訓(xùn)練的次數(shù)達(dá)到第一預(yù)設(shè)閾值、q矩陣保持連續(xù)不變的次數(shù)達(dá)到第二預(yù)設(shè)閾值。

10.一種搜網(wǎng)裝置，其特征在于，所述裝置包括：

11.一種電子設(shè)備，其特征在于，所述設(shè)備包括：處理器以及存儲(chǔ)有計(jì)算機(jī)程序指令的存儲(chǔ)器；所述處理器調(diào)用所述計(jì)算機(jī)程序指令時(shí)實(shí)現(xiàn)如權(quán)利要求1-9中任意一項(xiàng)所述的搜網(wǎng)方法。

12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器調(diào)用時(shí)實(shí)現(xiàn)如權(quán)利要求1-9中任意一項(xiàng)所述的搜網(wǎng)方法。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種搜網(wǎng)方法、裝置、設(shè)備及介質(zhì)。由于預(yù)先訓(xùn)練得到的用于網(wǎng)絡(luò)搜索的Q矩陣包括預(yù)設(shè)頻點(diǎn)搜索范圍中各個(gè)頻點(diǎn)對(duì)應(yīng)的狀態(tài)、預(yù)設(shè)動(dòng)作以及在每個(gè)頻點(diǎn)對(duì)應(yīng)的狀態(tài)下執(zhí)行每個(gè)預(yù)設(shè)動(dòng)作的預(yù)期回報(bào)，因此，在當(dāng)前頻點(diǎn)處駐網(wǎng)失敗的情況下，能夠利用Q矩陣搜索確定當(dāng)前頻點(diǎn)對(duì)應(yīng)的目標(biāo)動(dòng)作以確定下一跳頻點(diǎn)，從而進(jìn)行駐網(wǎng)。根據(jù)本申請(qǐng)實(shí)施例，減少了網(wǎng)絡(luò)搜索的時(shí)間成本，能夠提高搜網(wǎng)效率。

技術(shù)研發(fā)人員：傅強(qiáng),林紫微,唐偉,丁源,張睿
受保護(hù)的技術(shù)使用者：中移物聯(lián)網(wǎng)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21