本發(fā)明屬于火災(zāi)檢測(cè)領(lǐng)域，尤其涉及一種適合邊緣計(jì)算的融合多源時(shí)序數(shù)據(jù)的火災(zāi)預(yù)測(cè)方法。

背景技術(shù)：

1、野外火災(zāi)預(yù)測(cè)的概念是指利用數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等技術(shù)，通過(guò)對(duì)歷史數(shù)據(jù)和特定特征的分析，建立預(yù)測(cè)模型來(lái)識(shí)別潛在的野外火災(zāi)風(fēng)險(xiǎn)實(shí)現(xiàn)預(yù)測(cè)野外火災(zāi)，以便提前采取預(yù)防措施或?qū)崟r(shí)應(yīng)對(duì)。舉例來(lái)說(shuō)，一個(gè)適合邊緣計(jì)算的野外火災(zāi)預(yù)測(cè)系統(tǒng)可以使用傳感器數(shù)據(jù)和天氣數(shù)據(jù)來(lái)預(yù)測(cè)野外火災(zāi)的可能性。系統(tǒng)首先收集歷史傳感器數(shù)據(jù)，包括溫度、濕度、煙霧密度等信息，以及天氣數(shù)據(jù)如風(fēng)速和氣壓。然后，利用這些數(shù)據(jù)訓(xùn)練比如基于lstm的神經(jīng)網(wǎng)絡(luò)模型，來(lái)學(xué)習(xí)數(shù)據(jù)中的模式和特征。最終通過(guò)野外火災(zāi)預(yù)測(cè)系統(tǒng)，可以提前識(shí)別潛在的火災(zāi)風(fēng)險(xiǎn)，幫助減少野外火災(zāi)造成的損失和危害。

2、目前，野外火災(zāi)預(yù)測(cè)的一個(gè)重要問(wèn)題，野外火災(zāi)預(yù)測(cè)需要大量的數(shù)據(jù)支持，包括傳感器數(shù)據(jù)、氣象數(shù)據(jù)等。然而，數(shù)據(jù)質(zhì)量存在問(wèn)題，導(dǎo)致數(shù)據(jù)樣本的不足，最終影響預(yù)測(cè)模型的準(zhǔn)確性。目前主要存在三個(gè)關(guān)鍵的工程問(wèn)題：

3、（1）野外火災(zāi)一般持續(xù)的時(shí)間長(zhǎng)，從火星產(chǎn)生到形成具有明顯煙霧及明火的特征需要數(shù)十個(gè)小時(shí)，顯然其檢測(cè)不適合采用等間距采樣方法。在長(zhǎng)時(shí)間監(jiān)測(cè)的前提下，如何分析大量數(shù)據(jù)，是一大工程問(wèn)題。

4、（2）檢測(cè)視角以及數(shù)據(jù)樣本不足問(wèn)題。在野外火災(zāi)檢測(cè)中，檢測(cè)視角固定以及數(shù)據(jù)樣本不足是一個(gè)重要的問(wèn)題，特別是針對(duì)野外火災(zāi)這種罕見(jiàn)但又極其重要的事件。這會(huì)導(dǎo)致模型的訓(xùn)練不充分，影響模型的泛化能力和準(zhǔn)確性。

5、（3）在夜間螢火蟲(chóng)的光亮容易被誤報(bào)為暗火，頻繁的誤報(bào)可能會(huì)降低火災(zāi)檢測(cè)模型的可靠性，使其難以識(shí)別真正的火災(zāi)跡象，從而影響應(yīng)急響應(yīng)的效率。這也是一大工程問(wèn)題。

6、對(duì)于這三個(gè)問(wèn)題，現(xiàn)有的野外火災(zāi)預(yù)測(cè)解決方案的研究集中在不斷提高野外火災(zāi)的識(shí)別方面，但是未考慮以上這兩個(gè)工程問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明的目的在于提供一種適合邊緣計(jì)算的融合多源時(shí)序數(shù)據(jù)的火災(zāi)預(yù)測(cè)方法。在野外火災(zāi)預(yù)測(cè)時(shí)，解決樣本數(shù)據(jù)不足的問(wèn)題，并且提高對(duì)于長(zhǎng)時(shí)間監(jiān)測(cè)的準(zhǔn)確性。從而幫助減少火災(zāi)造成的人員傷亡和財(cái)產(chǎn)損失，提高應(yīng)對(duì)火災(zāi)的效率和及時(shí)性。

2、技術(shù)方案：本發(fā)明的一種適合邊緣計(jì)算的融合多源時(shí)序數(shù)據(jù)的火災(zāi)預(yù)測(cè)方法，其特征在于，包括如下步驟：

3、步驟1、采集目標(biāo)區(qū)域多視角rgb圖像、多視角紅外圖像和氣象數(shù)據(jù)，并對(duì)多視角rgb圖像和氣象數(shù)據(jù)進(jìn)行預(yù)處理；

4、步驟2、對(duì)多視角紅外圖像進(jìn)行高斯平滑處理；

5、步驟3、以cnn為骨干網(wǎng)絡(luò)構(gòu)建smokey?net預(yù)測(cè)模型，將預(yù)處理后的多視角rgb圖像和氣象數(shù)據(jù)，以及高斯平滑處理后的多視角紅外圖像輸入smokey?net預(yù)測(cè)模型，進(jìn)行多源數(shù)據(jù)融合；

6、步驟4、選擇稀疏注意力機(jī)制、強(qiáng)注意力機(jī)制和多頭注意力機(jī)制三種注意力機(jī)制；

7、步驟5、添加外部寄存器模塊和長(zhǎng)短期記憶網(wǎng)絡(luò)；

8、步驟6、對(duì)smokey?net預(yù)測(cè)模型進(jìn)行訓(xùn)練，通過(guò)隨機(jī)梯度下降更新模型權(quán)重，并調(diào)整損失函數(shù)和優(yōu)化器，得到訓(xùn)練完成的smokey?net預(yù)測(cè)模型，通過(guò)訓(xùn)練完成的smokey?net預(yù)測(cè)模型對(duì)目標(biāo)區(qū)域火災(zāi)進(jìn)行預(yù)測(cè)。

9、進(jìn)一步的，步驟1具體包括如下步驟：

10、步驟1.1、選擇來(lái)自不同來(lái)源的數(shù)據(jù)，包括不同方位攝像機(jī)所拍攝的不同角度的野外火災(zāi)發(fā)生的rgb圖片、紅外圖片以及溫度濕度的相關(guān)氣象數(shù)據(jù)，原始數(shù)據(jù)集如下表示：

11、其中表示原始數(shù)據(jù)集，表示時(shí)刻視角的紅色圖片，表示時(shí)刻視角的綠色圖片，表示時(shí)刻視角的藍(lán)色圖片，表示時(shí)刻視角的rgb圖片相對(duì)應(yīng)的紅外圖片，表示時(shí)刻的溫度數(shù)據(jù)，表示時(shí)刻的風(fēng)力數(shù)據(jù)，表示時(shí)刻的濕度數(shù)據(jù)；

12、步驟1.2、對(duì)數(shù)據(jù)集中的溫度，濕度，風(fēng)力數(shù)據(jù)進(jìn)行預(yù)處理，使其范圍符合圖片像素范圍0-255，以減少模型訓(xùn)練過(guò)程中的權(quán)重偏差問(wèn)題，對(duì)溫度，風(fēng)力，濕度數(shù)據(jù)進(jìn)行預(yù)處理方式為歸一化，以下公式表示：

13、；

14、則經(jīng)過(guò)預(yù)處理后的數(shù)據(jù)集表示為：

15、其中為時(shí)刻溫度數(shù)據(jù)歸一化結(jié)果；為時(shí)風(fēng)力數(shù)據(jù)歸一化結(jié)果；為時(shí)刻濕度數(shù)據(jù)歸一化結(jié)果；表示時(shí)刻的溫度數(shù)據(jù)，表示時(shí)刻的風(fēng)力數(shù)據(jù)，表示時(shí)刻的濕度數(shù)據(jù)；為溫度最小值，?為溫度最大值，為風(fēng)力最小值，?為風(fēng)力最大值，為濕度最小值，?為濕度最大值；

16、步驟1.3、對(duì)數(shù)據(jù)進(jìn)行標(biāo)記或標(biāo)注，即為每個(gè)樣本分配正確的標(biāo)簽或類別，利用計(jì)算機(jī)視覺(jué)技術(shù)進(jìn)行自動(dòng)標(biāo)記，即使用目標(biāo)檢測(cè)、語(yǔ)義分割的技術(shù)來(lái)檢測(cè)圖像中的火焰或煙霧區(qū)域；

17、步驟1.4、將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

18、進(jìn)一步的，步驟2具體包括如下步驟：

19、步驟2.1、采取高斯濾波將每個(gè)數(shù)據(jù)點(diǎn)周圍的鄰域權(quán)重化，使得距離中心點(diǎn)越遠(yuǎn)的數(shù)據(jù)點(diǎn)權(quán)重越小，設(shè)一個(gè)大小為的高斯核，中心點(diǎn)為，對(duì)于紅外圖像中的每個(gè)像素記為，以下公式表示：

20、；；

21、其中，?和?是高斯核的索引，循環(huán)遍歷的范圍為，是輸入圖像中像素的灰度值，是卷積后的輸出圖像中像素的值，是高斯核的標(biāo)準(zhǔn)差，是自然對(duì)數(shù)的底；

22、步驟2.2、確定窗口大小，考慮圖像的特性、噪聲水平以及應(yīng)用需求，選擇7×7的窗口用以更好地平滑圖像。

23、進(jìn)一步的，步驟3具體包括如下步驟：

24、步驟3.1、利用cnn分別提取每一幀rgb三色圖像和紅外圖像，選取選擇vgg16的倒數(shù)第二個(gè)卷積塊的最后一層，也就是block5_conv3層，進(jìn)行特征提取，vgg16的工作流程為輸入時(shí)刻視角的紅色圖片、時(shí)刻視角的綠色圖片、時(shí)刻視角的藍(lán)色圖片及紅外圖像經(jīng)過(guò)vgg16后得到的特征圖分別記為?，以下公式表示：

25、；

26、步驟3.2、進(jìn)行多源數(shù)據(jù)融合，將經(jīng)過(guò)cnn提取的每一幅rgb三色圖像和紅外圖像的特征圖片，與溫度濕度風(fēng)力的氣象因素融合，生成新的特征圖片，首先設(shè)溫度、濕度、風(fēng)向這三個(gè)數(shù)據(jù)源在時(shí)刻的權(quán)重分別為，則加權(quán)融合的公式表示為：

27、；

28、則融合完成后第時(shí)刻的特征記為，公式表示為：

29、。

30、進(jìn)一步的，步驟4具體為：稀疏注意力機(jī)制sparse?attention的原理如下，選擇rgb三色時(shí)序圖像和紅外時(shí)序圖像的特征像素，以rgb三色時(shí)序圖像中的紅色r的第個(gè)元素為例，其中是輸入序列的第個(gè)時(shí)刻第個(gè)元素，記為 f 1，因此第個(gè)元素的個(gè)時(shí)間序列為輸入序列表示為，是序列的長(zhǎng)度，首先是計(jì)算相似度，對(duì)于每個(gè)位置計(jì)算它與其他位置之間的關(guān)聯(lián)度，通過(guò)內(nèi)積、歐氏距離或余弦相似度來(lái)衡量，該過(guò)程為注意力機(jī)制內(nèi)部黑盒計(jì)算，根據(jù)計(jì)算出的相似度，選擇與每個(gè)位置最相關(guān)的一些位置，形成稀疏子集，所使用的方法為根據(jù)相似度閾值選擇，對(duì)于每個(gè)位置，利用選擇的稀疏子集中的位置，通過(guò)?softmax?函數(shù)計(jì)算注意力權(quán)重，其中的公式如下：

31、；

32、其中?表示位置和?之間的相似度，是溫度參數(shù)用于控制分布的平滑度，

33、最后根據(jù)得到的注意力權(quán)重，得到位置?的輸出特征，其公式為：

34、；

35、強(qiáng)注意力機(jī)制hard?attention原理如下，在氣溫?cái)?shù)據(jù)中，選取第個(gè)時(shí)刻，其中是輸入序列的第個(gè)時(shí)刻第個(gè)元素，記為，則其輸入序列，是序列的長(zhǎng)度，在每個(gè)時(shí)間步?，hard?attention會(huì)根據(jù)貪心策略選擇一個(gè)位置，作為當(dāng)前時(shí)間步的注意力焦點(diǎn)，然后根據(jù)選擇的位置，計(jì)算當(dāng)前時(shí)間步的注意力權(quán)重向量?，其中只有位置?的權(quán)重為1，其他位置的權(quán)重為0，并且使用注意力權(quán)重向量?對(duì)值向量進(jìn)行加權(quán)求和，得到當(dāng)前時(shí)間步的輸出向量，公式如下：

36、；

37、最后根據(jù)每個(gè)時(shí)間步選擇的位置得到的輸出向量序列；

38、多頭注意力機(jī)制multi-head?attention原理如下，選擇rgb三色圖像和紅外圖像的特征像素以及氣象數(shù)據(jù)的第個(gè)時(shí)刻，其中是輸入序列的第個(gè)時(shí)刻第個(gè)元素，記為，則其輸入序列：

39、；

40、是序列的長(zhǎng)度，首先，通過(guò)將輸入序列乘以查詢矩陣、鍵矩陣?和值矩陣，得到查詢、鍵?和值，然后，將查詢、鍵和值分別分割成?個(gè)頭，得到?，其中表示第個(gè)頭，對(duì)每個(gè)頭，計(jì)算注意力分?jǐn)?shù)?，公式如下：

41、；

42、其中，是鍵的維度；

43、計(jì)算每個(gè)頭的注意力輸出，公式如下：

44、

45、最后將所有頭的注意力輸出連接起來(lái)，并乘以輸出矩陣?得到最終的輸出見(jiàn)如下公式：

46、。

47、進(jìn)一步的，步驟5具體包括如下步驟：

48、步驟5.1、增加外部寄存器，通過(guò)外部寄存器的使用來(lái)存儲(chǔ)額外的特征圖片同時(shí)不斷更新以存儲(chǔ)特征圖片，從而增強(qiáng)其性能和泛化能力，工作過(guò)程為在訓(xùn)練過(guò)程中，選擇性地將當(dāng)前特征圖片存儲(chǔ)到外部寄存器中，替換舊的特征圖片，每次更新1組，以保證外部寄存器中始終有10組數(shù)據(jù)；最后在模型的前向傳播過(guò)程中，結(jié)合當(dāng)前輸入數(shù)據(jù)和外部寄存器中的特征圖片；

49、步驟5.2、引入lstm框架，其中時(shí)刻lstm狀態(tài)的計(jì)算公式為：

50、；

51、式中：為輸入向量；為遺忘門(mén)在時(shí)刻的激活向量；為輸入門(mén)在時(shí)刻的激活向量；為輸出門(mén)在時(shí)刻的激活向量；為時(shí)刻的記憶細(xì)胞激活向量；為時(shí)刻的隱藏狀態(tài)激活向量；為各自門(mén)的輸入內(nèi)核；為各自門(mén)的循環(huán)內(nèi)核；為偏差；為sigmoid激活函數(shù);tanh為雙曲正切激活函數(shù)。

52、進(jìn)一步的，步驟6中，通過(guò)隨機(jī)梯度下降更新模型權(quán)重具體為：確定學(xué)習(xí)率，不斷調(diào)整損失函數(shù)和優(yōu)化器的設(shè)置，更新之后的學(xué)習(xí)率為如下所示

53、

54、上式中，設(shè)定了初始動(dòng)量power為?0.8?和初始學(xué)習(xí)率為?0.001，并使用表示最大迭代次數(shù)，表示當(dāng)前迭代次數(shù)。

55、本發(fā)明還公開(kāi)一種適合邊緣計(jì)算的融合多源時(shí)序數(shù)據(jù)的火災(zāi)預(yù)測(cè)系統(tǒng)，包括多視角多方位數(shù)據(jù)模塊、紅外數(shù)據(jù)平滑處理模塊、新型smokey?net架構(gòu)模塊和訓(xùn)練參數(shù)設(shè)置模塊；

56、所述多視角多方位數(shù)據(jù)模塊，包含不同方位攝像機(jī)所拍攝的不同角度的野外火災(zāi)發(fā)生前后的rgb圖片、紅外圖片以及溫度、濕度、風(fēng)力氣象數(shù)據(jù)；該模塊用以提供更全面、多樣化的信息，提高系統(tǒng)的魯棒性，使其對(duì)于不同環(huán)境條件和火災(zāi)特征具有更好的適應(yīng)能力；

57、所述紅外數(shù)據(jù)平滑處理模塊用于去除紅外圖片中所含夜間干擾光源；

58、所述新型smokey?net架構(gòu)模塊通過(guò)結(jié)合cnn、lstm和多模態(tài)稀疏變壓器，smokeynet架構(gòu)能夠?qū)⑤斎氲膔gb圖片、紅外圖片以及溫度、濕度、風(fēng)力氣象數(shù)據(jù)充分結(jié)合充分利用不同類型數(shù)據(jù)的信息，準(zhǔn)確檢測(cè)出野火煙霧并且預(yù)測(cè)野火的發(fā)展態(tài)勢(shì)；

59、所述訓(xùn)練參數(shù)設(shè)置模塊調(diào)整相關(guān)參數(shù)，提高野外火災(zāi)檢測(cè)模型的訓(xùn)練效率、泛化能力和性能表現(xiàn)。

60、本發(fā)明還公開(kāi)一種計(jì)算機(jī)裝置，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)本發(fā)明方法的步驟。

61、有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明具有如下顯著優(yōu)點(diǎn)：首先，本發(fā)明提升數(shù)據(jù)利用效率。主要體現(xiàn)在本發(fā)明利用稀疏注意力機(jī)制，有效解決了野外火災(zāi)預(yù)測(cè)中樣本數(shù)據(jù)過(guò)多的問(wèn)題。傳統(tǒng)方法通常需要大量標(biāo)記數(shù)據(jù)來(lái)訓(xùn)練模型，而稀疏注意力機(jī)制能夠在保持準(zhǔn)確性的同時(shí)，利用少量樣本進(jìn)行高效學(xué)習(xí)。這種方法極大地提高了數(shù)據(jù)利用效率。其次本發(fā)明通過(guò)引入外部寄存器存儲(chǔ)額外的特征圖片同時(shí)不斷更新以存儲(chǔ)最好的特征圖片，從而增強(qiáng)其性能和泛化能力，提高了對(duì)于長(zhǎng)時(shí)間監(jiān)測(cè)的準(zhǔn)確性。新型smokey?net架構(gòu)模型的提出，使得本發(fā)明在火災(zāi)預(yù)測(cè)和監(jiān)測(cè)中能夠快速響應(yīng)潛在的火災(zāi)風(fēng)險(xiǎn)。與傳統(tǒng)方法相比，不僅能夠更早地發(fā)現(xiàn)潛在火災(zāi)跡象，還能夠在火災(zāi)發(fā)生前采取更及時(shí)有效的措施，如快速調(diào)度資源、預(yù)警社區(qū)和準(zhǔn)備應(yīng)急響應(yīng)計(jì)劃，這將有效降低火災(zāi)帶來(lái)的人員傷亡和財(cái)產(chǎn)損失。