本發(fā)明屬于魚類行為識(shí)別領(lǐng)域，尤其涉及基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法及系統(tǒng)。

背景技術(shù)：

1、本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

2、隨著人口數(shù)量的增加和人們生活消費(fèi)水平的提高，傳統(tǒng)的漁業(yè)捕撈作業(yè)方式已經(jīng)無法滿足水產(chǎn)品消費(fèi)大幅上漲的需求；水產(chǎn)養(yǎng)殖業(yè)作為可持續(xù)供應(yīng)水產(chǎn)品的重要途徑，其發(fā)展速度顯著加快；行為是反映水產(chǎn)養(yǎng)殖中魚類狀態(tài)的重要指標(biāo)，對(duì)魚類行為進(jìn)行識(shí)別可以實(shí)時(shí)了解和預(yù)警魚類狀態(tài)，這對(duì)水產(chǎn)養(yǎng)殖管理具有重要意義；例如，通過識(shí)別魚類的攝食行為，可以制定科學(xué)的投喂策略，降低養(yǎng)殖成本并提高生產(chǎn)效率；同時(shí)，通過識(shí)別魚類的異常行為，能幫助養(yǎng)殖管理者及時(shí)調(diào)整養(yǎng)殖環(huán)境，確保魚類的健康和福祉。

3、伴隨著人工智能時(shí)代的到來，深度學(xué)習(xí)為魚類行為識(shí)別提供了新的方向；與手工特征方法相比，深度學(xué)習(xí)方法能夠從原始數(shù)據(jù)中自動(dòng)提取到更加抽象和高級(jí)的特征表示，從而實(shí)現(xiàn)更好的識(shí)別效果；然而，現(xiàn)有基于視頻理解的魚類行為識(shí)別方法一般通過雙流網(wǎng)絡(luò)或3d卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)提取魚類行為的時(shí)間信息，但并未對(duì)其進(jìn)行更加精細(xì)化的建模，尤其是忽略了行為視覺節(jié)奏對(duì)魚類行為識(shí)別的重要性。行為視覺節(jié)奏描述了魚類在時(shí)間尺度上進(jìn)行游泳運(yùn)動(dòng)的速率，部分魚類行為在行為視覺節(jié)奏上的差異遠(yuǎn)大于其在空間外觀上的差異，例如恐懼行為和饑餓行為的空間外觀表現(xiàn)相似，但在時(shí)間維度上這兩種魚類行為的游泳運(yùn)動(dòng)速率卻有著較大差異；因此，現(xiàn)有方法對(duì)魚類行為視覺節(jié)奏這一時(shí)間信息利用不夠充分，難以區(qū)分空間外觀相似的魚類行為，導(dǎo)致魚類行為識(shí)別不準(zhǔn)確。

技術(shù)實(shí)現(xiàn)思路

1、為克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法及系統(tǒng)，精細(xì)化建模魚類的行為視覺節(jié)奏這一時(shí)間信息，提高行為識(shí)別準(zhǔn)確率。

2、為實(shí)現(xiàn)上述目的，本發(fā)明的一個(gè)或多個(gè)實(shí)施例提供了如下技術(shù)方案：

3、本發(fā)明第一方面提供了基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法。

4、基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法，包括：

5、獲取待識(shí)別的魚類行為視頻，對(duì)視頻進(jìn)行幀采樣，得到一組連續(xù)的幀序列；

6、感知所述幀序列中的行為視覺節(jié)奏差異性，提取一組具有不同視覺節(jié)奏的層級(jí)特征；

7、對(duì)層級(jí)特征進(jìn)行時(shí)空調(diào)制，包括在時(shí)間維度上剔除非關(guān)鍵幀和對(duì)各層級(jí)特征的空間語義進(jìn)行對(duì)齊；

8、聚合時(shí)空調(diào)制后的層級(jí)特征，得到魚類行為特征；

9、對(duì)所述魚類行為特征進(jìn)行分類，得到識(shí)別結(jié)果。

10、進(jìn)一步的，所述感知所述幀序列中的行為視覺節(jié)奏差異性，是采用不同時(shí)間感受野，從骨干網(wǎng)絡(luò)的不同層級(jí)提取不同視覺節(jié)奏的特征表示，得到一組層級(jí)特征，其中，頂層提取的特征作為頂層特征。

11、進(jìn)一步的，所述在時(shí)間維度上剔除非關(guān)鍵幀，是對(duì)時(shí)間信息進(jìn)行重要性建模，篩選關(guān)鍵幀的信息。

12、進(jìn)一步的，所述對(duì)時(shí)間信息進(jìn)行重要性建模，篩選關(guān)鍵幀的信息，具體為：

13、通過全局最大池化和全局平均池化，對(duì)輸入的層級(jí)特征進(jìn)行降維，得到更具全局性的兩個(gè)特征；

14、將兩個(gè)特征對(duì)應(yīng)元素相加，并對(duì)特征維度進(jìn)行重塑；

15、對(duì)重塑后的特征進(jìn)行學(xué)習(xí)，獲得時(shí)間維度上的重要性權(quán)重；

16、利用重要性權(quán)重和殘差連接，篩選關(guān)鍵幀的信息，得到剔除非關(guān)鍵幀后的特征。

17、進(jìn)一步的，所述對(duì)各層級(jí)特征的空間語義進(jìn)行對(duì)齊，是以頂層特征為基準(zhǔn)，通過一系列3d卷積和池化層進(jìn)行空間語義對(duì)齊，具體為：

18、通過兩個(gè)卷積核大小為1×3×3的卷積層，進(jìn)一步增強(qiáng)空間語義；

19、通過一個(gè)卷積核大小為1×1×1的卷積層，調(diào)整特征通道數(shù)與頂層特征一致；

20、通過一個(gè)3d平均池化層，調(diào)整特征的高度和寬度與頂層特征一致。

21、進(jìn)一步的，所述聚合時(shí)空調(diào)制后的層級(jí)特征，采用特征相加、特征相乘、特征拼接中的至少一種。

22、進(jìn)一步的，所述特征相加和特征相乘，時(shí)空調(diào)制后的層級(jí)特征在時(shí)間維度上大小不一致，受特征金字塔方法啟發(fā)，沿時(shí)間維度進(jìn)行上采樣或下采樣的方式對(duì)其進(jìn)行統(tǒng)一。

23、本發(fā)明第二方面提供了基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別系統(tǒng)。

24、基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別系統(tǒng)，包括幀采樣模塊、特征提取模塊、時(shí)空調(diào)制模塊、特征聚合模塊和特征分類模塊：

25、幀采樣模塊，被配置為：獲取待識(shí)別的魚類行為視頻，對(duì)視頻進(jìn)行幀采樣，得到一組連續(xù)的幀序列；

26、特征提取模塊，被配置為：感知所述幀序列中的行為視覺節(jié)奏差異性，提取一組具有不同視覺節(jié)奏的層級(jí)特征；

27、時(shí)空調(diào)制模塊，被配置為：對(duì)層級(jí)特征進(jìn)行時(shí)空調(diào)制，包括在時(shí)間維度上剔除非關(guān)鍵幀和對(duì)各層級(jí)特征的空間語義進(jìn)行對(duì)齊；

28、特征聚合模塊，被配置為：聚合時(shí)空調(diào)制后的層級(jí)特征，得到魚類行為特征；

29、特征分類模塊，被配置為：對(duì)所述魚類行為特征進(jìn)行分類，得到識(shí)別結(jié)果。

30、本發(fā)明第三方面提供了計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明第一方面所述的基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法中的步驟。

31、本發(fā)明第四方面提供了電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如本發(fā)明第一方面所述的基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法中的步驟。

32、以上一個(gè)或多個(gè)技術(shù)方案存在以下有益效果：

33、本發(fā)明充分利用3d卷積中隨著卷積深度的增加、時(shí)間感受野隨之?dāng)U大的特性，通過從骨干網(wǎng)絡(luò)不同層級(jí)提取特征，以模仿不同視覺節(jié)奏的魚類行為特征表示，從而精細(xì)化建模魚類的行為視覺節(jié)奏這一時(shí)間信息，最終提高魚類行為識(shí)別準(zhǔn)確率。

34、本發(fā)明設(shè)計(jì)了時(shí)空調(diào)制模塊，對(duì)提取的層次特征進(jìn)行時(shí)間信息編碼和空間語義對(duì)齊，以進(jìn)一步增強(qiáng)特征的表達(dá)能力；還設(shè)計(jì)了一個(gè)特征聚合模塊對(duì)不同視覺節(jié)奏的特征進(jìn)行融合，從而得到基于行為視覺節(jié)奏差異性感知的魚類行為特征。

35、本發(fā)明附加方面的優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。

技術(shù)特征：

1.基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法，其特征在于，包括：

2.如權(quán)利要求1所述的基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法，其特征在于，所述感知所述幀序列中的行為視覺節(jié)奏差異性，是采用不同時(shí)間感受野，從骨干網(wǎng)絡(luò)的不同層級(jí)提取不同視覺節(jié)奏的特征表示，得到一組層級(jí)特征，其中，頂層提取的特征作為頂層特征。

3.如權(quán)利要求1所述的基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法，其特征在于，所述在時(shí)間維度上剔除非關(guān)鍵幀，是對(duì)時(shí)間信息進(jìn)行重要性建模，篩選關(guān)鍵幀的信息。

4.如權(quán)利要求3所述的基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法，其特征在于，所述對(duì)時(shí)間信息進(jìn)行重要性建模，篩選關(guān)鍵幀的信息，具體為：

5.如權(quán)利要求2所述的基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法，其特征在于，所述對(duì)各層級(jí)特征的空間語義進(jìn)行對(duì)齊，是以頂層特征為基準(zhǔn)，通過一系列3d卷積和池化層進(jìn)行空間語義對(duì)齊，具體為：

6.如權(quán)利要求1所述的基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法，其特征在于，所述聚合時(shí)空調(diào)制后的層級(jí)特征，采用特征相加、特征相乘、特征拼接中的至少一種。

7.如權(quán)利要求6所述的基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法，其特征在于，所述特征相加和特征相乘，時(shí)空調(diào)制后的層級(jí)特征在時(shí)間維度上大小不一致，受特征金字塔方法啟發(fā)，沿時(shí)間維度進(jìn)行上采樣或下采樣的方式對(duì)其進(jìn)行統(tǒng)一。

8.基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別系統(tǒng)，其特征在于，包括幀采樣模塊、特征提取模塊、時(shí)空調(diào)制模塊、特征聚合模塊和特征分類模塊：

9.一種電子設(shè)備，其特征是，包括：

10.一種存儲(chǔ)介質(zhì)，其特征是，非暫時(shí)性地存儲(chǔ)計(jì)算機(jī)可讀指令，其中，當(dāng)所述計(jì)算機(jī)可讀指令由計(jì)算機(jī)執(zhí)行時(shí)，執(zhí)行權(quán)利要求1-7任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明提出了基于行為視覺節(jié)奏差異性感知的魚類行為識(shí)別方法及系統(tǒng)，涉及魚類行為識(shí)別領(lǐng)域，具體方案包括：獲取待識(shí)別的魚類行為視頻，對(duì)視頻進(jìn)行幀采樣，得到一組連續(xù)的幀序列；感知所述幀序列中的行為視覺節(jié)奏差異性，提取一組具有不同視覺節(jié)奏的層級(jí)特征；對(duì)層級(jí)特征進(jìn)行時(shí)空調(diào)制，包括在時(shí)間維度上剔除非關(guān)鍵幀和對(duì)各層級(jí)特征的空間語義進(jìn)行對(duì)齊；聚合時(shí)空調(diào)制后的層級(jí)特征，得到魚類行為特征；對(duì)所述魚類行為特征進(jìn)行分類，得到識(shí)別結(jié)果。本發(fā)明精細(xì)化建模魚類的行為視覺節(jié)奏這一時(shí)間信息，提高行為識(shí)別準(zhǔn)確率。

技術(shù)研發(fā)人員：馬昕,張昊,劉涵池,宋銳,榮學(xué)文,周樂來,田新誠,李貽斌
受保護(hù)的技術(shù)使用者：山東大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21