技術(shù)特征：

1.基于多任務(wù)學(xué)習(xí)輕量化transformer的時(shí)空動(dòng)作檢測(cè)方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于多任務(wù)學(xué)習(xí)輕量化transformer的時(shí)空動(dòng)作檢測(cè)方法，其特征在于，步驟s1具體為：

3.根據(jù)權(quán)利要求2所述的基于多任務(wù)學(xué)習(xí)輕量化transformer的時(shí)空動(dòng)作檢測(cè)方法，其特征在于，設(shè)共需t個(gè)幀，視頻幀組x為：

4.根據(jù)權(quán)利要求1所述的基于多任務(wù)學(xué)習(xí)輕量化transformer的時(shí)空動(dòng)作檢測(cè)方法，其特征在于，步驟s2中，時(shí)空特征提取網(wǎng)絡(luò)對(duì)包括：

5.根據(jù)權(quán)利要求1所述的基于多任務(wù)學(xué)習(xí)輕量化transformer的時(shí)空動(dòng)作檢測(cè)方法，其特征在于，步驟s3具體為：

6.根據(jù)權(quán)利要求1所述的基于多任務(wù)學(xué)習(xí)輕量化transformer的時(shí)空動(dòng)作檢測(cè)方法，其特征在于，步驟s4具體為：

7.根據(jù)權(quán)利要求6所述的基于多任務(wù)學(xué)習(xí)輕量化transformer的時(shí)空動(dòng)作檢測(cè)方法，其特征在于，置信度損失lconf、類別損失lcls和邊界框?qū)捀呋貧w損失lwh如下：

8.一種基于多任務(wù)學(xué)習(xí)輕量化transformer的時(shí)空動(dòng)作檢測(cè)系統(tǒng)，其特征在于，包括：

9.一種存儲(chǔ)一個(gè)或多個(gè)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述一個(gè)或多個(gè)程序包括指令，所述指令當(dāng)由計(jì)算設(shè)備執(zhí)行時(shí)，使得所述計(jì)算設(shè)備執(zhí)行權(quán)利要求1至7任一所述的方法。

10.一種計(jì)算設(shè)備，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開了一種基于多任務(wù)學(xué)習(xí)輕量化Transformer的時(shí)空動(dòng)作檢測(cè)方法及相關(guān)裝置，基于已有視頻數(shù)據(jù)，獲取待處理視頻幀組及其標(biāo)簽，并對(duì)待處理視頻幀進(jìn)行預(yù)處理；構(gòu)建包含時(shí)空特征提取網(wǎng)絡(luò)對(duì)、構(gòu)造器和輕量融合模塊的訓(xùn)練模型；使用訓(xùn)練模型對(duì)待處理視頻數(shù)據(jù)進(jìn)行訓(xùn)練，提取待處理視頻的時(shí)空特征，得到最終預(yù)測(cè)和邊界框；對(duì)時(shí)空特征上采用多任務(wù)學(xué)習(xí)思想定義損失函數(shù)，實(shí)現(xiàn)分類和定位任務(wù)。本發(fā)明通過輕量化結(jié)構(gòu)提取時(shí)空信息，克服傳統(tǒng)方法利用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)或3D?Transformer的缺點(diǎn)，采用輕量化2D?Transformer的方法，降低了模型參數(shù)數(shù)量，并且采用特征重構(gòu)和多任務(wù)學(xué)習(xí)思想，達(dá)到了效率和精度的平衡。

技術(shù)研發(fā)人員：王佳寧,姚雨瓊,許瓊,陳越,林敏,劉波,華箏,郝盛佳,劉一琛,胡金雨
受保護(hù)的技術(shù)使用者：西安電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21