本申請涉及數據處理領域，具體而言，涉及一種基于雷達和視頻融合計算的工業(yè)設備數據處理方法及系統(tǒng)。

背景技術：

1、隨著工業(yè)自動化和智能制造的快速發(fā)展，對生產環(huán)境中設備狀態(tài)的實時監(jiān)控與異常檢測提出了更高要求。傳統(tǒng)的單一傳感器監(jiān)測方法往往受限于監(jiān)測范圍、精度或環(huán)境適應性，難以滿足復雜工業(yè)場景下的全面監(jiān)控需求。因此，多模態(tài)數據融合技術逐漸成為研究熱點，特別是基于雷達和視頻數據的融合處理，因其能夠結合雷達的三維空間感知能力和視頻的高分辨率視覺信息，為工業(yè)設備的異常檢測提供了更為豐富和準確的數據基礎。然而，現(xiàn)有的多模態(tài)數據融合方法在處理工業(yè)設備異常檢測任務時仍面臨諸多挑戰(zhàn)。一方面，不同模態(tài)數據之間存在顯著的異質性，如何有效地將視頻數據和雷達數據進行融合，以提取出綜合且具有代表性的特征描述子，是當前研究中的一個關鍵問題。另一方面，工業(yè)環(huán)境中的異常情況往往復雜多變，單一的數據處理模型難以適應所有類型的異常情況，因此需要一種能夠動態(tài)調整并優(yōu)化處理策略的方法，以提高異常識別的準確性和魯棒性。此外，現(xiàn)有的多模態(tài)融合方法在處理過程中往往缺乏對不同類型特征信息的選擇性聚焦機制，導致在融合過程中關鍵信息的丟失或冗余信息的干擾，進而影響異常識別的效果。同時，大多數方法在處理多模態(tài)數據時，沒有充分利用不同模態(tài)數據之間的互補性，未能實現(xiàn)跨模態(tài)信息的有效整合與利用，限制了異常檢測性能的提升。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于雷達和視頻融合計算的工業(yè)設備數據處理方法及系統(tǒng)，本申請實施例是這樣實現(xiàn)的：

2、第一方面，本申請實施例提供了一種基于雷達和視頻融合計算的工業(yè)設備數據處理方法，包括：獲取目標環(huán)境對應的視頻采集數據中的異常描述子，以及獲取所述目標環(huán)境對應的點云描述子；其中，所述目標環(huán)境為目標工業(yè)設備所在的環(huán)境；在同一表征域中對所述異常描述子和所述點云描述子進行描述子整合處理，得到第一融合描述子，依據所述第一融合描述子，在p個整合嵌入網絡中確定所述異常描述子關聯(lián)的第一整合嵌入網絡；所述p個整合嵌入網絡用于根據不同的交互強度對多個不同類型的描述子進行嵌入處理，其中，p≥1；在所述第一整合嵌入網絡中，依據所述點云描述子對所述異常描述子進行整合嵌入操作，得到第一嵌入描述子；在同一表征域中對所述點云描述子和所述第一嵌入描述子進行描述子整合處理，得到第二融合描述子，依據所述第二融合描述子，在所述p個整合嵌入網絡中確定所述點云描述子關聯(lián)的第二整合嵌入網絡；在所述第二整合嵌入網絡中，依據所述第一嵌入描述子對所述點云描述子進行整合嵌入操作，得到第二嵌入描述子；獲取異常分類標簽，依據所述異常分類標簽、所述第一嵌入描述子以及所述第二嵌入描述子，確定所述目標環(huán)境對應的異常情況識別信息。

3、第二方面，本申請?zhí)峁┝艘环N計算機系統(tǒng)，包括：一個或多個處理器；存儲器；一個或多個計算機程序；其中所述一個或多個計算機程序被存儲在所述存儲器中并被配置為由所述一個或多個處理器執(zhí)行，所述一個或多個計算機程序被所述處理器執(zhí)行時，實現(xiàn)如上所述的方法。

4、本申請的有益效果至少包含：本申請實施例中，可以獲取目標環(huán)境對應的視頻采集數據中的異常描述子以及目標環(huán)境的點云描述子；將異常描述子作為被嵌入數據類型的描述子，將點云描述子作為對照維度的描述子，從p個整合嵌入網絡中為被嵌入數據類型確定合適的第一整合嵌入網絡，在第一整合嵌入網絡中，依據點云描述子對異常描述子進行整合嵌入操作，得到第一嵌入描述子?？煞聪虿僮?，將點云描述子作為被嵌入數據類型的描述子，將第一嵌入描述子作為對照數據類型的描述子，也要為被嵌入數據類型確定合適的第二整合嵌入網絡，在第二整合嵌入網絡中，依據第一嵌入描述子對點云描述子進行整合嵌入操作，得到第一嵌入描述子；如此能依據嵌入后的第一嵌入描述子、第二嵌入描述子以及異常分類標簽進行分類，得到目標環(huán)境的異常情況識別信息。本申請能對不同類型的特征進行往返嵌入，同時每一次嵌入都能在多個整合嵌入網絡中確定最準確的整合嵌入網絡同時進行整合嵌入，能有選擇的聚焦特定類型的信息，以及在不同類型的嵌入環(huán)節(jié)，通過不同形式借助對照數據類型的信息，異常識別更準確。

技術特征：

1.一種基于雷達和視頻融合計算的工業(yè)設備數據處理方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，所述獲取目標環(huán)境對應的視頻采集數據中的異常描述子，包括：

3.根據權利要求1所述的方法，其特征在于，所述在同一表征域中對所述異常描述子和所述點云描述子進行描述子整合處理，得到第一融合描述子，包括：

4.根據權利要求3所述的方法，其特征在于，所述將所述異常投影描述子和所述點云投影描述子進行描述子整合處理，得到第一融合描述子，包括：

5.根據權利要求1所述的方法，其特征在于，所述第一整合嵌入網絡包括權重聚焦整合網絡；所述在所述第一整合嵌入網絡中，依據所述點云描述子對所述異常描述子進行整合嵌入操作，得到第一嵌入描述子，包括：

6.根據權利要求5所述的方法，其特征在于，所述基于所述權重聚焦整合網絡對所述第一組合描述子進行自權重聚焦操作，得到第一內部聚焦描述子，包括：

7.根據權利要求1所述的方法，其特征在于，所述第一整合嵌入網絡包括權重聚焦整合網絡；所述在所述第一整合嵌入網絡中，依據所述點云描述子對所述異常描述子進行整合嵌入操作，得到第一嵌入描述子，包括：

8.根據權利要求1所述的方法，其特征在于，所述第一整合嵌入網絡包括深層權重聚焦整合網絡；則所述在所述第一整合嵌入網絡中，依據所述點云描述子對所述異常描述子進行整合嵌入操作，得到第一嵌入描述子，包括：

9.根據權利要求1所述的方法，其特征在于，所述依據所述異常分類標簽、所述第一嵌入描述子以及所述第二嵌入描述子，確定所述目標環(huán)境對應的異常情況識別信息，包括：

10.一種計算機系統(tǒng)，其特征在于，包括：

技術總結
本申請?zhí)峁┮环N基于雷達和視頻融合計算的工業(yè)設備數據處理方法及系統(tǒng)，可以獲取目標環(huán)境對應的視頻采集數據中的異常描述子以及目標環(huán)境的點云描述子；將異常描述子作為被嵌入數據類型的描述子，將點云描述子作為對照維度的描述子，從p個整合嵌入網絡中為被嵌入數據類型確定合適的第一整合嵌入網絡，在第一整合嵌入網絡中，依據點云描述子對異常描述子進行整合嵌入操作，得到第一嵌入描述子。本申請能對不同類型的特征進行往返嵌入，同時每一次嵌入都能在多個整合嵌入網絡中確定最準確的整合嵌入網絡同時進行整合嵌入，能有選擇的聚焦特定類型的信息，以及在不同類型的嵌入環(huán)節(jié)，通過不同形式借助對照數據類型的信息，異常識別更準確。

技術研發(fā)人員：陳廉之,孫凱,劉躍華
受保護的技術使用者：四川萬物縱橫科技股份有限公司
技術研發(fā)日：
技術公布日：2024/10/21