技術特征：

1.一種基于殘差網(wǎng)絡的跨模態(tài)聲源定位方法，其特征在于，包括以下步驟；

2.根據(jù)權利要求1所述的一種基于殘差網(wǎng)絡的跨模態(tài)聲源定位方法，其特征在于，所述步驟1中麥克風陣列板由64個數(shù)字微機電系統(tǒng)麥克風陣元組成，陣元間距為d，呈螺旋形排列，紅外熱像儀位于多通道麥克風陣元中心，負責拍攝現(xiàn)場熱圖像。

3.根據(jù)權利要求2所述的一種基于殘差網(wǎng)絡的跨模態(tài)聲源定位方法，其特征在于，所述步驟1包括以下子步驟：

4.根據(jù)權利要求1所述的一種基于殘差網(wǎng)絡的跨模態(tài)聲源定位方法，其特征在于，所述步驟2具體包括以下子步驟：

5.根據(jù)權利要求4所述的一種基于殘差網(wǎng)絡的跨模態(tài)聲源定位方法，其特征在于，所述步驟3具體包括以下子步驟：

6.根據(jù)權利要求5所述的一種基于殘差網(wǎng)絡的跨模態(tài)聲源定位方法，其特征在于，所述步驟4具體包括以下子步驟：

7.根據(jù)權利要求6所述的一種基于殘差網(wǎng)絡的跨模態(tài)聲源定位方法，其特征在于，所述步驟5具體包括以下子步驟：

8.根據(jù)權利要求7所述的一種基于殘差網(wǎng)絡的跨模態(tài)聲源定位方法，其特征在于，所述步驟6中定義注意力函數(shù)f，將熱圖像v與聲源估計坐標圖a輸入音頻引導的注意力函數(shù)，得到由音頻信息引導的視覺結果，實現(xiàn)聲源的跨模態(tài)定位：

技術總結
本發(fā)明公開了一種基于殘差網(wǎng)絡的跨模態(tài)聲源定位方法，包括以下步驟；步驟1：由麥克風陣列板和紅外熱像儀采集管道泄露音頻數(shù)據(jù)與現(xiàn)場熱圖像，再由麥克風陣列單獨采集背景噪聲數(shù)據(jù)合成含噪音頻；步驟2：對含噪音頻數(shù)據(jù)進行預處理；步驟3：去除與管道泄露聲不相關的噪聲；步驟4：將增強后純凈的音頻數(shù)據(jù)信息輸入特征提取網(wǎng)絡提取特征，將高層次的特征輸入多通道注意力模塊，得到聲源坐標估計圖像；步驟5：將采集的現(xiàn)場熱圖像分割，得到現(xiàn)場低溫位置的生態(tài)學區(qū)域；步驟6：將聲源坐標估計圖像與分割完成的熱圖像輸入由聲音引導的注意力模塊進行融合，最終實現(xiàn)聲源跨模態(tài)定位。本發(fā)明采集現(xiàn)場熱圖像，融合熱圖像和聲源定位結果實現(xiàn)跨模態(tài)定位。

技術研發(fā)人員：馬宗方,扶海萍,張國飛,宋琳
受保護的技術使用者：西安建筑科技大學
技術研發(fā)日：
技術公布日：2024/10/21