與雙目攝像頭通過有線或無線的通訊連接，接收雙目攝像頭感測到的雙目信號即可。在本實施例中，該雙目視覺系統(tǒng)為純被動雙目視覺系統(tǒng)，如果用其他的方式實現(xiàn)的雙目系統(tǒng)替代，能完成該裝置實現(xiàn)的大部分功能。
[0051]該融合成像處理系統(tǒng)4與聲納成像系統(tǒng)2和雙目視覺成像系統(tǒng)3連接，用于融合圖像信號，包括FPGA處理模塊、解析繪圖模塊以及融合處理模塊。在本實施例中，該融合成像處理系統(tǒng)4設置在水面上，與聲納成像系統(tǒng)2和雙目視覺成像系統(tǒng)3通過線纜連接通訊；可以理解的，融合成像處理系統(tǒng)4與聲納成像系統(tǒng)2和雙目視覺成像系統(tǒng)3也可以通過無線信號進行連接通訊；融合成像處理系統(tǒng)4也可以設置在水下，通過有線或無線信號將融合處理后的圖像傳送至水面上的顯示設備。
[0052]其中，F(xiàn)PGA處理模塊與聲納信號處理模塊和雙目信號處理模塊連接，并將兩者采集的數(shù)據(jù)進行合并處理，并送入DDR中，利用ARM的V2接口將數(shù)據(jù)進行網(wǎng)絡傳送至解析繪圖模塊。解析繪圖模塊可以設置在PC端，與FPGA處理模塊通訊連接，并將接收到的、合并后的所述數(shù)據(jù)進行解析，分別繪制出聲納圖像和雙目圖像；融合處理模塊與解析繪圖模塊連接，根據(jù)聲納圖像提供的高度、寬度、橫坐標和深度信息，遍歷所述雙目圖像的每一區(qū)域，融合得到融合圖像。
[0053]如圖3所示，該聲納和雙目視覺成像系統(tǒng)的融合成像裝置融合成像的方法，包括以下步驟:
[0054]S1:聲納成像系統(tǒng)發(fā)出聲納探測目標物體，并在發(fā)現(xiàn)目標物體時，將剛性支架靠近所述目標物體。
[0055]具體地，聲納成像系統(tǒng)持續(xù)的發(fā)出聲納信號(包括但不限于單波束聲納)，并通過監(jiān)測是否接收到回傳的聲納信號來判斷是否發(fā)現(xiàn)目標物體。當發(fā)現(xiàn)目標物體時，在離目標物體較遠時，驅動船只或其他裝置，帶動剛性支架I移動并靠近目標物體；如果沒有探測到目標物體，就繼續(xù)探測。
[0056]S2:當剛性支架與目標物體的距離到達設定距離時，啟動雙目視覺成像系統(tǒng)，由聲納成像系統(tǒng)和雙目視覺成像系統(tǒng)同時分別采集圖像信號；
[0057]具體地，當剛性支架與目標物體的距離到達設定距離時，啟動雙目視覺成像系統(tǒng)，聲納成像系統(tǒng)的聲納傳感探頭采集目標物體反射的聲納信號，并傳送至聲納信號處理模塊進行處理，形成聲納圖像數(shù)據(jù)；雙目信號處理模塊的雙目攝像頭采集目標物體的光電信號，并傳送至雙目信號處理模塊進行處理，形成雙目圖像數(shù)據(jù)。通過聲納成像系統(tǒng)和雙目視覺成像系統(tǒng)同時采集圖像信號，直至完成整個目標物體的掃描探測。
[0058]S3:融合成像處理系統(tǒng)融合步驟S2所采集的圖像信號形成融合圖像。
[0059]具體地，包括以下步驟:
[0060]S3-1:融合成像處理系統(tǒng)的FPGA處理模塊接收聲納圖像數(shù)據(jù)和雙目圖像數(shù)據(jù)，并進行合并處理，輸出至解析繪圖模塊；具體地，由兩個子系統(tǒng)分別采集圖像開始，將采集到的數(shù)據(jù)經(jīng)過FPGA處理合并于一處并送入DDR中，利用ARM的V2接口將數(shù)據(jù)進行網(wǎng)絡傳輸?shù)絇C端。
[0061]S3-2:解析繪圖模塊并將接收到的、合并后的數(shù)據(jù)進行解析，分別繪制出聲納圖像和雙目圖像，輸出至融合處理模塊；具體地，PC端經(jīng)由網(wǎng)絡接收到數(shù)據(jù)之后對數(shù)據(jù)分別進行解析，繪制出兩個子系統(tǒng)所采集的圖像，輸出至融合處理模塊。
[0062]S3-3:融合處理模塊根據(jù)所述聲納圖像提供的高度、寬度、橫坐標和深度信息，遍歷所述雙目圖像的每一區(qū)域，融合得到融合圖像。
[0063]具體地，如圖4所示，包括以下步驟:
[0064]S3-3-1:調節(jié)兩圖像坐標及視場，使目標物體處于重疊狀態(tài)；
[0065]具體地，根據(jù)雙目攝像頭與聲納傳感探頭的距離位置關系，利用目標物體的中心點位置及輪廓信息，調節(jié)聲納圖像和雙目圖像坐標及視場，使目標物體處于大致重疊狀態(tài)；
[0066]S3-3-2:借助聲納圖像得到物體大致高度、寬度、深度及橫坐標信息；
[0067]具體地，由于單波束聲納成像系統(tǒng)所采集的是二維圖像，且受掃描物體高度影響會保留一部分物體高度信息，所以利用單波束聲納成像系統(tǒng)圖像為雙目視覺光電系統(tǒng)提供物體橫坐標信息、物體寬度信息、物體深度信息和物體大致高度信息。
[0068]S3-3-3:先根據(jù)深度匹配得到基本圖像，再用寬度、橫坐標濾掉污點；
[0069]S3-3-4:借助聲納圖像提供的四個信息遍歷雙目圖像一個區(qū)域得到物體所在位置；
[0070]具體地，雙目視覺光電系統(tǒng)借助單波束聲納成像系統(tǒng)所提供的此四個信息通過遍歷對比得到雙目圖像中的物體所在大致位置；
[0071 ] S3-3-5:丟棄物體所在位置以外圖像信息，對該位置進行濾波處理，進一步丟棄噪聲點，得到最終的融合圖像。
[0072]本發(fā)明中，通過聲納成像系統(tǒng)和雙目視覺成像系統(tǒng)的融合，能有效地探測水中物體的具體輪廓、表面信息和深度信息，解決了水下特別是深水下的物體感知困難的問題，為水下特別是深水下的相關工作提供強有力的解決方案。
[0073]可以理解的，以上實施例僅表達了本發(fā)明的優(yōu)選實施方式，其描述較為具體和詳細，但并不能因此而理解為對本發(fā)明專利范圍的限制；應當指出的是，對于本領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，可以對上述技術特點進行自由組合，還可以做出若干變形和改進，這些都屬于本發(fā)明的保護范圍；因此，凡跟本發(fā)明權利要求范圍所做的等同變換與修飾，均應屬于本發(fā)明權利要求的涵蓋范圍。
【主權項】
1.一種聲納和雙目視覺成像系統(tǒng)的融合成像裝置，其特征在于，包括剛性支架、聲納成像系統(tǒng)、雙目視覺成像系統(tǒng)、以及連接并融合處理所述聲納成像系統(tǒng)和雙目視覺成像系統(tǒng)的圖像信號的融合成像處理系統(tǒng)；所述聲納成像系統(tǒng)包括固定安裝在所述剛性支架上的聲納傳感探頭、以及與所述聲納傳感探頭通訊連接的聲納信號處理模塊；所述雙目視覺成像系統(tǒng)包括固定安裝在所述剛性支架上的雙目攝像頭、以及與所述雙目攝像頭通訊連接的雙目信號處理模塊。
2.根據(jù)權利要求1所述的聲納和雙目視覺成像系統(tǒng)的融合成像裝置，其特征在于，所述聲納傳感探頭為單波束聲納傳感探頭。
3.根據(jù)權利要求1所述的聲納和雙目視覺成像系統(tǒng)的融合成像裝置，其特征在于，所述剛性支架包括供所述雙目攝像頭安裝于其中的防水腔室；所述防水腔室設有與所述雙目攝像頭的拍攝鏡頭對應的透光面板。
4.根據(jù)權利要求1所述的聲納和雙目視覺成像系統(tǒng)的融合成像裝置，其特征在于，所述融合成像處理系統(tǒng)包括FPGA處理模塊、解析繪圖模塊以及融合處理模塊； 所述FPGA處理模塊與所述聲納信號處理模塊和雙目信號處理模塊連接，并將兩者采集的數(shù)據(jù)進行合并處理，傳送至所述解析繪圖模塊； 所述解析繪圖模塊與所述FPGA處理模塊通訊連接，并將接收到的、合并后的所述數(shù)據(jù)進行解析，分別繪制出聲納圖像和雙目圖像； 所述融合處理模塊與所述解析繪圖模塊連接，根據(jù)所述聲納圖像提供的高度、寬度、橫坐標和深度信息，遍歷所述雙目圖像的每一區(qū)域，融合得到融合圖像。
5.根據(jù)權利要求1所述的聲納和雙目視覺成像系統(tǒng)的融合成像裝置，其特征在于，所述雙目攝像頭與所述聲納傳感探頭按設定距離固定安裝在所述剛性支架上。
6.一種使用權利要求1-5任一項的聲納和雙目視覺成像系統(tǒng)的融合成像裝置融合成像的方法，其特征在于，包括以下步驟: S1:聲納成像系統(tǒng)發(fā)出聲納探測目標物體，并在發(fā)現(xiàn)目標物體時，將剛性支架靠近所述目標物體； 52:當所述剛性支架與所述目標物體的距離到達設定距離時，啟動雙目視覺成像系統(tǒng)，由所述聲納成像系統(tǒng)和雙目視覺成像系統(tǒng)同時分別采集圖像信號； 53:融合成像處理系統(tǒng)融合步驟S2所采集的所述圖像信號形成融合圖像。
7.根據(jù)權利要求6所述的方法，其特征在于，在所述步驟SI中，所述聲納成像系統(tǒng)發(fā)出單波束聲納進行目標物體探測。
8.根據(jù)權利要求6所述的方法，其特征在于，在所述步驟S2中，包括以下步驟: S2-1:所述聲納成像系統(tǒng)的聲納傳感探頭采集所述目標物體反射的聲納信號，并傳送至聲納信號處理模塊進行處理，形成聲納圖像數(shù)據(jù)； 52-2:所述雙目信號處理模塊的雙目攝像頭采集所述目標物體的光電信號，并傳送至雙目信號處理模塊進行處理，形成雙目圖像數(shù)據(jù)。
9.根據(jù)權利要求6所述的方法，其特征在于，在所述步驟S3中，包括以下步驟: 53-1:所述融合成像處理系統(tǒng)的FPGA處理模塊接收所述聲納圖像數(shù)據(jù)和雙目圖像數(shù)據(jù)，并進行合并處理，輸出至解析繪圖模塊； S3-2:所述解析繪圖模塊并將接收到的、合并后的數(shù)據(jù)進行解析，分別繪制出聲納圖像和雙目圖像，輸出至融合處理模塊； S3-3:所述融合處理模塊根據(jù)所述聲納圖像提供的高度、寬度、橫坐標和深度信息，遍歷所述雙目圖像的每一區(qū)域，融合得到融合圖像。
10.根據(jù)權利要求9所述的方法，其特征在于，在所述步驟S3-3中，根據(jù)所述雙目攝像頭與所述聲納傳感探頭的距離位置關系，利用所述目標物體的中心點位置及輪廓信息，調節(jié)所述聲納圖像和所述雙目圖像處于大致重疊狀態(tài)。
【專利摘要】本發(fā)明涉及一種聲納和雙目視覺成像系統(tǒng)的融合成像裝置及方法，該裝置包括以下系統(tǒng)：剛性支架、聲納成像系統(tǒng)、雙目視覺成像系統(tǒng)、以及連接并融合處理聲納成像系統(tǒng)和雙目視覺成像系統(tǒng)的圖像信號的融合成像處理系統(tǒng)。聲納成像系統(tǒng)發(fā)出聲納探測目標物體，并在發(fā)現(xiàn)目標物體時，將剛性支架靠近目標物體；當剛性支架與目標物體的距離到達設定距離時，啟動雙目視覺成像系統(tǒng)，由聲納成像系統(tǒng)和雙目視覺成像系統(tǒng)同時分別采集圖像信號；融合成像處理系統(tǒng)融合所采集的圖像信號形成融合圖像。本發(fā)明能有效地探測水中物體的具體輪廓、表面信息和深度信息，解決了水下特別是深水下的物體感知困難的問題，為水下特別是深水下的相關工作提供強有力的解決方案。
【IPC分類】G01S15-89, H04N13-02
【公開號】CN104808210
【申請?zhí)枴緾N201510180927
【發(fā)明人】徐淵, 張志強, 黃偉鑫, 王亞洲, 何凡
【申請人】深圳大學
【公開日】2015年7月29日
【申請日】2015年4月16日