一種聲納和雙目視覺(jué)成像系統(tǒng)的融合成像裝置及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及水下成像系統(tǒng)，更具體地說(shuō)，涉及一種聲納和雙目視覺(jué)成像系統(tǒng)的融合成像裝置及方法。
【背景技術(shù)】
[0002]水下特別是深水下的物體感知一直是難以很好解決的問(wèn)題。傳統(tǒng)上使用聲納進(jìn)行物體的探測(cè)只能掃描一個(gè)平面的信息，只能知道物體的大概位置而無(wú)法知道物體的具體輪廓和表面信息，而且受掃描物體高度影響出現(xiàn)縱深方向上的干擾、掃描速度慢。
[0003]而利用普通攝像頭所捕抓到的畫(huà)面又沒(méi)有物體的深度信息，無(wú)法感知物體與自身的遠(yuǎn)近關(guān)系。利用能有實(shí)時(shí)顯示效果的純被動(dòng)雙目視覺(jué)系統(tǒng)探測(cè)又因?yàn)槌上裨?，必定帶入成像的錯(cuò)誤。

【發(fā)明內(nèi)容】

[0004]本發(fā)明要解決的技術(shù)問(wèn)題在于，針對(duì)現(xiàn)有技術(shù)的缺陷，提供一種聲納和雙目視覺(jué)成像系統(tǒng)的融合成像裝置及方法。
[0005]本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是:構(gòu)造一種聲納和雙目視覺(jué)成像系統(tǒng)的融合成像裝置。
[0006]在本發(fā)明所述的聲納和雙目視覺(jué)成像系統(tǒng)的融合成像裝置中，包括剛性支架、聲納成像系統(tǒng)、雙目視覺(jué)成像系統(tǒng)、以及連接并融合處理所述聲納成像系統(tǒng)和雙目視覺(jué)成像系統(tǒng)的圖像信號(hào)的融合成像處理系統(tǒng)；所述聲納成像系統(tǒng)包括固定安裝在所述剛性支架上的聲納傳感探頭、以及與所述聲納傳感探頭通訊連接的聲納信號(hào)處理模塊；所述雙目視覺(jué)成像系統(tǒng)包括固定安裝在所述剛性支架上的雙目攝像頭、以及與所述雙目攝像頭通訊連接的雙目信號(hào)處理模塊。
[0007]優(yōu)選地，所述聲納傳感探頭為單波束聲納傳感探頭。
[0008]優(yōu)選地，所述剛性支架包括供所述雙目攝像頭安裝于其中的防水腔室；所述防水腔室設(shè)有與所述雙目攝像頭的拍攝鏡頭對(duì)應(yīng)的透光面板。
[0009]優(yōu)選地，所述融合成像處理系統(tǒng)包括FPGA處理模塊、解析繪圖模塊以及融合處理豐吳塊；
[0010]所述FPGA處理模塊與所述聲納信號(hào)處理模塊和雙目信號(hào)處理模塊連接，并將兩者采集的數(shù)據(jù)進(jìn)行合并處理，傳送至所述解析繪圖模塊；
[0011]所述解析繪圖模塊與所述FPGA處理模塊通訊連接，并將接收到的、合并后的所述數(shù)據(jù)進(jìn)行解析，分別繪制出聲納圖像和雙目圖像；
[0012]所述融合處理模塊與所述解析繪圖模塊連接，根據(jù)所述聲納圖像提供的高度、寬度、橫坐標(biāo)和深度信息，遍歷所述雙目圖像的每一區(qū)域，融合得到融合圖像。
[0013]優(yōu)選地，所述雙目攝像頭與所述聲納傳感探頭按設(shè)定距離固定安裝在所述剛性支架上。
[0014]在本發(fā)明所述的聲納和雙目視覺(jué)成像系統(tǒng)的融合成像裝置中，其融合成像的方法包括以下步驟:
[0015]S1:聲納成像系統(tǒng)發(fā)出聲納探測(cè)目標(biāo)物體，并在發(fā)現(xiàn)目標(biāo)物體時(shí)，將剛性支架靠近所述目標(biāo)物體；
[0016]優(yōu)選地，在所述步驟SI中，所述聲納成像系統(tǒng)發(fā)出單波束聲納進(jìn)行目標(biāo)物體探測(cè)。
[0017]S2:當(dāng)所述剛性支架與所述目標(biāo)物體的距離到達(dá)設(shè)定距離時(shí)，啟動(dòng)雙目視覺(jué)成像系統(tǒng)，由所述聲納成像系統(tǒng)和雙目視覺(jué)成像系統(tǒng)同時(shí)分別采集圖像信號(hào)；
[0018]優(yōu)選地，在所述步驟S2中，包括以下步驟:
[0019]S2-1:所述聲納成像系統(tǒng)的聲納傳感探頭采集所述目標(biāo)物體反射的聲納信號(hào)，并傳送至聲納信號(hào)處理模塊進(jìn)行處理，形成聲納圖像數(shù)據(jù)；
[0020]S2-2:所述雙目信號(hào)處理模塊的雙目攝像頭采集所述目標(biāo)物體的光電信號(hào)，并傳送至雙目信號(hào)處理模塊進(jìn)行處理，形成雙目圖像數(shù)據(jù)。
[0021]S3:融合成像處理系統(tǒng)融合步驟S2所采集的所述圖像信號(hào)形成融合圖像。
[0022]優(yōu)選地，在所述步驟S3中，包括以下步驟:
[0023]S3-1:所述融合成像處理系統(tǒng)的FPGA處理模塊接收所述聲納圖像數(shù)據(jù)和雙目圖像數(shù)據(jù)，并進(jìn)行合并處理，輸出至解析繪圖模塊；
[0024]S3-2:所述解析繪圖模塊并將接收到的、合并后的數(shù)據(jù)進(jìn)行解析，分別繪制出聲納圖像和雙目圖像，輸出至融合處理模塊；
[0025]S3-3:所述融合處理模塊根據(jù)所述聲納圖像提供的高度、寬度、橫坐標(biāo)和深度信息，遍歷所述雙目圖像的每一區(qū)域，融合得到融合圖像。
[0026]優(yōu)選地，在所述步驟S3-3中，根據(jù)所述雙目攝像頭與所述聲納傳感探頭的距離位置關(guān)系，利用所述目標(biāo)物體的中心點(diǎn)位置及輪廓信息，調(diào)節(jié)所述聲納圖像和所述雙目圖像處于大致重疊狀態(tài)。
[0027]實(shí)施本發(fā)明具有以下有益效果:本發(fā)明通過(guò)聲納成像系統(tǒng)和雙目視覺(jué)成像系統(tǒng)的融合，能有效地探測(cè)水中物體的具體輪廓、表面信息和深度信息，解決了水下特別是深水下的物體感知困難的問(wèn)題，為水下特別是深水下的相關(guān)工作提供強(qiáng)有力的解決方案。
【附圖說(shuō)明】
[0028]下面將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明，附圖中:
[0029]圖1是本發(fā)明聲納和雙目視覺(jué)成像系統(tǒng)的融合成像裝置的結(jié)構(gòu)示意圖；
[0030]圖2-1是本發(fā)明中單波束成像原理中，聲波波束在探測(cè)面上的俯視圖；
[0031]圖2-2是本發(fā)明中單波束成像原理中，聲波波束在探測(cè)面上的正視圖；
[0032]圖2-3是本發(fā)明中單波束成像原理中，聲納在發(fā)出波束之后等待接收返回的波束，依據(jù)接收的時(shí)間先后在畫(huà)面中繪制出遠(yuǎn)近不同的點(diǎn)云的示意圖；
[0033]圖2-4是本發(fā)明中單波束成像原理中，假設(shè)在聲納探測(cè)的垂直面上有一根棍子的示意圖；
[0034]圖2-5是本發(fā)明中單波束成像原理中，聲波打到棍子得到的聲納圖像的示意圖；
[0035]圖2-6是本發(fā)明中單波束成像原理中，由于A、B兩點(diǎn)的所處的位置可能不同，縱深反映也有所差別的示意圖；
[0036]圖3是本發(fā)明聲納和雙目視覺(jué)成像系統(tǒng)的融合成像裝置的工作流程圖；
[0037]圖4是本發(fā)明聲納圖像與雙目視覺(jué)圖像的融合算法流程圖。
[0038]引用編號(hào)列表:
[0039]1、剛性支架；2、聲納成像系統(tǒng)；3、雙目視覺(jué)成像系統(tǒng)；4、融合成像處理系統(tǒng)；5、防水腔室；6、水面。
【具體實(shí)施方式】
[0040]為了對(duì)本發(fā)明的技術(shù)特征、目的和效果有更加清楚的理解，現(xiàn)對(duì)照附圖詳細(xì)說(shuō)明本發(fā)明的【具體實(shí)施方式】。
[0041]如圖1所示，是本發(fā)明的聲納和雙目視覺(jué)成像系統(tǒng)的融合成像裝置的一個(gè)實(shí)施例，包括剛性支架1、聲納成像系統(tǒng)2、雙目視覺(jué)成像系統(tǒng)3、以及融合成像處理系統(tǒng)4等，可通過(guò)聲納成像系統(tǒng)2和雙目視覺(jué)成像系統(tǒng)3的融合，能有效地探測(cè)水中物體的具體輪廓、表面信息和深度信息，解決了水下特別是深水下的物體感知困難的問(wèn)題，為水下特別是深水下的相關(guān)工作提供強(qiáng)有力的解決方案。
[0042]該剛性支架I作為整個(gè)裝置的支撐件，可以根據(jù)需要做成各種形狀。如圖1所示，在本實(shí)施例中，該剛性支架I為框形，以方便船只或其他裝置搭載。聲納成像系統(tǒng)2和雙目視覺(jué)成像系統(tǒng)3固定安裝在該剛性支架I上，從而可以跟隨船只或其他裝置移動(dòng)，來(lái)搜尋目標(biāo)物體，并進(jìn)行融合成像。
[0043]由于該融合成像裝置4需要在水下進(jìn)行工作，該剛性支架I設(shè)置有防水腔室5，以便于供雙目視覺(jué)成像系統(tǒng)3安裝于其中。進(jìn)一步的，防水腔室5設(shè)有與雙目視覺(jué)成像系統(tǒng)3的雙目攝像頭的拍攝鏡頭對(duì)應(yīng)的透光面板，以便于通過(guò)光電信號(hào)采集目標(biāo)物體的視覺(jué)信號(hào)。
[0044]進(jìn)一步的，雙目視覺(jué)成像系統(tǒng)3與聲納成像系統(tǒng)2按設(shè)定距離固定安裝在剛性支架I上，從而可以為后續(xù)圖像融合做準(zhǔn)備。可以理解的，雙目視覺(jué)成像系統(tǒng)3與聲納成像系統(tǒng)2的距離可以根據(jù)實(shí)際需要進(jìn)行設(shè)置，可以為固定設(shè)置、也可以根據(jù)需要做成可調(diào)距離的設(shè)置。
[0045]該聲納成像系統(tǒng)2包括聲納傳感探頭以及聲納信號(hào)處理模塊，通過(guò)聲納傳感探頭發(fā)出聲納進(jìn)行目標(biāo)物體的探測(cè)，并由聲納信號(hào)處理模塊接收反射的聲納信號(hào)，進(jìn)行分析處理得到聲納圖像數(shù)據(jù)。在本實(shí)施例中，聲納傳感探頭以及聲納信號(hào)處理模塊為一體式，固定安裝在剛性支架I下部?？梢岳斫獾?，該聲納傳感探頭和聲納信號(hào)處理模塊也可以為分體式，聲納傳感探頭固定安裝在剛性支架I下部，而聲納信號(hào)處理模塊則可以安裝在船只上或其他裝置上，與聲納傳感探頭通過(guò)有線(xiàn)或無(wú)線(xiàn)的通訊連接，接收聲納傳感探頭感測(cè)到的聲納信號(hào)即可。
[0046]在本實(shí)施例中，該聲納傳感探頭為單波束聲納傳感探頭，單波束聲納在一個(gè)時(shí)刻向一個(gè)方向發(fā)射出一束聲波，如圖2所不。
[0047]從圖2-1中可以看到，聲波波束在探測(cè)面上的夾角很小，近似于一條線(xiàn)。而從圖2-2上看，聲波波束在與探測(cè)面垂直的垂直面上是呈扇形的。
[0048]聲納在發(fā)出波束之后等待接收返回的波束，依據(jù)接收的時(shí)間先后在畫(huà)面中繪制出遠(yuǎn)近不同的點(diǎn)云，如圖2-3所示ο
[0049]這樣就產(chǎn)生了一個(gè)現(xiàn)象，假設(shè)在聲納探測(cè)的垂直面上有一根棍子，如圖2-4所示。聲波在打到A點(diǎn)和B點(diǎn)之后會(huì)返回，而由于距離遠(yuǎn)近的原因，A點(diǎn)返回的較早，這樣棍子得到的聲納圖像如圖2-5所示。也就是說(shuō)，雖然單波束聲納掃描的是二維的圖像，但是其在半徑方向上的縱深點(diǎn)保留著物體的高度信息。又由于A、B兩點(diǎn)的所處的位置可能不同，如圖2-6，這個(gè)縱深反映也有所差別，所以這個(gè)高度信息是一個(gè)不太確定的動(dòng)態(tài)值，可以用這個(gè)高度信息來(lái)大概地估計(jì)目標(biāo)物體的高度在哪個(gè)范圍之內(nèi)，以便于與雙目視覺(jué)成像系統(tǒng)圖像進(jìn)行融合。而且，由于在探測(cè)面方向上的波束夾角很小，則目標(biāo)物體的寬度則是較為準(zhǔn)確的值，可以直接與雙目視覺(jué)成像系統(tǒng)圖像融合。
[0050]該雙目視覺(jué)成像系統(tǒng)3包括雙目攝像頭、以及雙目信號(hào)處理模塊，通過(guò)雙目攝像頭進(jìn)行目標(biāo)物體的探測(cè)，并由雙目信號(hào)處理模塊接收探測(cè)到的雙目信號(hào)，進(jìn)行分析處理得到雙目圖像數(shù)據(jù)。在本實(shí)施例中，雙目攝像頭以及雙目信號(hào)處理模塊為一體式，使用防水材質(zhì)密封后固定安裝在剛性支架I的防水腔室5中，防水腔室5設(shè)有與雙目視覺(jué)成像系統(tǒng)3的雙目攝像頭的拍攝鏡頭對(duì)應(yīng)的透光面板，以便于通過(guò)光電信號(hào)采集目標(biāo)物體的視覺(jué)信號(hào)?？梢岳斫獾?，該雙目攝像頭和雙目信號(hào)處理模塊也可以為分體式，雙目攝像頭固定安裝在剛性支架I的防水腔室5中，而雙目信號(hào)處理模塊則可以安裝在船只上或其他裝置上，