基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法及裝置的制造方法
【專(zhuān)利摘要】本發(fā)明提供了基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法及裝置，該方法包括：通過(guò)設(shè)置在無(wú)人機(jī)上的視頻攝像裝置獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息，并通過(guò)GPS接收器獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息后，先對(duì)獲取的現(xiàn)場(chǎng)視頻信息和地理信息進(jìn)行時(shí)間同步操作；按照預(yù)設(shè)時(shí)間間隔自動(dòng)對(duì)同步后的現(xiàn)場(chǎng)視頻信息進(jìn)行關(guān)鍵幀提??；然后，基于共線(xiàn)方程的地理編碼方式對(duì)提取到的關(guān)鍵幀進(jìn)行地理編碼；再在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像。本發(fā)明實(shí)施例通過(guò)基于共線(xiàn)方程的方式對(duì)提取到的關(guān)鍵幀進(jìn)行地理編碼，并將地理編碼后的關(guān)鍵幀在三維顯示平臺(tái)上實(shí)時(shí)逐幀動(dòng)態(tài)展示，便于觀(guān)察者實(shí)時(shí)了解某一具體地理位置的實(shí)際現(xiàn)場(chǎng)情況。
【專(zhuān)利說(shuō)明】
基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及影像處理技術(shù)領(lǐng)域，具體而言，涉及基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法及裝置。
【背景技術(shù)】
[0002]目前，無(wú)人機(jī)是一種利用無(wú)線(xiàn)電遙控設(shè)備和機(jī)載飛控系統(tǒng)操縱的不載人飛機(jī)，無(wú)人機(jī)被廣泛應(yīng)用于現(xiàn)場(chǎng)偵察、地形測(cè)繪等領(lǐng)域。近年來(lái)，我國(guó)自然災(zāi)害頻發(fā)，隨著無(wú)人機(jī)技術(shù)的快速發(fā)展，無(wú)人機(jī)遙感為災(zāi)情信息獲取、決策指揮、搶險(xiǎn)救災(zāi)、災(zāi)后恢復(fù)重建等工作提供了新的技術(shù)手段。加之，無(wú)人機(jī)遙感具有機(jī)動(dòng)靈活、針對(duì)性強(qiáng)、效率高、成本低、適用范圍廣等有點(diǎn)，因而，無(wú)人機(jī)遙感越來(lái)越多廣泛地被應(yīng)用于各個(gè)行業(yè)領(lǐng)域，逐步成為航空、航天遙感的重要補(bǔ)充手段。
[0003]當(dāng)前，相關(guān)技術(shù)中提供了一種無(wú)人機(jī)視頻影像的顯示方法，該方法主要是在無(wú)人機(jī)飛行過(guò)程中，采用無(wú)人機(jī)搭載的數(shù)碼相機(jī)作為傳感器采集現(xiàn)場(chǎng)數(shù)碼像片，同時(shí)通過(guò)GPS模塊獲取地理信息，然后，當(dāng)無(wú)人機(jī)降落后，先取出無(wú)人機(jī)飛行過(guò)程中采集的現(xiàn)場(chǎng)數(shù)碼像片和獲取的地理信息，再將現(xiàn)場(chǎng)數(shù)碼像片和地理信息進(jìn)行關(guān)聯(lián)顯示，即在相關(guān)技術(shù)中需要在無(wú)人機(jī)飛行過(guò)程中事先獲取現(xiàn)場(chǎng)數(shù)碼像片和現(xiàn)場(chǎng)地理信息，再在無(wú)人機(jī)落地后才采用傳統(tǒng)的空中三角測(cè)量的方法進(jìn)行現(xiàn)場(chǎng)數(shù)碼像片的地理編碼處理，其中，對(duì)獲取的現(xiàn)場(chǎng)數(shù)碼像片進(jìn)行地理編碼的過(guò)程包括:首先，通過(guò)數(shù)碼相機(jī)檢校，獲取相機(jī)檢校參數(shù);對(duì)獲取的數(shù)碼像片進(jìn)行內(nèi)定向；然后，通過(guò)對(duì)相鄰像片進(jìn)行特征提取、影像匹配獲取相鄰像片的同名像點(diǎn)，進(jìn)行相對(duì)定向；通過(guò)核線(xiàn)重采樣，進(jìn)行影像匹配，人工選取地面控制點(diǎn)，進(jìn)行絕對(duì)定向；最后，通過(guò)微分糾正生成單片數(shù)字正射影像，完成影像地理編碼，從而實(shí)現(xiàn)現(xiàn)場(chǎng)影像數(shù)據(jù)和地理?目息的關(guān)聯(lián)顯不。
[0004]在實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)中至少存在以下問(wèn)題:相關(guān)技術(shù)中采用傳統(tǒng)的空中三角測(cè)量的方法對(duì)現(xiàn)場(chǎng)數(shù)碼像片進(jìn)行地理編碼，整個(gè)處理過(guò)程比較專(zhuān)業(yè)和復(fù)雜，且在無(wú)人機(jī)飛行過(guò)程中，無(wú)法進(jìn)行現(xiàn)場(chǎng)視頻影像與地理信息的關(guān)聯(lián)處理，視頻影像是以視頻流播放的形式進(jìn)行動(dòng)態(tài)展示，此時(shí)視頻影像不具有任何地理信息，觀(guān)察者只能目測(cè)現(xiàn)場(chǎng)情況，不能進(jìn)行量算，分析;并且主要是針對(duì)數(shù)碼相機(jī)影像的而不是針對(duì)視頻關(guān)鍵幀影像，且必須先獲取影像，無(wú)人機(jī)降落后，進(jìn)行影像的地理編碼處理，實(shí)時(shí)性差，不利于觀(guān)察者實(shí)時(shí)了解某一具體地理位置的實(shí)際現(xiàn)場(chǎng)情況。

【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明實(shí)施例的目的在于提供基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法及裝置，以實(shí)現(xiàn)在無(wú)人機(jī)飛行過(guò)程中將現(xiàn)場(chǎng)視頻影像與地理信息實(shí)時(shí)關(guān)聯(lián)顯示，便于觀(guān)察者更加直觀(guān)地了解待觀(guān)測(cè)現(xiàn)場(chǎng)的實(shí)況信息并可以對(duì)采集的視頻影像實(shí)時(shí)進(jìn)行準(zhǔn)確定位，提尚了物像關(guān)聯(lián)顯不的實(shí)時(shí)性。
[0006]第一方面，本發(fā)明實(shí)施例提供了一種基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法，該方法包括:
[0007]通過(guò)設(shè)置在無(wú)人機(jī)上的視頻攝像裝置獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息，并通過(guò)GPS接收器獲取上述待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息，其中，該地理信息包括:上述現(xiàn)場(chǎng)視頻信息中視頻影像的像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)；
[0008]對(duì)獲取的上述現(xiàn)場(chǎng)視頻信息和上述地理信息進(jìn)行時(shí)間同步操作；
[0009]按照預(yù)設(shè)時(shí)間間隔自動(dòng)對(duì)同步后的上述現(xiàn)場(chǎng)視頻信息進(jìn)行關(guān)鍵幀提??；
[0010]基于共線(xiàn)方程的地理編碼方式對(duì)提取到的上述關(guān)鍵幀進(jìn)行地理編碼；
[0011]在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像。
[0012]結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第一種可能的實(shí)施方式，其中，上述基于共線(xiàn)方程的地理編碼方式對(duì)提取到的上述關(guān)鍵幀進(jìn)行地理編碼包括:
[0013]在提取到的上述關(guān)鍵幀中，選取至少三張關(guān)鍵幀，對(duì)選取的上述關(guān)鍵幀進(jìn)行像方坐標(biāo)系轉(zhuǎn)換，以使選取的上述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)統(tǒng)一至同一像方坐標(biāo)系下；
[0014]由像素點(diǎn)的像方坐標(biāo)和上述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)組成共線(xiàn)方程組；
[0015]在統(tǒng)一的坐標(biāo)系下，根據(jù)選取的上述關(guān)鍵幀中像主點(diǎn)的像方坐標(biāo)和上述像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)求解上述共線(xiàn)方程組中的轉(zhuǎn)換系數(shù)；
[0016]根據(jù)計(jì)算得到的上述轉(zhuǎn)換系數(shù)和提取到的上述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)計(jì)算各個(gè)上述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)。
[0017]結(jié)合第一方面的第一種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第二種可能的實(shí)施方式，其中，上述對(duì)選取的上述關(guān)鍵幀進(jìn)行像方坐標(biāo)系轉(zhuǎn)換包括:
[0018]根據(jù)尺度不變特征轉(zhuǎn)換算法對(duì)選取的相鄰關(guān)鍵幀進(jìn)行特征提取和特征匹配處理，確定相鄰關(guān)鍵幀中影像重置區(qū)域的多個(gè)同名點(diǎn)；
[0019]在確定的多個(gè)上述同名點(diǎn)中，根據(jù)隨機(jī)抽樣一致性算法剔除特征匹配過(guò)程中誤差大的同名點(diǎn)；
[0020]根據(jù)剔除后剩余的同名點(diǎn)求解相鄰關(guān)鍵幀之間的變換關(guān)系；
[0021]根據(jù)上述變換關(guān)系將上述相鄰關(guān)鍵幀中的待坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀轉(zhuǎn)換到已坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀的坐標(biāo)系下，直到選取的上述關(guān)鍵幀均轉(zhuǎn)換到同一坐標(biāo)系下。
[0022]結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第三種可能的實(shí)施方式，其中，上述對(duì)獲取的上述現(xiàn)場(chǎng)視頻信息和上述地理信息進(jìn)行時(shí)間同步操作包括:
[0023]當(dāng)上述地理信息為單頻GPS數(shù)據(jù)時(shí)，解析上述地理信息，獲得GPS時(shí)間信息;將上述GPS時(shí)間信息插入上述現(xiàn)場(chǎng)視頻信息；
[0024]當(dāng)上述地理信息為雙頻GPS數(shù)據(jù)時(shí)，通過(guò)三維顯示平臺(tái)接收所述地理信息，并獲取所述三維顯示平臺(tái)的統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息；通過(guò)插值計(jì)算確定所述地理信息中的GPS時(shí)間信息和統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息的時(shí)間差值，利用所述時(shí)間差值對(duì)所述現(xiàn)場(chǎng)視頻信息進(jìn)行時(shí)間同步。
[0025]結(jié)合第一方面至第一方面的第三種可能的實(shí)施方式中的任一種，本發(fā)明實(shí)施例提供了第一方面的第四種可能的實(shí)施方式，其中，上述基于共線(xiàn)方程的地理編碼方式對(duì)提取到的上述關(guān)鍵幀進(jìn)行地理編碼之后，上述在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像之前還包括:
[0026]當(dāng)?shù)乩砭幋a后的關(guān)鍵幀影像與三維顯示平臺(tái)中的高分辨率影像的坐標(biāo)系不一致時(shí)，利用空間坐標(biāo)匹配技術(shù)，對(duì)地理編碼后的所述關(guān)鍵幀與三維顯示平臺(tái)中的高分辨率影像進(jìn)行坐標(biāo)系轉(zhuǎn)換，以使地理編碼后的關(guān)鍵幀影像的坐標(biāo)系統(tǒng)與三維顯示平臺(tái)的坐標(biāo)系統(tǒng)統(tǒng)一至同一坐標(biāo)系下。
[0027]第二方面，本發(fā)明實(shí)施例還提供了一種基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的裝置，該裝置包括:
[0028]信息獲取模塊，用于通過(guò)設(shè)置在無(wú)人機(jī)上的視頻攝像裝置獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息，并通過(guò)GPS接收器獲取上述待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息，其中，該地理信息包括:上述現(xiàn)場(chǎng)視頻信息中視頻影像的像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)；
[0029]時(shí)間同步模塊，用于對(duì)獲取的上述現(xiàn)場(chǎng)視頻信息和上述地理信息進(jìn)行時(shí)間同步操作；
[0030]關(guān)鍵幀提取模塊，用于按照預(yù)設(shè)時(shí)間間隔自動(dòng)對(duì)同步后的上述現(xiàn)場(chǎng)視頻信息進(jìn)行關(guān)鍵幀提??；
[0031]地理編碼模塊，用于基于共線(xiàn)方程的地理編碼方式對(duì)提取到的上述關(guān)鍵幀進(jìn)行地理編碼；
[0032]顯示模塊，用于在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像。
[0033]結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面的第一種可能的實(shí)施方式，其中，上述地理編碼模塊包括:
[0034]坐標(biāo)系轉(zhuǎn)換單元，用于在提取到的上述關(guān)鍵幀中，選取至少三張關(guān)鍵幀，對(duì)選取的上述關(guān)鍵幀進(jìn)行像方坐標(biāo)系轉(zhuǎn)換，以使選取的上述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)統(tǒng)一至同一像方坐標(biāo)系下；
[0035]共線(xiàn)方程組建立單元，用于由像素點(diǎn)的像方坐標(biāo)和上述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)組成共線(xiàn)方程組；
[0036]共線(xiàn)方程組解算單元，用于在統(tǒng)一的坐標(biāo)系下，根據(jù)選取的上述關(guān)鍵幀中像主點(diǎn)的像方坐標(biāo)和上述像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)求解上述共線(xiàn)方程組中的轉(zhuǎn)換系數(shù)；
[0037]地理編碼單元，用于根據(jù)計(jì)算得到的上述轉(zhuǎn)換系數(shù)和提取到的上述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)計(jì)算各個(gè)上述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)。
[0038]結(jié)合第二方面的第一種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第二方面的第二種可能的實(shí)施方式，其中，上述坐標(biāo)系轉(zhuǎn)換單元包括:
[0039]同名點(diǎn)確定子單元，用于根據(jù)尺度不變特征轉(zhuǎn)換算法對(duì)選取的相鄰關(guān)鍵幀進(jìn)行特征提取和特征匹配處理，確定相鄰關(guān)鍵幀中影像重疊區(qū)域的多個(gè)同名點(diǎn)；
[0040]誤差點(diǎn)剔除子單元，用于在確定的多個(gè)上述同名點(diǎn)中，根據(jù)隨機(jī)抽樣一致性算法剔除特征匹配過(guò)程中誤差大的同名點(diǎn)；
[0041]變換關(guān)系確定子單元，用于根據(jù)剔除后剩余的同名點(diǎn)求解相鄰關(guān)鍵幀之間的變換關(guān)系;
[0042]坐標(biāo)系轉(zhuǎn)換子單元，用于根據(jù)上述變換關(guān)系將上述相鄰關(guān)鍵幀中的待坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀轉(zhuǎn)換到已坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀的坐標(biāo)系下，直到選取的上述關(guān)鍵幀均轉(zhuǎn)換到同一坐標(biāo)系下。
[0043]結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面的第三種可能的實(shí)施方式，其中，上述時(shí)間同步模塊包括:
[0044]第一時(shí)間同步單元，用于當(dāng)上述地理信息為單頻GPS數(shù)據(jù)時(shí)，解析上述地理信息，獲得GPS時(shí)間信息;將上述GPS時(shí)間信息插入上述現(xiàn)場(chǎng)視頻信息；
[0045]第二時(shí)間同步單元，用于當(dāng)上述地理信息為雙頻GPS數(shù)據(jù)時(shí)，通過(guò)三維顯示平臺(tái)接收所述地理信息，并獲取所述三維顯示平臺(tái)的統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息;通過(guò)插值計(jì)算確定所述地理信息中的GPS時(shí)間信息和統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息的時(shí)間差值，利用所述時(shí)間差值對(duì)所述現(xiàn)場(chǎng)視頻信息進(jìn)行時(shí)間同步。
[0046]結(jié)合第二方面至第二方面的第三種可能的實(shí)施方式中的任一種，本發(fā)明實(shí)施例提供了第二方面的第四種可能的實(shí)施方式，其中，上述裝置還包括:
[0047]坐標(biāo)系轉(zhuǎn)換模塊，用于當(dāng)?shù)乩砭幋a后的關(guān)鍵幀影像與三維顯示平臺(tái)中的高分辨率影像的坐標(biāo)系不一致時(shí)，利用空間坐標(biāo)匹配技術(shù)，對(duì)地理編碼后的所述關(guān)鍵幀與三維顯示平臺(tái)中的高分辨率影像進(jìn)行坐標(biāo)系轉(zhuǎn)換，以使地理編碼后的關(guān)鍵幀影像的坐標(biāo)系統(tǒng)與三維顯示平臺(tái)的坐標(biāo)系統(tǒng)統(tǒng)一至同一坐標(biāo)系下。
[0048]在本發(fā)明實(shí)施例提供基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法及裝置中，該方法包括:通過(guò)設(shè)置在無(wú)人機(jī)上的視頻攝像裝置獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息，并通過(guò)GPS接收器獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息后，首先，對(duì)獲取的現(xiàn)場(chǎng)視頻信息和地理信息進(jìn)行時(shí)間同步操作;按照預(yù)設(shè)時(shí)間間隔自動(dòng)對(duì)同步后的現(xiàn)場(chǎng)視頻信息進(jìn)行關(guān)鍵幀提取;然后，基于共線(xiàn)方程的地理編碼方式對(duì)提取到的關(guān)鍵幀進(jìn)行地理編碼；最后，在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像。本發(fā)明實(shí)施例通過(guò)基于共線(xiàn)方程的方式對(duì)提取到的關(guān)鍵幀進(jìn)行地理編碼，并將地理編碼后的關(guān)鍵幀在三維顯示平臺(tái)上實(shí)時(shí)逐幀動(dòng)態(tài)展示，解決了在無(wú)人機(jī)飛行過(guò)程中無(wú)法實(shí)現(xiàn)實(shí)時(shí)對(duì)關(guān)鍵幀進(jìn)行地理編碼的問(wèn)題，從而便于觀(guān)察者實(shí)時(shí)了解某一具體地理位置的實(shí)際現(xiàn)場(chǎng)情況。
[0049]為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說(shuō)明如下。
【附圖說(shuō)明】
[0050]為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實(shí)施例，因此不應(yīng)被看作是對(duì)范圍的限定，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。
[0051]圖1示出了本發(fā)明實(shí)施例所提供的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法的流程圖示意圖；
[0052]圖2示出了本發(fā)明實(shí)施例所提供的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0053]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。通常在此處附圖中描述和示出的本發(fā)明實(shí)施例的組件可以以各種不同的配置來(lái)布置和設(shè)計(jì)。因此，以下對(duì)在附圖中提供的本發(fā)明的實(shí)施例的詳細(xì)描述并非旨在限制要求保護(hù)的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實(shí)施例?；诒景l(fā)明的實(shí)施例，本領(lǐng)域技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0054]考慮到相關(guān)技術(shù)中采用傳統(tǒng)的空中三角測(cè)量的方法對(duì)現(xiàn)場(chǎng)數(shù)碼像片進(jìn)行地理編碼，整個(gè)處理過(guò)程比較專(zhuān)業(yè)和復(fù)雜，且在無(wú)人機(jī)飛行過(guò)程中，無(wú)法進(jìn)行現(xiàn)場(chǎng)視頻影像與地理信息的關(guān)聯(lián)處理，視頻影像是以視頻流播放的形式進(jìn)行動(dòng)態(tài)展示，此時(shí)視頻影像不具有任何地理信息，觀(guān)察者只能目測(cè)現(xiàn)場(chǎng)情況，不能進(jìn)行量算，分析;并且主要是針對(duì)數(shù)碼相機(jī)影像的而不是針對(duì)視頻關(guān)鍵幀影像，且必須先獲取影像，無(wú)人機(jī)降落后，進(jìn)行影像的地理編碼處理，實(shí)時(shí)性差，不利于觀(guān)察者實(shí)時(shí)了解某一具體地理位置的實(shí)際現(xiàn)場(chǎng)情況。基于此，本發(fā)明實(shí)施例提供了基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法及裝置，下面通過(guò)實(shí)施例進(jìn)行描述。
[0055]如圖1所示，本發(fā)明實(shí)施例提供了基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法，該方法包括步驟S102-S110，具體如下:
[0056]步驟S102:通過(guò)設(shè)置在無(wú)人機(jī)上的視頻攝像裝置獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息，并通過(guò)GPS接收器獲取上述待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息，其中，上述地理信息包括:上述現(xiàn)場(chǎng)視頻信息中視頻影像的像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)；
[0057]其中，上述地理信息為一張視頻影像像主點(diǎn)的地理坐標(biāo)，每張視頻影像由多個(gè)像素點(diǎn)組成，視頻影像的中間的像素點(diǎn)稱(chēng)為像主點(diǎn)或者曝光點(diǎn)，從GPS衛(wèi)星處獲得的地理信息為像主點(diǎn)的地理坐標(biāo)，而其余像素點(diǎn)的地理坐標(biāo)是未知的，因此，需要確定每張關(guān)鍵幀中各個(gè)像素點(diǎn)的地理坐標(biāo)，才能實(shí)現(xiàn)對(duì)關(guān)鍵幀的地理編碼。
[0058]在本發(fā)明實(shí)施例中，選用無(wú)人機(jī)搭載視頻攝像頭作為采集現(xiàn)場(chǎng)視頻信息的傳感器，利用無(wú)線(xiàn)通訊和視頻流傳輸技術(shù)實(shí)時(shí)獲取現(xiàn)場(chǎng)視頻信息，并且利用GPS定位技術(shù)實(shí)時(shí)獲取地理信息，另外，采用3G視頻傳輸鏈路，保證了數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性。
[0059]步驟S104:對(duì)獲取的上述現(xiàn)場(chǎng)視頻信息和上述地理信息進(jìn)行時(shí)間同步操作；
[0060]具體的，為了保證現(xiàn)場(chǎng)視頻信息中的每張視頻影像與地理信息是一一對(duì)應(yīng)的，需要對(duì)現(xiàn)場(chǎng)視頻信息和地理信息進(jìn)行時(shí)間同步操作，從而提高視頻影像像主點(diǎn)的地理坐標(biāo)的準(zhǔn)確度。
[0061]步驟S106:按照預(yù)設(shè)時(shí)間間隔自動(dòng)對(duì)同步后的上述現(xiàn)場(chǎng)視頻信息進(jìn)行關(guān)鍵幀提取；
[0062]步驟S108:基于共線(xiàn)方程的地理編碼方式對(duì)提取到的上述關(guān)鍵幀進(jìn)行地理編碼；
[0063]其中，在本發(fā)明實(shí)施例中，采用共線(xiàn)方程求解的方式來(lái)確定關(guān)鍵幀中所有像素點(diǎn)所對(duì)應(yīng)的地理信息(地理坐標(biāo))，將相應(yīng)的地理信息賦予關(guān)鍵幀，即對(duì)關(guān)鍵幀進(jìn)行地理編碼，從而實(shí)現(xiàn)快速地將獲取的現(xiàn)場(chǎng)視頻影像信息與地理信息進(jìn)行實(shí)時(shí)關(guān)聯(lián)，利用基于共線(xiàn)方程的地理編碼方式提高了對(duì)關(guān)鍵幀的地理編碼速度，保證了將獲取的現(xiàn)場(chǎng)視頻影像信息與地理信息進(jìn)行地理編碼的實(shí)時(shí)性。
[0064]步驟S110:在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像，利用三維地理信息顯示平臺(tái)同步顯示視頻流和地理空間下的關(guān)鍵幀影像，實(shí)現(xiàn)地理坐標(biāo)系下關(guān)鍵幀影像的動(dòng)態(tài)展示，該展示模式生動(dòng)、形象、直觀(guān)，且能實(shí)時(shí)三維量算分析。
[0065]其中，上述三維顯示平臺(tái)設(shè)置于地面站，地面站通過(guò)無(wú)線(xiàn)通訊網(wǎng)絡(luò)與無(wú)人機(jī)中機(jī)載視頻發(fā)射器相連接，該機(jī)載視頻發(fā)射器分別與設(shè)置在無(wú)人機(jī)上的視頻攝像裝置和GPS天線(xiàn)相連接，該機(jī)載視頻發(fā)射器中內(nèi)置GPS接收器，設(shè)置在無(wú)人機(jī)上的視頻攝像裝置通過(guò)視頻流數(shù)據(jù)包的方式將獲取的待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息傳輸至上述機(jī)載視頻發(fā)射器，該機(jī)載視頻發(fā)射器用于將上述現(xiàn)場(chǎng)視頻信息、以及通過(guò)GPS接收器獲取的待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息實(shí)時(shí)傳輸至地面站。最終，將地理編碼后的關(guān)鍵幀在三維地圖上相應(yīng)的位置動(dòng)態(tài)呈現(xiàn)，實(shí)現(xiàn)無(wú)人機(jī)空中獲取現(xiàn)場(chǎng)視頻信息的同時(shí)，在三維地理信息系統(tǒng)顯示平臺(tái)上同步顯示視頻流和地理空間下的關(guān)鍵幀影像，實(shí)現(xiàn)地理坐標(biāo)系下視頻影像的動(dòng)態(tài)展示，從而滿(mǎn)足觀(guān)察者對(duì)現(xiàn)場(chǎng)情況實(shí)時(shí)觀(guān)測(cè)的需求，進(jìn)而為災(zāi)害現(xiàn)場(chǎng)救援搶險(xiǎn)、合理安置災(zāi)民、科學(xué)評(píng)估損失、恢復(fù)重建規(guī)劃等提供技術(shù)保障。
[0066]在本發(fā)明實(shí)施例提供的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法及裝置中，該方法包括:通過(guò)設(shè)置在無(wú)人機(jī)上的視頻攝像裝置獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息，并通過(guò)GPS接收器獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息后，首先，對(duì)獲取的現(xiàn)場(chǎng)視頻信息和地理信息進(jìn)行時(shí)間同步操作;按照預(yù)設(shè)時(shí)間間隔自動(dòng)對(duì)同步后的現(xiàn)場(chǎng)視頻信息進(jìn)行關(guān)鍵幀提取;然后，基于共線(xiàn)方程的地理編碼方式對(duì)提取到的關(guān)鍵幀進(jìn)行地理編碼；最后，在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像。本發(fā)明實(shí)施例通過(guò)基于共線(xiàn)方程的方式對(duì)提取到的關(guān)鍵幀進(jìn)行地理編碼，并將地理編碼后的關(guān)鍵幀在三維顯示平臺(tái)上實(shí)時(shí)逐幀動(dòng)態(tài)展示，解決了在無(wú)人機(jī)飛行過(guò)程中無(wú)法實(shí)現(xiàn)實(shí)時(shí)對(duì)關(guān)鍵幀進(jìn)行地理編碼的問(wèn)題，從而便于觀(guān)察者實(shí)時(shí)了解某一具體地理位置的實(shí)際現(xiàn)場(chǎng)情況，進(jìn)而幫助觀(guān)察者及時(shí)作出針對(duì)性的決策。
[0067]具體的，上述基于共線(xiàn)方程的地理編碼方式對(duì)提取到的上述關(guān)鍵幀進(jìn)行地理編碼包括:
[0068]在提取到的上述關(guān)鍵幀中，選取至少三張關(guān)鍵幀，對(duì)選取的上述關(guān)鍵幀進(jìn)行像方坐標(biāo)系轉(zhuǎn)換，以使選取的上述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)統(tǒng)一至同一像方坐標(biāo)系下；
[0069]由像素點(diǎn)的像方坐標(biāo)和上述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)組成共線(xiàn)方程組；
[0070]在統(tǒng)一的坐標(biāo)系下，根據(jù)選取的上述關(guān)鍵幀中像主點(diǎn)的像方坐標(biāo)和上述像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)求解上述共線(xiàn)方程組中的轉(zhuǎn)換系數(shù)；
[0071]根據(jù)計(jì)算得到的上述轉(zhuǎn)換系數(shù)和提取到的上述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)計(jì)算各個(gè)上述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)，即將各個(gè)像素點(diǎn)由像方坐標(biāo)系轉(zhuǎn)換至物方坐標(biāo)系下。
[0072]其中，在本發(fā)明實(shí)施例中，在選取三張關(guān)鍵幀影像的情況下，即可通過(guò)求解共線(xiàn)方程組來(lái)確定轉(zhuǎn)換系數(shù)，該轉(zhuǎn)換系數(shù)為像素點(diǎn)的像方坐標(biāo)與物方坐標(biāo)(地理坐標(biāo))之間的轉(zhuǎn)換關(guān)系，然后，利用計(jì)算得到的轉(zhuǎn)換系數(shù)確定關(guān)鍵幀中像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)，進(jìn)而實(shí)現(xiàn)對(duì)關(guān)鍵幀進(jìn)行地理編碼，另外，為了進(jìn)一步提高計(jì)算得到的轉(zhuǎn)換系數(shù)，可以選取四張關(guān)鍵幀影像，在本發(fā)明提供的實(shí)施例中優(yōu)選地選取四張關(guān)鍵幀。
[0073]具體的，上述對(duì)選取的上述關(guān)鍵幀進(jìn)行像方坐標(biāo)系轉(zhuǎn)換包括:
[0074]根據(jù)尺度不變特征轉(zhuǎn)換算法對(duì)選取的相鄰關(guān)鍵幀進(jìn)行特征提取和特征匹配處理，確定相鄰關(guān)鍵幀中影像重置區(qū)域的多個(gè)同名點(diǎn)；
[0075]在確定的多個(gè)上述同名點(diǎn)中，根據(jù)隨機(jī)抽樣一致性算法剔除特征匹配過(guò)程中誤差大的同名點(diǎn)；
[0076]根據(jù)剔除后剩余的同名點(diǎn)求解相鄰關(guān)鍵幀之間的變換關(guān)系；
[0077]根據(jù)上述變換關(guān)系將上述相鄰關(guān)鍵幀中的待坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀轉(zhuǎn)換到已坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀的坐標(biāo)系下，直到選取的上述關(guān)鍵幀均轉(zhuǎn)換到同一坐標(biāo)系下。
[0078]具體的，以選取的關(guān)鍵幀中第一張關(guān)鍵幀的坐標(biāo)系作為參考坐標(biāo)系為例(第一張關(guān)鍵幀是指選取的關(guān)鍵幀中提取時(shí)間在前的關(guān)鍵幀)，通過(guò)對(duì)選取的關(guān)鍵幀進(jìn)行坐標(biāo)系轉(zhuǎn)換，使得選取的關(guān)鍵幀均轉(zhuǎn)換至第一張關(guān)鍵幀的坐標(biāo)系下，具體包括:
[0079](I)對(duì)第一張關(guān)鍵幀與第二張關(guān)鍵幀進(jìn)行坐標(biāo)系轉(zhuǎn)換，首先，根據(jù)尺度不變特征轉(zhuǎn)換算法對(duì)第一張關(guān)鍵幀與第二張關(guān)鍵幀進(jìn)行特征提取和特征匹配處理，確定第一張關(guān)鍵幀與第二張關(guān)鍵幀中影像重疊區(qū)域的多個(gè)同名點(diǎn)；在確定的多個(gè)同名點(diǎn)中，根據(jù)隨機(jī)抽樣一致性算法剔除特征匹配過(guò)程中誤差大的同名點(diǎn)；然后，根據(jù)剔除后剩余的同名點(diǎn)求解第一張關(guān)鍵幀與第二張關(guān)鍵幀之間的變換關(guān)系；最后，根據(jù)該變換關(guān)系將第二張關(guān)鍵幀轉(zhuǎn)換到第一張關(guān)鍵幀的坐標(biāo)系下；
[0080](2)對(duì)第二張關(guān)鍵幀與第三張關(guān)鍵幀進(jìn)行坐標(biāo)系轉(zhuǎn)換，此時(shí)，第二張關(guān)鍵幀已經(jīng)轉(zhuǎn)換至第一張關(guān)鍵幀的坐標(biāo)系下，按照(I)中的方法將第三張關(guān)鍵幀轉(zhuǎn)換到第一張關(guān)鍵幀的坐標(biāo)系下;依次類(lèi)推，直到選取的關(guān)鍵幀均轉(zhuǎn)換至第一張坐標(biāo)系下。
[0081]進(jìn)一步的，考慮到地理信息的獲取來(lái)源不同即發(fā)射地理信息的硬件的配置不同，地理信息可以是單頻GPS數(shù)據(jù)，還可以是雙頻GPS數(shù)據(jù)，為了進(jìn)一步保證現(xiàn)場(chǎng)視頻信息與地理信息時(shí)間的同步性，針對(duì)于不同的地理信息的格式需要采用相應(yīng)的時(shí)間同步的操作方式，基于此，上述對(duì)獲取的上述現(xiàn)場(chǎng)視頻信息和上述地理信息進(jìn)行時(shí)間同步操作包括:
[0082]當(dāng)上述地理信息為單頻GPS數(shù)據(jù)時(shí)，解析上述地理信息，獲得GPS時(shí)間信息;將上述GPS時(shí)間信息插入上述現(xiàn)場(chǎng)視頻信息；
[0083]當(dāng)上述地理信息為雙頻GPS數(shù)據(jù)時(shí)，通過(guò)三維顯示平臺(tái)接收所述地理信息，并獲取所述三維顯示平臺(tái)的統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息；通過(guò)插值計(jì)算確定所述地理信息中的GPS時(shí)間信息和統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息的時(shí)間差值，利用所述時(shí)間差值對(duì)所述現(xiàn)場(chǎng)視頻信息進(jìn)行時(shí)間同步。
[0084]進(jìn)一步的，為了使地理編碼后的上述關(guān)鍵幀在三維顯示平臺(tái)的視頻顯示坐標(biāo)系下進(jìn)行準(zhǔn)確地定位，實(shí)現(xiàn)將賦予地理信息的關(guān)鍵幀與三維顯示平臺(tái)中的高分辨率影像進(jìn)行精準(zhǔn)套合顯示，基于此，上述基于共線(xiàn)方程的地理編碼方式對(duì)提取到的上述關(guān)鍵幀進(jìn)行地理編碼之后，上述在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像之前還包括:
[0085]當(dāng)?shù)乩砭幋a后的關(guān)鍵幀影像與三維顯示平臺(tái)中的高分辨率影像的坐標(biāo)系不一致時(shí)，利用空間坐標(biāo)匹配技術(shù)，對(duì)地理編碼后的所述關(guān)鍵幀與三維顯示平臺(tái)中的高分辨率影像進(jìn)行坐標(biāo)系轉(zhuǎn)換，以使地理編碼后的關(guān)鍵幀影像的坐標(biāo)系統(tǒng)與三維顯示平臺(tái)的坐標(biāo)系統(tǒng)統(tǒng)一至同一坐標(biāo)系下。其中，根據(jù)共線(xiàn)方程解算過(guò)程中確定的物方坐標(biāo)系和要套合顯示的坐標(biāo)系來(lái)決定是否需要進(jìn)行空間坐標(biāo)匹配，當(dāng)確定的物方坐標(biāo)系和要套合顯示的坐標(biāo)系不一致時(shí)，則需要對(duì)確定的物方坐標(biāo)系和要套合顯示的坐標(biāo)系進(jìn)行坐標(biāo)系轉(zhuǎn)換。
[0086]在本發(fā)明實(shí)施例提供的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法及裝置中，該方法包括:通過(guò)設(shè)置在無(wú)人機(jī)上的視頻攝像裝置獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息，并通過(guò)GPS接收器獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息后，首先，對(duì)獲取的現(xiàn)場(chǎng)視頻信息和地理信息進(jìn)行時(shí)間同步操作;按照預(yù)設(shè)時(shí)間間隔自動(dòng)對(duì)同步后的現(xiàn)場(chǎng)視頻信息進(jìn)行關(guān)鍵幀提取;然后，基于共線(xiàn)方程的地理編碼方式對(duì)提取到的關(guān)鍵幀進(jìn)行地理編碼；最后，在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像。本發(fā)明實(shí)施例通過(guò)基于共線(xiàn)方程的方式對(duì)提取到的關(guān)鍵幀進(jìn)行地理編碼，并將地理編碼后的關(guān)鍵幀在三維顯示平臺(tái)上實(shí)時(shí)逐幀動(dòng)態(tài)展示，解決了在無(wú)人機(jī)飛行過(guò)程中無(wú)法實(shí)現(xiàn)實(shí)時(shí)對(duì)關(guān)鍵幀進(jìn)行地理編碼的問(wèn)題，從而便于觀(guān)察者實(shí)時(shí)了解某一具體地理位置的實(shí)際現(xiàn)場(chǎng)情況。
[0087]對(duì)應(yīng)于上述實(shí)時(shí)顯示的方法，本發(fā)明實(shí)施例還提供了基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的裝置，如圖2所示，該裝置包括:
[0088]信息獲取模塊202，用于通過(guò)設(shè)置在無(wú)人機(jī)上的視頻攝像裝置獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息，并通過(guò)GPS接收器獲取上述待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息，其中，上述地理信息包括:上述現(xiàn)場(chǎng)視頻信息中視頻影像的像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)；
[0089]時(shí)間同步模塊204，用于對(duì)獲取的上述現(xiàn)場(chǎng)視頻信息和上述地理信息進(jìn)行時(shí)間同步操作；
[0090]關(guān)鍵幀提取模塊206，用于按照預(yù)設(shè)時(shí)間間隔自動(dòng)對(duì)同步后的上述現(xiàn)場(chǎng)視頻信息進(jìn)行關(guān)鍵幀提取；
[0091]地理編碼模塊208，用于基于共線(xiàn)方程的地理編碼方式對(duì)提取到的上述關(guān)鍵幀進(jìn)行地理編碼；
[0092]顯示模塊210，用于在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像。
[0093]進(jìn)一步的，上述地理編碼模塊208包括:
[0094]坐標(biāo)系轉(zhuǎn)換單元，用于在提取到的上述關(guān)鍵幀中，選取至少三張關(guān)鍵幀，對(duì)選取的上述關(guān)鍵幀進(jìn)行像方坐標(biāo)系轉(zhuǎn)換，以使選取的上述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)統(tǒng)一至同一像方坐標(biāo)系下；
[0095]共線(xiàn)方程組建立單元，用于由像素點(diǎn)的像方坐標(biāo)和上述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)組成共線(xiàn)方程組；
[0096]共線(xiàn)方程組解算單元，用于在統(tǒng)一的坐標(biāo)系下，根據(jù)選取的上述關(guān)鍵幀中像主點(diǎn)的像方坐標(biāo)和上述像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)求解上述共線(xiàn)方程組中的轉(zhuǎn)換系數(shù)；
[0097]地理編碼單元，用于根據(jù)計(jì)算得到的上述轉(zhuǎn)換系數(shù)和提取到的上述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)計(jì)算各個(gè)上述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)。
[0098]進(jìn)一步的，上述坐標(biāo)系轉(zhuǎn)換單元包括:
[0099]同名點(diǎn)確定子單元，用于根據(jù)尺度不變特征轉(zhuǎn)換算法對(duì)選取的相鄰關(guān)鍵幀進(jìn)行特征提取和特征匹配處理，確定相鄰關(guān)鍵幀中影像重疊區(qū)域的多個(gè)同名點(diǎn)；
[0100]誤差點(diǎn)剔除子單元，用于在確定的多個(gè)上述同名點(diǎn)中，根據(jù)隨機(jī)抽樣一致性算法剔除特征匹配過(guò)程中誤差大的同名點(diǎn)；
[0101]變換關(guān)系確定子單元，用于根據(jù)剔除后剩余的同名點(diǎn)求解相鄰關(guān)鍵幀之間的變換關(guān)系;
[0102]坐標(biāo)系轉(zhuǎn)換子單元，用于根據(jù)上述變換關(guān)系將上述相鄰關(guān)鍵幀中的待坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀轉(zhuǎn)換到已坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀的坐標(biāo)系下，直到選取的上述關(guān)鍵幀均轉(zhuǎn)換到同一坐標(biāo)系下。
[0103]進(jìn)一步的，上述時(shí)間同步模塊204包括:
[0104]第一時(shí)間同步單元，用于當(dāng)上述地理信息為單頻GPS數(shù)據(jù)時(shí)，解析上述地理信息，獲得GPS時(shí)間信息;將上述GPS時(shí)間信息插入上述現(xiàn)場(chǎng)視頻信息；
[0105]第二時(shí)間同步單元，用于當(dāng)上述地理信息為雙頻GPS數(shù)據(jù)時(shí)，通過(guò)三維顯示平臺(tái)接收所述地理信息，并獲取所述三維顯示平臺(tái)的統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息;通過(guò)插值計(jì)算確定所述地理信息中的GPS時(shí)間信息和統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息的時(shí)間差值，利用所述時(shí)間差值對(duì)所述現(xiàn)場(chǎng)視頻信息進(jìn)行時(shí)間同步。
[0106]進(jìn)一步的，上述裝置還包括:
[0107]坐標(biāo)系轉(zhuǎn)換模塊，用于當(dāng)?shù)乩砭幋a后的關(guān)鍵幀影像與三維顯示平臺(tái)中的高分辨率影像的坐標(biāo)系不一致時(shí)，利用空間坐標(biāo)匹配技術(shù)，對(duì)地理編碼后的所述關(guān)鍵幀與三維顯示平臺(tái)中的高分辨率影像進(jìn)行坐標(biāo)系轉(zhuǎn)換，以使地理編碼后的關(guān)鍵幀影像的坐標(biāo)系統(tǒng)與三維顯示平臺(tái)的坐標(biāo)系統(tǒng)統(tǒng)一至同一坐標(biāo)系下。
[0108]基于上述分析可知，在本發(fā)明實(shí)施例提供的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的裝置中，上述裝置利用信息獲取模塊202通過(guò)設(shè)置在無(wú)人機(jī)上的視頻攝像裝置獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息，并通過(guò)GPS接收器獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息后，首先，利用時(shí)間同步模塊204對(duì)獲取的現(xiàn)場(chǎng)視頻信息和地理信息進(jìn)行時(shí)間同步操作;利用關(guān)鍵幀提取模塊206按照預(yù)設(shè)時(shí)間間隔自動(dòng)對(duì)同步后的現(xiàn)場(chǎng)視頻信息進(jìn)行關(guān)鍵幀提取;然后，利用地理編碼模塊208基于共線(xiàn)方程的地理編碼方式對(duì)提取到的關(guān)鍵幀進(jìn)行地理編碼;最后，利用顯示模塊210在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像。本發(fā)明實(shí)施例通過(guò)基于共線(xiàn)方程的方式對(duì)提取到的關(guān)鍵幀進(jìn)行地理編碼，并將地理編碼后的關(guān)鍵幀在三維顯示平臺(tái)上實(shí)時(shí)逐幀動(dòng)態(tài)展示，解決了在無(wú)人機(jī)飛行過(guò)程中無(wú)法實(shí)現(xiàn)實(shí)時(shí)對(duì)關(guān)鍵幀進(jìn)行地理編碼的問(wèn)題，從而便于觀(guān)察者實(shí)時(shí)了解某一具體地理位置的實(shí)際現(xiàn)場(chǎng)情況。
[0109]本發(fā)明實(shí)施例所提供的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的裝置可以為設(shè)備上的特定硬件或者安裝于設(shè)備上的軟件或固件等。本發(fā)明實(shí)施例所提供的裝置，其實(shí)現(xiàn)原理及產(chǎn)生的技術(shù)效果和前述方法實(shí)施例相同，為簡(jiǎn)要描述，裝置實(shí)施例部分未提及之處，可參考前述方法實(shí)施例中相應(yīng)內(nèi)容。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，前述描述的系統(tǒng)、裝置和單元的具體工作過(guò)程，均可以參考上述方法實(shí)施例中的對(duì)應(yīng)過(guò)程，在此不再贅述。
[0110]在本發(fā)明所提供的實(shí)施例中，應(yīng)該理解到，所揭露裝置和方法，可以通過(guò)其它的方式實(shí)現(xiàn)。以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，又例如，多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些通信接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。
[0111]所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。
[0112]另外，在本發(fā)明提供的實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)單元中。
[0113]所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:U盤(pán)、移動(dòng)硬盤(pán)、只讀存儲(chǔ)器(ROM，Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，Random Access Memory)、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0114]應(yīng)注意到:相似的標(biāo)號(hào)和字母在下面的附圖中表示類(lèi)似項(xiàng)，因此，一旦某一項(xiàng)在一個(gè)附圖中被定義，則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步定義和解釋?zhuān)送?，術(shù)語(yǔ)“第一”、“第二”、“第三”等僅用于區(qū)分描述，而不能理解為指示或暗示相對(duì)重要性。
[0115]最后應(yīng)說(shuō)明的是:以上所述實(shí)施例，僅為本發(fā)明的【具體實(shí)施方式】，用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制，本發(fā)明的保護(hù)范圍并不局限于此，盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，其依然可以對(duì)前述實(shí)施例所記載的技術(shù)方案進(jìn)行修改或可輕易想到變化，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改、變化或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實(shí)施例技術(shù)方案的精神和范圍。都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【主權(quán)項(xiàng)】
1.基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法，其特征在于，所述方法包括: 通過(guò)設(shè)置在無(wú)人機(jī)上的視頻攝像裝置獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息，并通過(guò)GPS接收器獲取所述待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息，其中，所述地理信息包括:所述現(xiàn)場(chǎng)視頻信息中視頻影像的像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)； 對(duì)獲取的所述現(xiàn)場(chǎng)視頻信息和所述地理信息進(jìn)行時(shí)間同步操作； 按照預(yù)設(shè)時(shí)間間隔自動(dòng)對(duì)同步后的所述現(xiàn)場(chǎng)視頻信息進(jìn)行關(guān)鍵幀提??； 基于共線(xiàn)方程的地理編碼方式對(duì)提取到的所述關(guān)鍵幀進(jìn)行地理編碼； 在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像。2.根據(jù)權(quán)利要求1所述的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法，其特征在于，所述基于共線(xiàn)方程的地理編碼方式對(duì)提取到的所述關(guān)鍵幀進(jìn)行地理編碼包括: 在提取到的所述關(guān)鍵幀中，選取至少三張關(guān)鍵幀，對(duì)選取的所述關(guān)鍵幀進(jìn)行像方坐標(biāo)系轉(zhuǎn)換，以使選取的所述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)統(tǒng)一至同一像方坐標(biāo)系下； 由像素點(diǎn)的像方坐標(biāo)和所述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)組成共線(xiàn)方程組； 在統(tǒng)一的坐標(biāo)系下，根據(jù)選取的所述關(guān)鍵幀中像主點(diǎn)的像方坐標(biāo)和所述像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)求解所述共線(xiàn)方程組中的轉(zhuǎn)換系數(shù)； 根據(jù)計(jì)算得到的所述轉(zhuǎn)換系數(shù)和提取到的所述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)計(jì)算各個(gè)所述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)。3.根據(jù)權(quán)利要求2所述的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法，其特征在于，所述對(duì)選取的所述關(guān)鍵幀進(jìn)行像方坐標(biāo)系轉(zhuǎn)換包括: 根據(jù)尺度不變特征轉(zhuǎn)換算法對(duì)選取的相鄰關(guān)鍵幀進(jìn)行特征提取和特征匹配處理，確定相鄰關(guān)鍵幀中影像重疊區(qū)域的多個(gè)同名點(diǎn)； 在確定的多個(gè)所述同名點(diǎn)中，根據(jù)隨機(jī)抽樣一致性算法剔除特征匹配過(guò)程中誤差大的同名點(diǎn)； 根據(jù)剔除后剩余的同名點(diǎn)求解相鄰關(guān)鍵幀之間的變換關(guān)系； 根據(jù)所述變換關(guān)系將所述相鄰關(guān)鍵幀中的待坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀轉(zhuǎn)換到已坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀的坐標(biāo)系下，直到選取的所述關(guān)鍵幀均轉(zhuǎn)換到同一坐標(biāo)系下。4.根據(jù)權(quán)利要求1所述的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法，其特征在于，所述對(duì)獲取的所述現(xiàn)場(chǎng)視頻信息和所述地理信息進(jìn)行時(shí)間同步操作包括: 當(dāng)所述地理信息為單頻GPS數(shù)據(jù)時(shí)，解析所述地理信息，獲得GPS時(shí)間信息；將所述GPS時(shí)間信息插入所述現(xiàn)場(chǎng)視頻信息； 當(dāng)所述地理信息為雙頻GPS數(shù)據(jù)時(shí)，通過(guò)三維顯示平臺(tái)接收所述地理信息，并獲取所述三維顯示平臺(tái)的統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息；通過(guò)插值計(jì)算確定所述地理信息中的GPS時(shí)間信息和統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息的時(shí)間差值，利用所述時(shí)間差值對(duì)所述現(xiàn)場(chǎng)視頻信息進(jìn)行時(shí)間同步。5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的方法，其特征在于，所述基于共線(xiàn)方程的地理編碼方式對(duì)提取到的所述關(guān)鍵幀進(jìn)行地理編碼之后，所述在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像之前還包括: 當(dāng)?shù)乩砭幋a后的關(guān)鍵幀影像與三維顯示平臺(tái)中的高分辨率影像的坐標(biāo)系不一致時(shí)，利用空間坐標(biāo)匹配技術(shù)，對(duì)地理編碼后的所述關(guān)鍵幀與三維顯示平臺(tái)中的高分辨率影像進(jìn)行坐標(biāo)系轉(zhuǎn)換，以使地理編碼后的關(guān)鍵幀影像的坐標(biāo)系統(tǒng)與三維顯示平臺(tái)的坐標(biāo)系統(tǒng)統(tǒng)一至同一坐標(biāo)系下。6.基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的裝置，其特征在于，所述裝置包括: 信息獲取模塊，用于通過(guò)設(shè)置在無(wú)人機(jī)上的視頻攝像裝置獲取待觀(guān)測(cè)現(xiàn)場(chǎng)的現(xiàn)場(chǎng)視頻信息，并通過(guò)GPS接收器獲取所述待觀(guān)測(cè)現(xiàn)場(chǎng)的地理信息，其中，所述地理信息包括:所述現(xiàn)場(chǎng)視頻信息中視頻影像的像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)； 時(shí)間同步模塊，用于對(duì)獲取的所述現(xiàn)場(chǎng)視頻信息和所述地理信息進(jìn)行時(shí)間同步操作； 關(guān)鍵幀提取模塊，用于按照預(yù)設(shè)時(shí)間間隔自動(dòng)對(duì)同步后的所述現(xiàn)場(chǎng)視頻信息進(jìn)行關(guān)鍵幀提取； 地理編碼模塊，用于基于共線(xiàn)方程的地理編碼方式對(duì)提取到的所述關(guān)鍵幀進(jìn)行地理編碼； 顯示模塊，用于在三維顯示平臺(tái)上逐幀播放地理編碼后的關(guān)鍵幀影像。7.根據(jù)權(quán)利要求6所述的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的裝置，其特征在于，所述地理編碼模塊包括: 坐標(biāo)系轉(zhuǎn)換單元，用于在提取到的所述關(guān)鍵幀中，選取至少三張關(guān)鍵幀，對(duì)選取的所述關(guān)鍵幀進(jìn)行像方坐標(biāo)系轉(zhuǎn)換，以使選取的所述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)統(tǒng)一至同一像方坐標(biāo)系下； 共線(xiàn)方程組建立單元，用于由像素點(diǎn)的像方坐標(biāo)和所述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)組成共線(xiàn)方程組； 共線(xiàn)方程組解算單元，用于在統(tǒng)一的坐標(biāo)系下，根據(jù)選取的所述關(guān)鍵幀中像主點(diǎn)的像方坐標(biāo)和所述像主點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)求解所述共線(xiàn)方程組中的轉(zhuǎn)換系數(shù)； 地理編碼單元，用于根據(jù)計(jì)算得到的所述轉(zhuǎn)換系數(shù)和提取到的所述關(guān)鍵幀中各個(gè)像素點(diǎn)的像方坐標(biāo)計(jì)算各個(gè)所述像素點(diǎn)所對(duì)應(yīng)的經(jīng)瑋度坐標(biāo)。8.根據(jù)權(quán)利要求7所述的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的裝置，其特征在于，所述坐標(biāo)系轉(zhuǎn)換單元包括: 同名點(diǎn)確定子單元，用于根據(jù)尺度不變特征轉(zhuǎn)換算法對(duì)選取的相鄰關(guān)鍵幀進(jìn)行特征提取和特征匹配處理，確定相鄰關(guān)鍵幀中影像重疊區(qū)域的多個(gè)同名點(diǎn)； 誤差點(diǎn)剔除子單元，用于在確定的多個(gè)所述同名點(diǎn)中，根據(jù)隨機(jī)抽樣一致性算法剔除特征匹配過(guò)程中誤差大的同名點(diǎn)； 變換關(guān)系確定子單元，用于根據(jù)剔除后剩余的同名點(diǎn)求解相鄰關(guān)鍵幀之間的變換關(guān)系; 坐標(biāo)系轉(zhuǎn)換子單元，用于根據(jù)所述變換關(guān)系將所述相鄰關(guān)鍵幀中的待坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀轉(zhuǎn)換到已坐標(biāo)系轉(zhuǎn)換的關(guān)鍵幀的坐標(biāo)系下，直到選取的所述關(guān)鍵幀均轉(zhuǎn)換到同一坐標(biāo)系下。9.根據(jù)權(quán)利要求6所述的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的裝置，其特征在于，所述時(shí)間同步模塊包括: 第一時(shí)間同步單元，用于當(dāng)所述地理信息為單頻GPS數(shù)據(jù)時(shí)，解析所述地理信息，獲得GPS時(shí)間信息;將所述GPS時(shí)間信息插入所述現(xiàn)場(chǎng)視頻信息； 第二時(shí)間同步單元，用于當(dāng)所述地理信息為雙頻GPS數(shù)據(jù)時(shí)，通過(guò)三維顯示平臺(tái)接收所述地理信息，并獲取所述三維顯示平臺(tái)的統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息;通過(guò)插值計(jì)算確定所述地理信息中的GPS時(shí)間信息和統(tǒng)一時(shí)標(biāo)系統(tǒng)中的時(shí)間信息的時(shí)間差值，利用所述時(shí)間差值對(duì)所述現(xiàn)場(chǎng)視頻信息進(jìn)行時(shí)間同步。10.根據(jù)權(quán)利要求6-9任一項(xiàng)所述的基于地理編碼的無(wú)人機(jī)視頻影像實(shí)時(shí)顯示的裝置，其特征在于，所述裝置還包括: 坐標(biāo)系轉(zhuǎn)換模塊，用于當(dāng)?shù)乩砭幋a后的關(guān)鍵幀影像與三維顯示平臺(tái)中的高分辨率影像的坐標(biāo)系不一致時(shí)，利用空間坐標(biāo)匹配技術(shù)，對(duì)地理編碼后的所述關(guān)鍵幀與三維顯示平臺(tái)中的高分辨率影像進(jìn)行坐標(biāo)系轉(zhuǎn)換，以使地理編碼后的關(guān)鍵幀影像的坐標(biāo)系統(tǒng)與三維顯示平臺(tái)的坐標(biāo)系統(tǒng)統(tǒng)一至同一坐標(biāo)系下。
【文檔編號(hào)】H04N19/46GK105847750SQ201610228529
【公開(kāi)日】2016年8月10日
【申請(qǐng)日】2016年4月13日
【發(fā)明人】李英成, 劉洪岐, 丁曉波, 耿中元, 王鳳
【申請(qǐng)人】中測(cè)新圖(北京)遙感技術(shù)有限責(zé)任公司