一種工作范圍可調(diào)的三維深度感知方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本公開設(shè)及屬于圖像處理、自然交互和集成電路技術(shù)領(lǐng)域，具體設(shè)及一種工作范 圍可調(diào)的=維深度感知方法及裝置。
【背景技術(shù)】
[0002] 自然和諧的人機(jī)交互方式是人類對(duì)操控機(jī)器的理想目標(biāo)，使機(jī)器能讀懂人在自然 狀態(tài)所傳遞的命令，其中，深度感知技術(shù)是人機(jī)自然交互的核屯、技術(shù)，在機(jī)器視覺、智能監(jiān) 控、=維重建、體感交互、3D打印、無人機(jī)等領(lǐng)域有著廣泛的應(yīng)用前景?；诮Y(jié)構(gòu)光的主動(dòng) 視覺模式可W較為準(zhǔn)確地獲取圖像的深度信息，比如通過紅外激光投射固定模式的圖像到 物體表面進(jìn)行編碼，由圖像傳感器采集獲得紅外編碼圖像，再通過深度感知計(jì)算獲得物體 的深度信息；所生成的深度信息可用于=維圖像的實(shí)時(shí)識(shí)別及動(dòng)作捕捉，使人能W表情、手 勢(shì)、體感動(dòng)作等自然方式與終端進(jìn)行交互成為可能。相比ToF(TimeofFli曲t)，基于結(jié)構(gòu) 光編碼的=維深度感知技術(shù)在成本、性能方面具備一定的優(yōu)勢(shì)。
[0003] 現(xiàn)有的S維深度感知設(shè)備，如微軟Kinect-代（基于PrimeSense結(jié)構(gòu)光模組） 和二代（基于ToF模組）其工作范圍為0. 6~5米左右，主要用于一定距離的體感動(dòng)作識(shí) 另IJ，比如家庭娛樂；英特爾RealSense3D深度攝像頭工作范圍約0. 2~2米左右，可用于近 距離手勢(shì)動(dòng)作和人臉表情識(shí)別?，F(xiàn)有的運(yùn)些=維深度感知裝置無法實(shí)現(xiàn)工作范圍可調(diào)，比 如采用同一套裝置可W用于近距離手勢(shì)或人臉識(shí)別，也可W用于幾米開外體感動(dòng)作識(shí)別， 或用于更遠(yuǎn)距離（比如10米開外）的行人跟蹤與識(shí)別。

【發(fā)明內(nèi)容】

[0004] 鑒于此，本發(fā)明提供了一種工作范圍可調(diào)的=維深度感知方法及裝置，由外部設(shè) 定或自適應(yīng)調(diào)整方式設(shè)置工作范圍模式，調(diào)節(jié)激光圖形投射器驅(qū)動(dòng)電路的驅(qū)動(dòng)電流和輸出 功率、調(diào)節(jié)接收攝像頭焦距和基線距離，再由深度感知模塊調(diào)整圖像預(yù)處理的控制參數(shù)，從 存儲(chǔ)器已固化的多組參考編碼圖像中選擇輸出與工作范圍模式相符的一組參考編碼圖像， 對(duì)輸入編碼圖像序列進(jìn)行塊匹配視差計(jì)算和深度計(jì)算，輸出深度圖序列?；谒龇椒ㄔO(shè) 計(jì)的裝置可實(shí)現(xiàn)同一套=維深度感知裝置在不同工作距離范圍下都能獲取高分辨率、高精 度的深度信息。 陽(yáng)〇化]為實(shí)現(xiàn)W上發(fā)明目的，一種工作范圍可調(diào)的=維深度感知方法，所述方法應(yīng)用于 =維深度感知裝置，所述裝置包括激光投射器驅(qū)動(dòng)電路、激光投射器、接收攝像頭、深度感 知模塊、控制模塊和存儲(chǔ)器；
[0006] 通過在所述裝置上部署控制模塊來設(shè)置或重新設(shè)置裝置的工作范圍模式；所述工 作范圍模式的參數(shù)通過在裝置中設(shè)置寄存器來存儲(chǔ)；
[0007] 所述控制模塊根據(jù)預(yù)設(shè)的或重新設(shè)定的工作范圍模式的參數(shù)向激光圖形投射器 驅(qū)動(dòng)電路、接收攝像頭和深度感知模塊分別發(fā)送控制命令；
[0008] 對(duì)激光圖形投射器驅(qū)動(dòng)電路發(fā)送的控制命令用于調(diào)節(jié)激光圖形投射器驅(qū)動(dòng)電路 的驅(qū)動(dòng)電流和輸出功率，通過激光圖形投射器將編碼圖案投向目標(biāo)物體或空間，所述目標(biāo) 物體或空間處于工作范圍模式的參數(shù)所對(duì)應(yīng)的工作范圍內(nèi)；
[0009] 對(duì)接收攝像頭發(fā)送的控制命令用于調(diào)節(jié)接收攝像頭焦距和基線距離，按一定的帖 頻采集激光圖形投射器產(chǎn)生的編碼圖像W生成輸入編碼圖像序列，并送入深度感知模塊； 所述接收攝像頭用于接收激光圖形投射器所投射的、特定波長(zhǎng)范圍的編碼圖案，其包括一 種圖像傳感裝置，包含光學(xué)聚焦成像透鏡單元和濾波單元；所述基線距離是指激光圖形投 射器與接收攝像頭之間的水平距離，兩者的中屯、光軸平行；
[0010] 對(duì)深度感知模塊發(fā)送的控制命令用于調(diào)整圖像預(yù)處理的控制參數(shù)，使輸入編碼圖 像序列經(jīng)預(yù)處理后實(shí)現(xiàn)一致性處理；并用于從存儲(chǔ)器已固化的多組參考編碼圖像中選擇輸 出與工作范圍模式相符的一組參考編碼圖像，對(duì)經(jīng)預(yù)處理后的輸入編碼圖像序列進(jìn)行塊匹 配視差計(jì)算和深度計(jì)算，輸出深度圖序列；
[0011] 所述多組參考編碼圖像是指配合不同的工作范圍模式，其中：每個(gè)參考編碼圖像 是投射在與投射器光軸垂直、不同距離的垂直平面上、并被預(yù)先采集，且經(jīng)過與所述輸入編 碼圖像相同的圖像預(yù)處理的編碼圖像，其作為標(biāo)準(zhǔn)參考編碼圖像預(yù)先固化在存儲(chǔ)器中；每 個(gè)工作范圍模式的參數(shù)Mi對(duì)應(yīng)一組距離di的參考編碼圖像，一組參考編碼圖像可W是一幅 或多幅圖像組成，其中i表示第i組；
[0012] 所述塊匹配視差計(jì)算通過將圖像預(yù)處理后的輸入編碼圖像序列中各輸入編碼圖 像與參考編碼圖像進(jìn)行塊匹配相似度比較，求取輸入編碼圖像中圖像塊與最優(yōu)匹配塊之間 的位移量；
[0013] 所述深度計(jì)算，假設(shè)接收攝像頭焦距f、接收攝像頭圖像傳感器點(diǎn)距y、激光圖形 投射器與接收攝像頭的基線距離S、塊匹配視差計(jì)算得到位移量為Am,所述Am為Ax或 Ay，參考編碼圖像對(duì)應(yīng)的已知距離山，則通過下述深度計(jì)算的公式，得到對(duì)應(yīng)的深度值dl:
[0014]
[0015] 基于上述方法設(shè)計(jì)的一種工作范圍可調(diào)的=維深度感知裝置，所述裝置包括激 光圖形投射器驅(qū)動(dòng)電路、激光圖形投射器、接收攝像頭、深度感知模塊、控制模塊W及存儲(chǔ) 器；
[0016] 所述控制模塊用于設(shè)置或重新設(shè)置裝置的工作范圍模式；所述工作范圍模式的參 數(shù)通過在原裝置中設(shè)置一個(gè)寄存器來存儲(chǔ)；
[0017] 所述控制模塊根據(jù)設(shè)定的或重新設(shè)定的工作距離范圍向激光圖形投射器驅(qū)動(dòng)電 路、接收攝像頭和深度感知模塊分別發(fā)送控制命令；
[0018] 對(duì)激光圖形投射器驅(qū)動(dòng)電路發(fā)送的控制命令用于調(diào)節(jié)激光圖形投射器驅(qū)動(dòng)電路 的驅(qū)動(dòng)電流和輸出功率，通過激光圖形投射器將編碼圖案投向設(shè)定的工作范圍內(nèi)的目標(biāo)物 體或空間；
[0019] 對(duì)接收攝像頭發(fā)送的控制命令用于調(diào)節(jié)接收攝像頭焦距和基線距離，按一定的帖 頻采集激光圖形投射器產(chǎn)生的編碼圖像生成輸入編碼圖像序列，并送入深度感知模塊；所 述接收攝像頭用于接收激光圖形投射器所投射的、特定波長(zhǎng)范圍的編碼圖案，其包括一種 圖像傳感裝置，包含光學(xué)聚焦成像透鏡單元和濾波單元；所述基線距離是指激光圖形投射 器與接收攝像頭之間的水平距離，兩者的中屯、光軸平行；
[0020] 對(duì)深度感知模塊發(fā)送的控制命令用于調(diào)整圖像預(yù)處理的控制參數(shù)，使輸入編碼圖 像序列經(jīng)預(yù)處理后實(shí)現(xiàn)一致性處理；并用于從存儲(chǔ)器已固化的多組參考編碼圖像中選擇輸 出與工作范圍模式相符的一組參考編碼圖像，對(duì)經(jīng)預(yù)處理后的輸入編碼圖像序列進(jìn)行塊匹 配視差計(jì)算和深度計(jì)算，輸出深度圖序列；
[0021] 所述多組參考編碼圖像是指配合不同的工作范圍模式，投射在與投射器光軸垂 直、不同距離的垂直平面上采集得到，且經(jīng)過與輸入編碼圖像相同的圖像預(yù)處理的編碼圖 像，其作為標(biāo)準(zhǔn)參考編碼圖像預(yù)先固化在存儲(chǔ)器中；工作范圍模式Mi對(duì)應(yīng)一組相同距離di 的參考編碼圖像，一組參考編碼圖像可W是一幅或多幅圖像組成；
[0022] 所述塊匹配視差計(jì)算通過將圖像預(yù)處理后的輸入編碼圖像序列中各輸入編碼圖 像與參考編碼圖像進(jìn)行塊匹配相識(shí)度比較，求取輸入編碼圖像中圖像塊與最優(yōu)匹配塊之間 的位移量，即視差值；
[0023] 所述深度計(jì)算，假設(shè)接收攝像頭焦距f、接收攝像頭圖像傳感器點(diǎn)距y、激光圖形 投射器與接收攝像頭的基線距離S、塊匹配視差計(jì)算得到的視差圖的偏移量為Am,所述 Am為Ax或Ay,參考編碼圖像的已知距離參數(shù)di，則通過下述深度計(jì)算的公式，能夠得到 對(duì)應(yīng)的深度值山：
[0024]
[0025] 本發(fā)明通過所述方法通過調(diào)節(jié)激光圖形投射器驅(qū)動(dòng)電路的驅(qū)動(dòng)電流，調(diào)節(jié)接收攝 像頭焦距f、激光圖形投射器與接收攝像頭的基線距離S，調(diào)整圖像預(yù)處理的控制參數(shù)，結(jié) 合多組已知距離的參考編碼圖像，可實(shí)現(xiàn)在不同目標(biāo)距離內(nèi)能生成高分辨率、高精度的深 度信息，方便利用圖像處理技術(shù)獲取深度信息進(jìn)行=維圖像的識(shí)別及動(dòng)作捕捉?；谒?方法實(shí)現(xiàn)的裝置，通過用硬件完成方法的功能實(shí)現(xiàn)，將有助于優(yōu)化和實(shí)時(shí)實(shí)現(xiàn)所述的深度 感知計(jì)算方法，并使其適合不同的工作范圍。
【附圖說明】
[0026] 圖1是本發(fā)明實(shí)施例的工作范圍可調(diào)的S維深度感知裝置結(jié)構(gòu)示意圖；
[0027] 圖2是本發(fā)明實(shí)施例的工作范圍自適應(yīng)調(diào)整方式示意圖；
[002引圖3是本發(fā)明實(shí)施例的深度感知模塊根據(jù)工作范圍模式的工作流程圖。