本發(fā)明涉及計算機視覺測量，具體涉及一種基于多階段深度學習的反光物體表面結構光的三維重建方法。

背景技術：

1、在現代工業(yè)與科學研究中，三維重建技術已成為一項關鍵工具，廣泛應用于制造、檢測、醫(yī)療和文化遺產保護等領域。基于結構光的三維重建技術因其高精度和高效性，已成為測量復雜物體表面的重要方法。然而，當目標物體表面具有高反光特性時，傳統(tǒng)的結構光三維重建方法往往面臨巨大挑戰(zhàn)。近年來，隨著深度學習技術的發(fā)展，研究人員開始探索將深度學習應用于反光物體表面的三維重建中。特別是生成對抗網絡(gan)和卷積神經網絡(cnn)的引入，為三維重建技術提供了新的思路。

2、傳統(tǒng)的結構光三維重建方法通常包括以下幾個步驟：首先，使用投影儀將條紋圖案投射到物體表面，然后利用相機捕捉經過物體表面調制后的條紋圖像。通過分析這些圖像中條紋的變形情況，可以計算出物體表面的三維形狀。然而，反光物體表面會引起強烈的鏡面反射，導致條紋圖案在圖像中出現高光斑點和條紋失真，從而影響相位的準確獲取。這種現象被稱為高光干擾，是目前結構光三維重建技術中難以解決的一個問題。針對高光干擾問題，研究人員提出了多種解決方案。一種常見的方法是通過表面預處理來減少反光，例如噴涂消光材料或使用消光噴霧。然而，這些方法往往會破壞物體的表面特性，不適用于某些敏感物體或需要保持表面完整性的測量場景。另一種方法是利用多角度多視圖技術，通過從不同角度拍攝多個圖像，并在后期進行數據融合，來減少反光對相位計算的影響。然而，這種方法增加了系統(tǒng)的復雜性和成本，同時多視圖融合過程中的數據匹配與校準也是一個技術難點。此外，基于偏振光的技術也被應用于減弱高光干擾。通過在投影和拍攝過程中使用偏振光，可以有效濾除一定角度的反射光。然而，偏振光方法對光照條件的要求較高，并且在某些復雜曲面上仍然難以完全消除高光干擾。pix2pix網絡作為一種條件生成對抗網絡，已被廣泛應用于圖像到圖像的轉換任務中，但其在處理反光物體表面時仍存在改進空間。dc-unet網絡結構作為一種結合了unet和深度卷積網絡優(yōu)勢的模型，展示了在三維重建中的潛力。

技術實現思路

1、為解決上述問題，本發(fā)明提供一種基于多階段深度學習的反光物體表面結構光的三維重建方法，用于提升光反射物體三維重建的精度，解決現代制造業(yè)在視覺測量中遇到的難題。

2、為實現上述目的，本發(fā)明具體技術方案如下：

3、s1、搭建結構光三維測量系統(tǒng)，獲取物體表面調制后的條紋圖像，所述系統(tǒng)包括：投影設備、被測物體、計算機和相機；具體包括以下步驟：

4、s1.1、使用計算機生成結構光編碼圖案；

5、s1.2、通過投影設備將其投影到被測物體表面；

6、s1.3、由相機對被測物體進行拍攝，獲取經該物體表面調制后的形變條紋圖像；

7、s1.4、通過s1.3獲取的條紋圖像，并將這些圖像傳輸到計算機，通過提取相位信息來獲得物體表面的高度數據。

8、s2、基于步驟s1，在相機與投影儀前安裝偏振鏡片來采集高光圖像和無高光圖像數作為數據集；具體操作為：通過旋轉相機鏡頭前的偏振鏡片角度，同時在計算機中查看相機采集的圖像；當高光從畫面中消失時，停止旋轉偏振鏡片，可以獲得沒有高光的圖像；將偏振鏡片繼續(xù)旋轉90度，即可獲得含有高光的圖像。

9、s3、基于步驟s2，采集n組數據集，隨機選取2n/3組作為訓練集，n/6組作為測試集，用來訓練網絡模型，其余n/6組用于驗證訓練后的網絡模型；所述的數據集是由n組高光條紋圖像與其對應的無高光條紋圖像在寬度方向拼接為一幅圖像組成的，這樣才能正確的將圖像輸入給改進后的pix2pix網絡進行訓練。

10、s4、通過在改進后的pix2pix網絡中引入位置感知損失和均方誤差損失，獲取去高光網絡圖像；其具體步驟如下：

11、s4.1初始化網絡的各項參數；

12、s4.2將數據集傳入改進后的pix2pix中進行訓練；

13、s4.3生成器訓練兩個映射函數；

14、s4.4計算網絡中的局部損失、全局損失；

15、s4.5反饋訓練，循環(huán)更新判別器；

16、本發(fā)明在原pix2pix網絡的生成器損失函數基礎上，引入了位置感知損失和均方誤差損失，以實現像素到像素的精細映射，從而增強了預測無高光圖的能力；引入的感知損失函數用來描述預測圖像與目標圖像之間的不同點，以確保它們在內容和全局結構上的一致性；

17、所述的改進后的pix2pix網絡是在原pix2pix的基礎上將生成器部分中的u-net替換成dc-unet，dc-unet依托于u-net的基礎結構，但配備了u-net沒有的殘差學習機制和深度可分離卷積。在dc-unet網絡結構中，殘差學習機制和深度可分離卷積通常被應用于dcblock和res?path模塊。

18、dc?block是dc-unet的核心組件，它由兩個分支組成。每個分支包含三個卷積層，卷積核大小分別為3×3、5×5和7×7。這些卷積層的輸出被連接起來，然后通過批歸一化層進行歸一化。然后，將兩個分支的輸出相加，并通過relu激活函數進行激活。最后，再次進行批歸一化。

19、res?path是dc-unet中的另一個重要組件，它由多個殘差塊組成。每個殘差塊由兩個卷積層組成，卷積核大小為3×3。殘差塊的輸出與輸入進行相加，并通過relu激活函數進行激活。然后再次進行批歸一化?？梢酝ㄟ^指定殘差塊的長度來控制殘差塊的數量。模型的結構由一系列的dc?block和res?path模塊組成，其中dc?block用于下采樣路徑，res?path用于上采樣路徑。在下采樣路徑中，通過最大池化層進行降采樣，然后通過dc?block進行特征提取。在上采樣路徑中，通過轉置卷積層進行上采樣，并將其與對應的下采樣路徑的輸出進行連接，然后再次通過dc?block進行特征提取。

20、s5、通過在dc-unet網絡中引入全局引導路徑，構建條紋圖像3d形狀重建模型；本發(fā)明所采用的改進型dc-unet網絡模型由編碼器、解碼器以及全局引導路徑三部分組成，整個架構涵蓋了三個核心組件：dc?block、res?path以及third模塊。

21、每一級編碼過程都與一個解碼過程相對應，其中編碼路徑由卷積層和池操作層組合而成。編碼過程中卷積層主要用于提取圖像中的局部特征，池操作層則負責對圖像進行下采樣并傳遞特征到下一級。

22、相對應地，解碼路徑則將經過下采樣的特征圖進行上采樣處理，隨后通過卷積層細化物體的邊緣及形狀，彌補由于池化操作造成的細節(jié)喪失。

23、在此結構基礎上，本發(fā)明增加了一個全局引導路徑，其目的是通過解碼路徑捕捉到的額外圖像信息，進一步提高形狀重建的準確性。

24、全局引導路徑整合了五個獨特的third模塊，這些模塊采用1×1的卷積和具有單一通道深度的轉置卷積來調整感知域的范圍至最小，同時將圖像分辨率恢復至與輸入相同，最后通過一個線性激活的1×1卷積輸出。

25、s6、將s3中數據集圖像輸入給步驟s4去高光網絡模型進行訓練得到的無高光圖像；

26、s7、將步驟s6得到的無高光圖像輸入步驟s5條紋圖像3d形狀重建模型進行訓練，實現對反光物體的三維形狀重建。

27、本發(fā)明的有益效果

28、1、本發(fā)明用于消除光柵條紋圖像中的鏡面反射分量，并準確地重建單幅條紋圖的三維形狀。

29、2、改進后的pix2pix網絡，可高效的估算流程預測出無高光條紋圖像；經過優(yōu)化設計的dc-unet網絡，實現物體表面高光部分的有效去除，并精確獲得其三維形態(tài)，本發(fā)明可有效消除高光影響，避免它在三維成像中引起的測量誤差。

30、3、對pix2pix網絡的生成器模型進行了精細設計，在其對抗性損失函數中引入了位置感知損失及均方誤差損失，確保像素級的準確映射并優(yōu)化無高光圖的生成。

31、4、在dc-unet的網絡結構上融入了全局引導路徑，通過充分利用解碼器路徑中提煉出的圖像額外信息，提升了形狀重建的精度。

32、5、本發(fā)明省去了多攝像頭圖像采集的需求，對強烈反光或顏色信息缺失的情況下依舊表現出色，所重構的三維圖像具有極佳的表面平滑度，且反射導致的條紋投影法相位測量偏差被有效糾正，同時保持了原有的高測量精度。