本技術(shù)屬于增材再制造，尤其涉及一種基于深度學(xué)習(xí)的再制造毛坯的三維模型重建方法。

背景技術(shù)：

1、再制造是通過高新技術(shù)進(jìn)行再制造毛坯修復(fù)使其性能恢復(fù)甚至超過新品零件性能的一種方法，是實(shí)現(xiàn)碳達(dá)峰、碳中和的有效途徑之一。國務(wù)院印發(fā)的《2030年前碳達(dá)峰行動(dòng)方案》中明確提出循環(huán)經(jīng)濟(jì)助力降碳行動(dòng)，健全資源循環(huán)利用體系，加強(qiáng)再制造產(chǎn)品推廣應(yīng)用。工業(yè)信息化部在《工業(yè)綠色發(fā)展規(guī)劃》中也明確提出深入實(shí)施綠色制造，推進(jìn)再生資源高值化循環(huán)利用，積極推廣再制造產(chǎn)品，大力發(fā)展高端再制造、智能再制造，推動(dòng)廢鋼鐵、廢有色金屬、廢塑料、廢棄電子產(chǎn)品等再生資源循環(huán)利用。

2、增材再制造主要包括受損毛坯的再制造性評(píng)估、破損區(qū)域處理、再制造毛坯三維數(shù)字化模型構(gòu)建、破損區(qū)域模型獲取、增材再制造等多個(gè)步驟，其中，再制造毛坯的三維模型構(gòu)建是整個(gè)增材再制造流程中的關(guān)鍵環(huán)節(jié)。再制造毛坯具有破損區(qū)域形狀復(fù)雜，難以測(cè)量的特點(diǎn)?；趫D像的再制造毛坯三維重建具有低成本、高效率等優(yōu)勢(shì)，但是重建精度和重建效率還有進(jìn)一步提升空間。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)的目的在于提供一種基于深度學(xué)習(xí)的再制造毛坯的三維模型重建方法，通過對(duì)再制造毛坯的圖像采集方式與三維重建方法進(jìn)行改進(jìn)，實(shí)現(xiàn)再制造毛坯三維重建精度與重建效率的提升。

2、本技術(shù)提供了一種基于深度學(xué)習(xí)的再制造毛坯的三維模型重建方法，其特征在于，所述三維模型重建方法，包括：

3、s1、根據(jù)預(yù)先設(shè)定的采集參數(shù)，采集再制造毛坯的圖像；其中，所述采集參數(shù)包括：圖像質(zhì)量、圖像數(shù)量、拍攝距離以及視角數(shù)量；

4、s2、基于所述圖像，生成所述再制造毛坯的稀疏點(diǎn)云數(shù)據(jù)；

5、s3、針對(duì)每一張所述圖像，提取所述再制造毛坯的特征，得到不同尺寸的所述再制造毛坯的特征圖像；

6、s4、基于所述稀疏點(diǎn)云數(shù)據(jù)和特征圖像，生成特征增強(qiáng)點(diǎn)云數(shù)據(jù)，并利用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)所述特征增強(qiáng)點(diǎn)云數(shù)據(jù)進(jìn)行優(yōu)化，以得到最優(yōu)的所述特征增強(qiáng)點(diǎn)云數(shù)據(jù)；

7、s5、基于最優(yōu)的所述特征增強(qiáng)點(diǎn)云數(shù)據(jù)，生成所述再制造毛坯的三維模型。

8、進(jìn)一步的，所述基于所述稀疏點(diǎn)云數(shù)據(jù)和特征圖像，生成特征增強(qiáng)點(diǎn)云數(shù)據(jù)，并利用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)所述特征增強(qiáng)點(diǎn)云數(shù)據(jù)進(jìn)行優(yōu)化，以得到最優(yōu)的所述特征增強(qiáng)點(diǎn)云數(shù)據(jù)，包括：

9、s4a、基于所述稀疏點(diǎn)云數(shù)據(jù)，利用特定尺寸的所述特征圖像，進(jìn)行粗糙深度預(yù)測(cè)，生成初始深度圖；

10、s4b、基于所述初始深度圖，提取出三維坐標(biāo)點(diǎn)，并生成所述三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)以及所述假設(shè)點(diǎn)對(duì)應(yīng)的概率標(biāo)量；

11、s4c、針對(duì)每一個(gè)所述假設(shè)點(diǎn)，從所述特征圖像中提取出所述假設(shè)點(diǎn)的二維特征，以生成所述特征增強(qiáng)點(diǎn)云數(shù)據(jù)；

12、s4d、基于所述概率標(biāo)量和特征增強(qiáng)點(diǎn)云數(shù)據(jù)，生成深度殘差圖；

13、s4e、使用所述深度殘差圖對(duì)所述初始深度圖進(jìn)行優(yōu)化，并重復(fù)步驟s4b-s4e，直至滿足優(yōu)化條件，生成最優(yōu)的所述初始深度圖，以得到最優(yōu)的所述特征增強(qiáng)點(diǎn)云數(shù)據(jù)。

14、進(jìn)一步的，所述基于所述初始深度圖，提取出三維坐標(biāo)點(diǎn)，并生成所述三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)以及所述假設(shè)點(diǎn)對(duì)應(yīng)的概率標(biāo)量，包括：

15、s4b1、基于所述初始深度圖，通過非投影的方式生成空間點(diǎn)云數(shù)據(jù)，并提取所述空間點(diǎn)云數(shù)據(jù)中的三維坐標(biāo)點(diǎn)；

16、s4b2、從特定尺寸的所述特征圖像中，識(shí)別出所述三維坐標(biāo)點(diǎn)以及所述三維坐標(biāo)點(diǎn)的至少一個(gè)鄰近點(diǎn)；

17、s4b3、將所述三維坐標(biāo)點(diǎn)分別與所述鄰近點(diǎn)進(jìn)行邊緣卷積操作，得到所述三維坐標(biāo)點(diǎn)的至少一個(gè)局部結(jié)構(gòu)信息；

18、s4b4、將所述局部結(jié)構(gòu)信息進(jìn)行結(jié)合，得到所述三維坐標(biāo)點(diǎn)的局部結(jié)構(gòu)特征；

19、s4b5、利用假設(shè)點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)對(duì)所述三維坐標(biāo)點(diǎn)的局部結(jié)構(gòu)特征進(jìn)行轉(zhuǎn)換，得到所述三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)以及所述假設(shè)點(diǎn)對(duì)應(yīng)的概率標(biāo)量。

20、進(jìn)一步的，所述假設(shè)點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)通過以下方式預(yù)先得到：

21、采集試驗(yàn)毛坯的圖像，以得到所述試驗(yàn)毛坯的初始深度圖和特征圖像；

22、基于所述試驗(yàn)毛坯的初始深度圖，通過非投影的方式生成所述試驗(yàn)毛坯的空間點(diǎn)云數(shù)據(jù)，并提取所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)；

23、針對(duì)每一個(gè)所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)，基于所述試驗(yàn)毛坯的特征圖像，生成所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)；

24、根據(jù)所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)和三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)，生成所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)的局部結(jié)構(gòu)特征；

25、將所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)的局部結(jié)構(gòu)特征作為輸入層，將所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)作為輸出層，對(duì)多層共享感知器進(jìn)行訓(xùn)練，以生成三維坐標(biāo)點(diǎn)的局部結(jié)構(gòu)特征和三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)具有映射關(guān)系的所述假設(shè)點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)。

26、進(jìn)一步的，所述針對(duì)每一個(gè)所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)，基于所述試驗(yàn)毛坯的特征圖像，生成所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)，包括：

27、將特定尺寸的所述試驗(yàn)毛坯的特征圖像投影到屬性空間，得到所述試驗(yàn)毛坯的特征投影圖像；

28、針對(duì)每一個(gè)所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)，基于所述試驗(yàn)毛坯的特征投影圖像，判斷所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)的位移深度；

29、沿著采集設(shè)備方向生成多個(gè)具有位移深度特征的所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)；其中，所述試驗(yàn)毛坯的假設(shè)點(diǎn)與所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)的深度方向相同。

30、進(jìn)一步的，所述根據(jù)所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)和三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)，生成所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)的局部結(jié)構(gòu)特征，包括：

31、在每一個(gè)所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)與所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)之間構(gòu)造有向邊；

32、將所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)分別與所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)對(duì)應(yīng)的假設(shè)點(diǎn)進(jìn)行邊緣卷積操作，以生成所述試驗(yàn)毛坯的三維坐標(biāo)點(diǎn)的局部結(jié)構(gòu)特征。

33、進(jìn)一步的，所述針對(duì)每一個(gè)所述假設(shè)點(diǎn)，從所述特征圖像中提取出所述假設(shè)點(diǎn)的二維特征，以生成所述特征增強(qiáng)點(diǎn)云數(shù)據(jù)，包括：

34、s4c1：針對(duì)每一個(gè)所述假設(shè)點(diǎn)，將從相同尺寸的特征圖像中識(shí)別出的所述假設(shè)點(diǎn)的二維特征進(jìn)行方差計(jì)算，得到不同尺寸的所述假設(shè)點(diǎn)的二維方差特征；

35、s4c2：針對(duì)每一個(gè)所述假設(shè)點(diǎn)，將不同尺寸的所述二維方差特征進(jìn)行融合，得到所述假設(shè)點(diǎn)的二維特征；

36、s4c3：將所述二維特征和所述假設(shè)點(diǎn)的空間位置特征進(jìn)行結(jié)合，生成特征增強(qiáng)點(diǎn)云數(shù)據(jù)。

37、進(jìn)一步的，所述基于所述概率標(biāo)量和特征增強(qiáng)點(diǎn)云數(shù)據(jù)，生成深度殘差圖，包括：

38、針對(duì)每一個(gè)所述假設(shè)點(diǎn)，識(shí)別出所述假設(shè)點(diǎn)的位移深度特征，得到所述假設(shè)點(diǎn)的深度位移量，并計(jì)算所述深度位移量和所述概率標(biāo)量的乘積，得到所述假設(shè)點(diǎn)的偏移深度；

39、將每個(gè)所述假設(shè)點(diǎn)的偏移深度進(jìn)行加權(quán)求和計(jì)算，得到所述三維坐標(biāo)點(diǎn)的位移；

40、將所述三維坐標(biāo)點(diǎn)的位移投影到所述初始深度圖上，得到深度殘差圖。

41、進(jìn)一步的，通過以下方式確定預(yù)先設(shè)定的所述采集參數(shù)：

42、基于所述采集參數(shù)，利用正交試驗(yàn)方法，構(gòu)建4因素3水平的正交表；

43、基于所述正交表，選取9組因素與水平的組合進(jìn)行采集參數(shù)的設(shè)定，以采集試驗(yàn)毛坯的圖像，并進(jìn)行三維模型重建試驗(yàn)，以得到試驗(yàn)結(jié)果；

44、基于所述試驗(yàn)結(jié)果，選取3個(gè)評(píng)價(jià)指標(biāo)，對(duì)9組所述三維模型重建試驗(yàn)進(jìn)行評(píng)價(jià)，以得到評(píng)價(jià)結(jié)果；

45、將最優(yōu)的所述評(píng)價(jià)結(jié)果對(duì)應(yīng)的因素與水平的組合確定為預(yù)先設(shè)定的采集參數(shù)。

46、本技術(shù)提供的基于深度學(xué)習(xí)的再制造毛坯的三維模型重建方法，通過對(duì)再制造毛坯的圖像采集方式與三維重建方法進(jìn)行改進(jìn)，實(shí)現(xiàn)再制造毛坯三維重建精度與重建效率的提升。