本申請涉及信息處理，特別涉及一種圖像處理及其訓練方法、系統(tǒng)及存儲介質(zhì)和終端設備。

背景技術：

1、在虛擬現(xiàn)實技術的應用中，比如擴展現(xiàn)實(extended?reality，xr)等應用，當用戶穿戴相應設備后，這些穿戴設備可以獲取用戶的手部相關信息，比如手勢信息、實際操作信息、定位信息等，進而根據(jù)手部相關信息進行后續(xù)操作，比如根據(jù)手部相關信息確定對應的虛擬操作信息，并基于虛擬操作信息實現(xiàn)虛擬操作等。在這個過程中，若獲取到的手部相關信息有誤，則基于手部相關信息的虛擬操作也會出現(xiàn)錯誤，從而影響用戶體驗。

2、現(xiàn)有技術中，在獲取手部相關信息時，一般針對一項信息采用一個深度學習模型來獲取，比如采用關鍵點定位模型獲取用戶手部的位置信息，采用手部軌跡預測模型獲取手部軌跡等，這樣若在應用中需要獲取到較多的手部相關信息，則會集成較多的深度學習模型，增加了應用的運算量，從而導致這些硬件設備的成本增加。

技術實現(xiàn)思路

1、本申請實施例提供一種圖像處理方法、系統(tǒng)及存儲介質(zhì)和終端設備，簡化了虛擬應用場景中虛擬操作的過程。

2、本申請實施例一方面提供一種基于虛擬應用的圖像處理方法，包括：

3、獲取包含目標對象的待處理圖像；

4、提取所述待處理圖像的圖像特征信息；

5、根據(jù)所述圖像特征信息獲取所述待處理圖像中目標對象的關鍵點信息；及，根據(jù)所述圖像特征信息獲取所述待處理圖像的分類信息，所述分類信息包括所述待處理圖像屬于目標對象圖像或?qū)儆诒尘皥D像的信息；

6、根據(jù)所述分類信息及關鍵點信息，確定在虛擬應用場景中的虛擬操作，以執(zhí)行所述虛擬操作。

7、本申請實施例另一方面提供一種圖像處理的訓練方法，包括：

8、確定圖像處理初始模型；

9、確定訓練樣本，所述訓練樣本中包括多個樣本圖像，各個樣本圖像中樣本對象的關鍵點標注，及所述各個樣本圖像屬于樣本對象圖像或?qū)儆诒尘皥D像的分類標注；

10、通過所述圖像處理初始模型分別確定所述各個樣本圖像中樣本對象的關鍵點信息及所述樣本圖像屬于樣本對象或背景的分類信息；

11、根據(jù)所述圖像處理初始模型得到的關鍵點信息和分類信息，及所述訓練樣本中的關鍵點標注和分類標注，調(diào)整所述圖像處理初始模型，以訓練得到圖像處理模型，所述圖像處理模型用于獲取待處理圖像的圖像特征信息，根據(jù)所述圖像特征信息分別獲取所述待處理圖像中目標對象的關鍵點信息，及屬于目標對象圖像或?qū)儆诒尘皥D像的分類信息。

12、本申請實施例另一方面提供一種圖像處理系統(tǒng)，包括：

13、待處理獲取單元，用于獲取包含目標對象的待處理圖像；

14、特征提取單元，用于提取所述待處理圖像的圖像特征信息；

15、多任務單元，用于根據(jù)所述圖像特征信息獲取所述待處理圖像中目標對象的關鍵點信息；及，根據(jù)所述圖像特征信息獲取所述待處理圖像的分類信息，所述分類信息包括所述待處理圖像屬于目標對象圖像或?qū)儆诒尘皥D像的信息；

16、虛擬操作單元，用于根據(jù)所述分類信息及關鍵點信息，確定在虛擬應用場景中的虛擬操作，以執(zhí)行所述虛擬操作。

17、本申請實施例另一方面提供一種圖像處理的訓練方法，包括：

18、模型確定單元，用于確定圖像處理初始模型；

19、樣本確定單元，用于確定訓練樣本，所述訓練樣本中包括多個樣本圖像，各個樣本圖像中樣本對象的關鍵點標注，及所述各個樣本圖像屬于樣本對象圖像或?qū)儆诒尘皥D像的分類標注；

20、任務單元，用于通過所述圖像處理初始模型分別確定所述各個樣本圖像中樣本對象的關鍵點信息及所述樣本圖像屬于樣本對象或背景的分類信息；

21、調(diào)整訓練單元，用于根據(jù)所述圖像處理初始模型得到的關鍵點信息和分類信息，及所述訓練樣本中的關鍵點標注和分類標注，調(diào)整所述圖像處理初始模型，以訓練得到圖像處理模型，所述圖像處理模型用于獲取待處理圖像的圖像特征信息，根據(jù)所述圖像特征信息分別獲取所述待處理圖像中目標對象的關鍵點信息，及屬于目標對象圖像或?qū)儆诒尘皥D像的分類信息。

22、本申請實施例另一方面還提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)儲存多個計算機程序，所述計算機程序適于由處理器加載并執(zhí)行如本申請實施例一方面提供的基于虛擬應用的圖像處理方法，或如本申請實施例另一方面提供的圖像處理的訓練方法。

23、本申請實施例另一方面還提供一種終端設備，包括處理器和存儲器；

24、所述存儲器用于儲存多個計算機程序，所述計算機程序用于由處理器加載并執(zhí)行如本申請實施例一方面提供的基于虛擬應用的圖像處理方法，或如本申請實施例另一方面提供的圖像處理的訓練方法；所述處理器，用于實現(xiàn)所述多個計算機程序中的各個計算機程序。

25、可見，在本實施例的方法中，圖像處理系統(tǒng)會獲取到待處理圖像的圖像特征信息，進而基于該圖像特征信息可以獲取到待處理圖像中目標對象的關鍵點信息，也可以獲取到待處理圖像屬于目標對象圖像或?qū)儆诒尘皥D像的分類信息，進而根據(jù)關鍵點信息和分類信息在虛擬應用場景中進行相應的虛擬操作。這樣，由于虛擬應用場景中的虛擬操作是基于目標對象的相關信息來確定的，需要基于目標對象進行多個任務處理，比如獲取分類信息和獲取關鍵點信息等，這些任務處理共用待處理圖像的圖像特征信息，不需要每個任務處理都獲取相應的特征信息，使得獲取目標對象的相關信息的過程得到簡化，進而簡化了虛擬應用場景中虛擬操作的過程，提升了虛擬操作的效率。

技術特征：

1.一種虛擬應用的圖像處理方法，其特征在于，包括：

2.如權利要求1所述的方法，其特征在于，所述獲取包含目標對象的待處理圖像，具體包括：

3.如權利要求2所述的方法，其特征在于，所述方法還包括：

4.如權利要求1至3任一項所述的方法，其特征在于，所述提取所述待處理圖像的圖像特征信息，具體包括：

5.如權利要求1至3任一項所述的方法，其特征在于，所述根據(jù)所述圖像特征信息獲取所述待處理圖像中目標對象的關鍵點信息，具體包括：

6.如權利要求1至3任一項所述的方法，其特征在于，所述根據(jù)所述圖像特征信息獲取所述待處理圖像的分類信息，具體包括：

7.如權利要求6任一項所述的方法，其特征在于，所述根據(jù)所述第二全局特征獲取所述待處理圖像的分類信息，具體包括：

8.如權利要求1至3任一項所述的方法，其特征在于，所述方法還包括：

9.如權利要求8所述的方法，其特征在于，所述方法還包括：

10.如權利要求9所述的方法，其特征在于，所述根據(jù)所述圖像處理初始模型得到的關鍵點信息和分類信息，及所述訓練樣本中的關鍵點標注和分類標注，調(diào)整所述圖像處理初始模型，具體包括：

11.如權利要求10所述的方法，其特征在于，所述計算與所述圖像處理初始模型獲取所述關鍵點信息相關的第一損失函數(shù)，具體包括：

12.一種圖像處理的訓練方法，其特征在于，包括：

13.一種圖像處理系統(tǒng)，其特征在于，包括：

14.一種圖像處理的訓練系統(tǒng)，其特征在于，包括：

15.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)儲存多個計算機程序，所述計算機程序適于由處理器加載并執(zhí)行如權利要求1至11任一項所述的基于虛擬應用的圖像處理方法，或執(zhí)行如權利要求12所述的圖像處理的訓練方法。

16.一種終端設備，其特征在于，包括處理器和存儲器；

技術總結(jié)
本申請實施例公開了一種圖像處理及其訓練方法、系統(tǒng)及存儲介質(zhì)和終端設備，應用于信息處理技術領域。圖像處理系統(tǒng)會獲取到待處理圖像的圖像特征信息，進而基于該圖像特征信息可以獲取到待處理圖像中目標對象的關鍵點信息，也可以獲取到待處理圖像屬于目標對象圖像或?qū)儆诒尘皥D像的分類信息，進而根據(jù)關鍵點信息和分類信息在虛擬應用場景中進行相應的虛擬操作。這樣，虛擬應用場景中需要基于目標對象進行多個任務處理，這些任務處理共用待處理圖像的圖像特征信息，不需要每個任務處理都獲取相應的特征信息，使得獲取目標對象的相關信息的過程得到簡化，進而簡化了虛擬應用場景中虛擬操作的過程，提升了虛擬操作的效率。

技術研發(fā)人員：沙宇洋,鄭中陽
受保護的技術使用者：騰訊科技（深圳）有限公司
技術研發(fā)日：
技術公布日：2024/10/21