本申請涉及圖像處理，為一種舞蹈圖像處理方法，具體為一種舞蹈編排中圖像處理方法及裝置。

背景技術(shù)：

1、舞蹈是一種以人的身體動作為主要表現(xiàn)形式的藝術(shù)，舞蹈動優(yōu)化作研究是在專業(yè)領(lǐng)域?qū)幼鞯牧鲿承?、?guī)范性、藝術(shù)性的分析評價(jià)，衡量層次更深、更具專業(yè)性質(zhì)。隨著科技的發(fā)展，舞蹈傳承者使用視頻來記錄原舞蹈動作，訓(xùn)練者根據(jù)舞蹈視頻進(jìn)行學(xué)習(xí)和訓(xùn)練。但在根據(jù)視頻進(jìn)行練習(xí)的過程中，不能對舞蹈動作進(jìn)行全面觀察，且訓(xùn)練者依據(jù)視頻練習(xí)過程中，缺少反饋信息，訓(xùn)練者無法對自己動作水平擁有明確的定位。而且，長期錯誤動作的練習(xí)也會對訓(xùn)練者的肌肉造成損傷。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的技術(shù)問題，本申請實(shí)施例提供一種舞蹈編排中圖像處理方法及裝置，能夠通過對訓(xùn)練者的姿態(tài)進(jìn)行識別，并對姿態(tài)進(jìn)行評價(jià)得到評價(jià)結(jié)果。

2、為了達(dá)到上述目的，本申請實(shí)施例采用的技術(shù)方案如下：

3、第一方面，提供一種舞蹈編排中圖像處理方法，所述方法包括：獲取待編排舞蹈的標(biāo)簽信息，基于所述標(biāo)簽信息配置目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽；基于目標(biāo)采集時(shí)間間隔獲取舞者的多個實(shí)時(shí)圖像，并基于所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽對所述實(shí)時(shí)圖像進(jìn)行標(biāo)注，并對標(biāo)注結(jié)果進(jìn)行抽取，得到多個基于時(shí)序進(jìn)行排列的目標(biāo)關(guān)鍵點(diǎn)標(biāo)注圖，將所述目標(biāo)關(guān)鍵點(diǎn)標(biāo)注圖中的關(guān)鍵點(diǎn)進(jìn)行連接得到目標(biāo)骨骼框架圖；將多個所述目標(biāo)骨骼框架圖基于時(shí)序進(jìn)行排列得到骨骼框架圖組，將所述骨骼框架圖組與標(biāo)準(zhǔn)骨骼框架圖組基于余弦距離進(jìn)行相似度計(jì)算，得到每一個所述目標(biāo)骨骼框架圖所對應(yīng)的相似度，并基于相似度對對應(yīng)的動作進(jìn)行評價(jià)得分。

4、進(jìn)一步的，所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽為目標(biāo)骨骼點(diǎn)；所述基于所述標(biāo)簽信息配置目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽，包括：基于所述標(biāo)簽信息在目標(biāo)關(guān)鍵點(diǎn)骨骼數(shù)據(jù)庫中進(jìn)行篩選，得到與標(biāo)簽信息符合的骨骼點(diǎn)組；所述目標(biāo)關(guān)鍵點(diǎn)骨骼數(shù)據(jù)庫中配置有多個骨骼點(diǎn)組，每個所述骨骼點(diǎn)組配置有多個目標(biāo)骨骼點(diǎn)，多個目標(biāo)骨骼點(diǎn)組成所述標(biāo)準(zhǔn)骨骼框架圖組。

5、進(jìn)一步的，所述目標(biāo)骨骼點(diǎn)基于對多個初始骨骼點(diǎn)進(jìn)行權(quán)重篩選得到，具體包括：基于標(biāo)簽信息獲取多個目標(biāo)靜態(tài)動作，并采集多個目標(biāo)靜態(tài)動作所對應(yīng)的多個靜態(tài)圖像，識別每個所述靜態(tài)圖像中的每個骨骼點(diǎn)以及對應(yīng)的骨骼點(diǎn)坐標(biāo)，并計(jì)算每個所述骨骼點(diǎn)坐標(biāo)在多個所述靜態(tài)圖像中的變化率，并基于所述變化率的排序?qū)Χ鄠€所述骨骼點(diǎn)進(jìn)行篩選，得到所述目標(biāo)骨骼點(diǎn)。

6、進(jìn)一步的，基于所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽對所述實(shí)時(shí)圖像進(jìn)行標(biāo)注，包括：識別所述實(shí)時(shí)圖像中的每個骨骼點(diǎn)，并對每個所述骨骼點(diǎn)基于目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽進(jìn)行標(biāo)注，得到標(biāo)注結(jié)果。

7、進(jìn)一步的，所述靜態(tài)圖像和所述實(shí)時(shí)圖像中的骨骼點(diǎn)的識別基于關(guān)鍵點(diǎn)識別模型實(shí)現(xiàn)，所述關(guān)鍵點(diǎn)識別模型包括第一特征提取模塊、第二特征提取模塊、第三特征提取模塊和第四特征提取模塊，且在所述第一特征提取模塊和所述第二特征提取模塊之間設(shè)置有第一連接層，在所述第二特征提取模塊和所述第三特征提取模塊之間設(shè)置有第二連接層，在所述第三特征提取模塊和所述第四特征提取模塊之間設(shè)置有第三連接層。

8、進(jìn)一步的，所述第一特征提取模塊通過兩個卷積層將所述靜態(tài)圖像、所述實(shí)時(shí)圖像分辨率進(jìn)行下采樣，并通過四個瓶頸模塊提取目標(biāo)的淺層特征；所述第二特征提取模塊包括第一特征提取分支和第二特征提取分支，在所述第一特征提取分支和所述第二特征提取分支上配置有深度卷積變化子模塊，基于兩個所述深度卷積變換子模塊進(jìn)行特征提取，后通過多尺度特征融合子模塊對提取到的特征進(jìn)行融合；所述第三特征提取模塊包含三條分支，每一分支包括四個特征提取單元，每一個所述特征提取單元內(nèi)設(shè)置有兩個深度卷積變換子模塊和一個多尺度特征融合子模塊；所述第四特征提取模塊包括四條分支，每一條分支包括三個特征提取單元，每一個所述特征提取單元內(nèi)設(shè)置有兩個深度卷積變換子模塊和一個多尺度特征融合子模塊。

9、進(jìn)一步的，所述第一連接層包括兩個輸出通道，分別與所述第二特征提取模塊中的第一特征提取分支和第二特征提取分支連接；所述第二連接層包括兩個恒等映射層和一個卷積層，分別與所述第三特征提取模塊中的三條分支連接；所述第三連接層包括三個恒等映射層和一個卷積層，分別與所述第四特征提取模塊中的四條分支連接。

10、進(jìn)一步的，所述深度卷積變換子模塊包括特征提取層和通道映射層，所述特征提取層包括層歸一化模塊、深度可分離卷積模塊和級聯(lián)通道注意力模塊，所述通道映射層包括層歸一化模塊、第一卷積模塊和第二卷積模塊；所述多尺度特征融合子模塊包括特征尺寸重定義層和特征信息融合層，所述特征尺寸重定義層包括自適應(yīng)平均池化模塊、恒等映射模塊和線性上采樣模塊，所述特征信息融合層包括卷積模塊、深度可分離卷積模塊和級聯(lián)通道注意力模塊，所述級聯(lián)通道注意力模塊包括高分辨特征通道注意力子模塊和eca通道注意力子模塊。

11、進(jìn)一步的，所述得到每一個所述目標(biāo)骨骼框架圖所對應(yīng)的相似度，包括：計(jì)算每一個所述目標(biāo)骨骼框架圖中每一個骨骼點(diǎn)的子相似度，并基于所述子相似度得到所述目標(biāo)骨骼框架圖的相似度。

12、第二方面，提供一種舞蹈編排中圖像處理裝置，所述裝置包括：配置模塊，用于獲取待編排舞蹈的標(biāo)簽信息，基于所述標(biāo)簽信息配置目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽；框架圖獲取模塊，用于基于目標(biāo)采集時(shí)間間隔獲取舞者的多個實(shí)時(shí)圖像，并基于所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽對所述實(shí)時(shí)圖像進(jìn)行標(biāo)注，并對標(biāo)注結(jié)果進(jìn)行抽取，得到多個基于時(shí)序進(jìn)行排列的目標(biāo)關(guān)鍵點(diǎn)標(biāo)注圖，將所述目標(biāo)關(guān)鍵點(diǎn)標(biāo)注圖中的關(guān)鍵點(diǎn)進(jìn)行連接得到目標(biāo)骨骼框架圖；評價(jià)模塊，用于將多個所述目標(biāo)骨骼框架圖基于時(shí)序進(jìn)行排列得到骨骼框架圖組，將所述骨骼框架圖組與標(biāo)準(zhǔn)骨骼框架圖組基于余弦距離進(jìn)行相似度計(jì)算，得到每一個所述目標(biāo)骨骼框架圖所對應(yīng)的相似度，并基于相似度對對應(yīng)的動作進(jìn)行評價(jià)得分。

13、本申請實(shí)施例提供的技術(shù)方案中，通過對舞蹈者的舞蹈動作通過圖像采集的方式得到關(guān)于舞蹈動作的實(shí)時(shí)圖像，并通過關(guān)鍵點(diǎn)識別模型對實(shí)時(shí)圖像進(jìn)行骨骼點(diǎn)識別，并將識別到的骨骼點(diǎn)通過與對應(yīng)的標(biāo)準(zhǔn)骨骼點(diǎn)進(jìn)行篩選得到多個目標(biāo)骨骼點(diǎn)，并將多個目標(biāo)骨骼點(diǎn)組成目標(biāo)骨骼框架圖，通過目標(biāo)骨骼框架圖與標(biāo)準(zhǔn)骨骼框架圖進(jìn)行相似性計(jì)算確定舞蹈動作是否具有異常，實(shí)現(xiàn)對于舞蹈編排的指導(dǎo)。

技術(shù)特征：

1.一種舞蹈編排中圖像處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的舞蹈編排中圖像處理方法，其特征在于，所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽為目標(biāo)骨骼點(diǎn)；所述基于所述標(biāo)簽信息配置目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽，包括：基于所述標(biāo)簽信息在目標(biāo)關(guān)鍵點(diǎn)骨骼數(shù)據(jù)庫中進(jìn)行篩選，得到與標(biāo)簽信息符合的骨骼點(diǎn)組；所述目標(biāo)關(guān)鍵點(diǎn)骨骼數(shù)據(jù)庫中配置有多個骨骼點(diǎn)組，每個所述骨骼點(diǎn)組配置有多個目標(biāo)骨骼點(diǎn)，多個目標(biāo)骨骼點(diǎn)組成所述標(biāo)準(zhǔn)骨骼框架圖組。

3.根據(jù)權(quán)利要求2所述的舞蹈編排中圖像處理方法，其特征在于，所述目標(biāo)骨骼點(diǎn)基于對多個初始骨骼點(diǎn)進(jìn)行權(quán)重篩選得到，具體包括：基于標(biāo)簽信息獲取多個目標(biāo)靜態(tài)動作，并采集多個目標(biāo)靜態(tài)動作所對應(yīng)的多個靜態(tài)圖像，識別每個所述靜態(tài)圖像中的每個骨骼點(diǎn)以及對應(yīng)的骨骼點(diǎn)坐標(biāo)，并計(jì)算每個所述骨骼點(diǎn)坐標(biāo)在多個所述靜態(tài)圖像中的變化率，并基于所述變化率的排序?qū)Χ鄠€所述骨骼點(diǎn)進(jìn)行篩選，得到所述目標(biāo)骨骼點(diǎn)。

4.根據(jù)權(quán)利要求3所述的舞蹈編排中圖像處理方法，其特征在于，基于所述目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽對所述實(shí)時(shí)圖像進(jìn)行標(biāo)注，包括：識別所述實(shí)時(shí)圖像中的每個骨骼點(diǎn)，并對每個所述骨骼點(diǎn)基于目標(biāo)關(guān)鍵點(diǎn)骨骼標(biāo)簽進(jìn)行標(biāo)注，得到標(biāo)注結(jié)果。

5.根據(jù)權(quán)利要求3或4所述的舞蹈編排中圖像處理方法，其特征在于，所述靜態(tài)圖像和所述實(shí)時(shí)圖像中的骨骼點(diǎn)的識別基于關(guān)鍵點(diǎn)識別模型實(shí)現(xiàn)，所述關(guān)鍵點(diǎn)識別模型包括第一特征提取模塊、第二特征提取模塊、第三特征提取模塊和第四特征提取模塊，且在所述第一特征提取模塊和所述第二特征提取模塊之間設(shè)置有第一連接層，在所述第二特征提取模塊和所述第三特征提取模塊之間設(shè)置有第二連接層，在所述第三特征提取模塊和所述第四特征提取模塊之間設(shè)置有第三連接層。

6.根據(jù)權(quán)利要求5所述的舞蹈編排中圖像處理方法，其特征在于，所述第一特征提取模塊通過兩個卷積層將所述靜態(tài)圖像、所述實(shí)時(shí)圖像分辨率進(jìn)行下采樣，并通過四個瓶頸模塊提取目標(biāo)的淺層特征；所述第二特征提取模塊包括第一特征提取分支和第二特征提取分支，在所述第一特征提取分支和所述第二特征提取分支上配置有深度卷積變化子模塊，基于兩個所述深度卷積變換子模塊進(jìn)行特征提取，后通過多尺度特征融合子模塊對提取到的特征進(jìn)行融合；所述第三特征提取模塊包含三條分支，每一分支包括四個特征提取單元，每一個所述特征提取單元內(nèi)設(shè)置有兩個深度卷積變換子模塊和一個多尺度特征融合子模塊；所述第四特征提取模塊包括四條分支，每一條分支包括三個特征提取單元，每一個所述特征提取單元內(nèi)設(shè)置有兩個深度卷積變換子模塊和一個多尺度特征融合子模塊。

7.根據(jù)權(quán)利要求6所述的舞蹈編排中圖像處理方法，其特征在于，所述第一連接層包括兩個輸出通道，分別與所述第二特征提取模塊中的第一特征提取分支和第二特征提取分支連接；所述第二連接層包括兩個恒等映射層和一個卷積層，分別與所述第三特征提取模塊中的三條分支連接；所述第三連接層包括三個恒等映射層和一個卷積層，分別與所述第四特征提取模塊中的四條分支連接。

8.根據(jù)權(quán)利要求7所述的舞蹈編排中圖像處理方法，其特征在于，所述深度卷積變換子模塊包括特征提取層和通道映射層，所述特征提取層包括層歸一化模塊、深度可分離卷積模塊和級聯(lián)通道注意力模塊，所述通道映射層包括層歸一化模塊、第一卷積模塊和第二卷積模塊；所述多尺度特征融合子模塊包括特征尺寸重定義層和特征信息融合層，所述特征尺寸重定義層包括自適應(yīng)平均池化模塊、恒等映射模塊和線性上采樣模塊，所述特征信息融合層包括卷積模塊、深度可分離卷積模塊和級聯(lián)通道注意力模塊，所述級聯(lián)通道注意力模塊包括高分辨特征通道注意力子模塊和eca通道注意力子模塊。

9.根據(jù)權(quán)利要求1所述的舞蹈編排中圖像處理方法，其特征在于，所述得到每一個所述目標(biāo)骨骼框架圖所對應(yīng)的相似度，包括：計(jì)算每一個所述目標(biāo)骨骼框架圖中每一個骨骼點(diǎn)的子相似度，并基于所述子相似度得到所述目標(biāo)骨骼框架圖的相似度。

10.一種舞蹈編排中圖像處理裝置，其特征在于，所述裝置包括：

技術(shù)總結(jié)
本申請涉及圖像處理技術(shù)領(lǐng)域，為一種舞蹈圖像處理方法，具體為一種舞蹈編排中圖像處理方法及裝置。通過對舞蹈者的舞蹈動作通過圖像采集的方式得到關(guān)于舞蹈動作的實(shí)時(shí)圖像，并通過關(guān)鍵點(diǎn)識別模型對實(shí)時(shí)圖像進(jìn)行骨骼點(diǎn)識別，并將識別到的骨骼點(diǎn)通過與對應(yīng)的標(biāo)準(zhǔn)骨骼點(diǎn)進(jìn)行篩選得到多個目標(biāo)骨骼點(diǎn)，并將多個目標(biāo)骨骼點(diǎn)組成目標(biāo)骨骼框架圖，通過目標(biāo)骨骼框架圖與標(biāo)準(zhǔn)骨骼框架圖進(jìn)行相似性計(jì)算確定舞蹈動作是否具有異常，實(shí)現(xiàn)對于舞蹈編排的指導(dǎo)。

技術(shù)研發(fā)人員：王帥,王照云,曾紫琳,陳良玉
受保護(hù)的技術(shù)使用者：廣東鴻威國際會展集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21