本申請(qǐng)涉及口語(yǔ)學(xué)習(xí)，更具體的說(shuō)，是涉及一種口語(yǔ)學(xué)習(xí)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在當(dāng)今這樣一個(gè)全球化的時(shí)代中，掌握一門或者幾門外語(yǔ)是必然的要求。在外語(yǔ)學(xué)習(xí)中，尤其是口語(yǔ)學(xué)習(xí)已經(jīng)成為了一個(gè)全球性難題。

2、傳統(tǒng)的口語(yǔ)個(gè)性化學(xué)習(xí)方案一般是給出一些固定場(chǎng)景的口語(yǔ)題目，讓用戶進(jìn)行口語(yǔ)練習(xí)?；蛘呤窃诠潭▓?chǎng)景下，基于用戶的對(duì)話語(yǔ)音進(jìn)行文本識(shí)別，并基于識(shí)別文本來(lái)確定機(jī)器的回復(fù)文本，進(jìn)而通過(guò)語(yǔ)音合成，將回復(fù)文本合成為語(yǔ)音輸出，以實(shí)現(xiàn)人機(jī)對(duì)話的訓(xùn)練目的。首先，現(xiàn)有技術(shù)采用固定場(chǎng)景限制了用戶口語(yǔ)學(xué)習(xí)的場(chǎng)景范圍，其次，現(xiàn)有通過(guò)語(yǔ)音識(shí)別、文本生成、語(yǔ)音合成的方式來(lái)實(shí)現(xiàn)人機(jī)對(duì)話，容易存在錯(cuò)誤的累積，示例如，當(dāng)對(duì)用戶的語(yǔ)音識(shí)別出現(xiàn)錯(cuò)誤，則會(huì)導(dǎo)致基于錯(cuò)誤的識(shí)別文本生成機(jī)器回復(fù)文本時(shí)出錯(cuò)，進(jìn)而導(dǎo)致合成語(yǔ)音出錯(cuò)。此外，按照現(xiàn)有方式也容易丟失用戶語(yǔ)音的韻律信息，僅基于識(shí)別文本進(jìn)行回復(fù)文本生成、語(yǔ)音合成，會(huì)導(dǎo)致機(jī)器回復(fù)內(nèi)容的情感無(wú)法匹配用戶當(dāng)前的情緒狀態(tài)，導(dǎo)致用戶降低與機(jī)器進(jìn)行口語(yǔ)對(duì)話的意愿度，從而影響口語(yǔ)學(xué)習(xí)效率。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問(wèn)題，提出了本申請(qǐng)以便提供一種口語(yǔ)學(xué)習(xí)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以提升口語(yǔ)學(xué)習(xí)過(guò)程中機(jī)器回復(fù)語(yǔ)音的準(zhǔn)確度，提升用戶口語(yǔ)學(xué)習(xí)效率。具體方案如下：

2、第一方面，提供了一種口語(yǔ)學(xué)習(xí)方法，包括：

3、獲取用戶定義的情景描述信息，所述情景描述信息用于定義本次口語(yǔ)對(duì)話情景；

4、基于所述情景描述信息、用戶當(dāng)前輪輸入的語(yǔ)音以及本次口語(yǔ)對(duì)話過(guò)程中當(dāng)前輪之前的用戶與機(jī)器的歷史對(duì)話語(yǔ)音，生成機(jī)器的當(dāng)前輪對(duì)話語(yǔ)音；

5、輸出所述機(jī)器的當(dāng)前輪對(duì)話語(yǔ)音。

6、第二方面，提供了一種口語(yǔ)學(xué)習(xí)裝置，包括：

7、情景描述信息獲取單元，用于獲取用戶定義的情景描述信息，所述情景描述信息用于定義本次口語(yǔ)對(duì)話情景；

8、對(duì)話語(yǔ)音生成單元，用于基于所述情景描述信息、用戶當(dāng)前輪輸入的語(yǔ)音以及本次口語(yǔ)對(duì)話過(guò)程中當(dāng)前輪之前的用戶與機(jī)器的歷史對(duì)話語(yǔ)音，生成機(jī)器的當(dāng)前輪對(duì)話語(yǔ)音；

9、對(duì)話語(yǔ)音輸出單元，用于輸出所述機(jī)器的當(dāng)前輪對(duì)話語(yǔ)音。

10、第三方面，提供了一種口語(yǔ)學(xué)習(xí)設(shè)備，包括：存儲(chǔ)器和處理器；

11、所述存儲(chǔ)器，用于存儲(chǔ)程序；

12、所述處理器，用于執(zhí)行所述程序，實(shí)現(xiàn)如前所述的口語(yǔ)學(xué)習(xí)方法的各個(gè)步驟。

13、第四方面，提供了一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如前所述的口語(yǔ)學(xué)習(xí)方法的各個(gè)步驟。

14、借由上述技術(shù)方案，本申請(qǐng)支持用戶定義口語(yǔ)對(duì)話的場(chǎng)景，通過(guò)獲取用戶定義的情景描述信息，進(jìn)一步基于該情景描述信息、用戶當(dāng)前輪輸入的語(yǔ)音以及本次口語(yǔ)對(duì)話過(guò)程中當(dāng)前輪之前的用戶與機(jī)器的歷史對(duì)話語(yǔ)音，生成機(jī)器的當(dāng)前輪對(duì)話語(yǔ)音，并輸出當(dāng)前輪對(duì)話語(yǔ)音，實(shí)現(xiàn)口語(yǔ)學(xué)習(xí)過(guò)程中在用戶定義的場(chǎng)景下，用戶與機(jī)器進(jìn)行口語(yǔ)對(duì)話練習(xí)的目的。顯然，由于本申請(qǐng)支持用戶定義口語(yǔ)對(duì)話場(chǎng)景，擴(kuò)大了用戶口語(yǔ)學(xué)習(xí)的場(chǎng)景范圍，有助于用戶的口語(yǔ)學(xué)習(xí)。此外，本申請(qǐng)摒棄了現(xiàn)有技術(shù)通過(guò)用戶語(yǔ)音識(shí)別、機(jī)器回復(fù)文本生成、語(yǔ)音合成的路線來(lái)生成機(jī)器回復(fù)語(yǔ)音的方式，直接基于情景描述信息和人機(jī)歷史對(duì)話語(yǔ)音，生成機(jī)器的當(dāng)前輪對(duì)話語(yǔ)音，也即實(shí)現(xiàn)了端到端的語(yǔ)音生成，保留了人機(jī)歷史對(duì)話語(yǔ)音中用戶語(yǔ)音的韻律信息，使得生成的機(jī)器的當(dāng)前輪對(duì)話語(yǔ)音更加符合用戶當(dāng)前的情緒狀態(tài)，提升了用戶與機(jī)器進(jìn)行口語(yǔ)對(duì)話的意愿度，同時(shí)，在生成機(jī)器的當(dāng)前輪對(duì)話語(yǔ)音時(shí)還考慮了情景描述信息，使得生成的對(duì)話語(yǔ)音符合用戶定義的情景描述信息，規(guī)范了口語(yǔ)對(duì)話的場(chǎng)景，整體上提升了用戶口語(yǔ)學(xué)習(xí)的效率。

技術(shù)特征：

1.一種口語(yǔ)學(xué)習(xí)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述情景描述信息包括：本次口語(yǔ)對(duì)話的主題情景及對(duì)話過(guò)程需要完成的表達(dá)任務(wù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述情景描述信息為情景描述文本，或，為情景描述語(yǔ)音，或情景描述圖像。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取用戶定義的情景描述信息，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取用戶定義的情景描述信息，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在與用戶進(jìn)行口語(yǔ)對(duì)話之前，還包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，還包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，生成機(jī)器的當(dāng)前輪對(duì)話語(yǔ)音的過(guò)程，通過(guò)預(yù)訓(xùn)練的口語(yǔ)對(duì)話語(yǔ)音生成模型實(shí)現(xiàn)；

10.根據(jù)權(quán)利要求8所述的方法，其特征在于，生成機(jī)器的當(dāng)前輪對(duì)話語(yǔ)音、對(duì)用戶輸入的每句語(yǔ)音進(jìn)行糾錯(cuò)及潤(rùn)色及生成用戶對(duì)話能力的評(píng)價(jià)語(yǔ)音的過(guò)程，均通過(guò)預(yù)訓(xùn)練的口語(yǔ)對(duì)話語(yǔ)音生成模型實(shí)現(xiàn)，所述口語(yǔ)對(duì)話語(yǔ)音生成模型的訓(xùn)練過(guò)程，包括：

11.一種口語(yǔ)學(xué)習(xí)裝置，其特征在于，包括：

12.一種口語(yǔ)學(xué)習(xí)設(shè)備，其特征在于，包括：存儲(chǔ)器和處理器；

13.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1～10中任一項(xiàng)所述的口語(yǔ)學(xué)習(xí)方法的各個(gè)步驟。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種口語(yǔ)學(xué)習(xí)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，本申請(qǐng)支持用戶定義口語(yǔ)對(duì)話的場(chǎng)景，獲取用戶定義的情景描述信息，基于該情景描述信息、用戶當(dāng)前輪輸入的語(yǔ)音以及本次口語(yǔ)對(duì)話過(guò)程中當(dāng)前輪之前的用戶與機(jī)器的歷史對(duì)話語(yǔ)音，生成并輸出機(jī)器的當(dāng)前輪對(duì)話語(yǔ)音，實(shí)現(xiàn)口語(yǔ)學(xué)習(xí)過(guò)程中在用戶定義的場(chǎng)景下，用戶與機(jī)器進(jìn)行口語(yǔ)對(duì)話練習(xí)的目的。本申請(qǐng)摒棄了傳統(tǒng)通過(guò)用戶語(yǔ)音識(shí)別、機(jī)器回復(fù)文本生成、語(yǔ)音合成的路線來(lái)生成機(jī)器回復(fù)語(yǔ)音的方式，實(shí)現(xiàn)了端到端的語(yǔ)音生成，保留了人機(jī)歷史對(duì)話語(yǔ)音中用戶語(yǔ)音的韻律信息，使得生成的機(jī)器回復(fù)更加符合用戶當(dāng)前的情緒狀態(tài)，提升了用戶與機(jī)器進(jìn)行口語(yǔ)對(duì)話的意愿度，提升了用戶口語(yǔ)學(xué)習(xí)的效率。

技術(shù)研發(fā)人員：魏思,吳奎,張凱波,汪政輝,盛志超,王子銘,李平瀟,翟吉博,王士進(jìn),章繼東,胡國(guó)平,劉聰,劉權(quán)
受保護(hù)的技術(shù)使用者：科大訊飛股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21