背景技術(shù)：

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)各種實(shí)施方式，提供了用于執(zhí)行用于對(duì)話理解的基于語(yǔ)義的預(yù)訓(xùn)練的系統(tǒng)和方法。

2、根據(jù)一個(gè)或更多個(gè)示例實(shí)施方式的各方面，一種用于利用語(yǔ)義信息預(yù)訓(xùn)練對(duì)話模型的方法由至少一個(gè)處理器執(zhí)行，該方法包括：生成與說(shuō)話者相關(guān)聯(lián)的輸入對(duì)話的對(duì)話級(jí)別抽象含義表示(amr)圖；基于對(duì)話級(jí)別amr圖的節(jié)點(diǎn)來(lái)學(xué)習(xí)輸入對(duì)話的核心語(yǔ)義單元；基于對(duì)話級(jí)別amr圖的邊來(lái)學(xué)習(xí)輸入對(duì)話的句子的詞之間的語(yǔ)義關(guān)系；學(xué)習(xí)輸入對(duì)話與對(duì)話級(jí)別amr圖的整體一致性；以及基于所學(xué)習(xí)的核心語(yǔ)義單元、詞之間的語(yǔ)義關(guān)系和整體一致性來(lái)訓(xùn)練對(duì)話模型。

3、該方法包括：通過(guò)使用預(yù)訓(xùn)練的amr解析器將輸入對(duì)話中的話語(yǔ)獨(dú)立地轉(zhuǎn)換為amr來(lái)構(gòu)建話語(yǔ)級(jí)別amr圖；以及將話語(yǔ)級(jí)別amr圖與根節(jié)點(diǎn)進(jìn)行連接，使得amr圖的邊標(biāo)記有相關(guān)聯(lián)的說(shuō)話者。

4、該方法包括：基于對(duì)話級(jí)別amr圖的節(jié)點(diǎn)來(lái)識(shí)別輸入對(duì)話的一個(gè)或更多個(gè)語(yǔ)義感知單元；以及增加由對(duì)話模型給予輸入對(duì)話的與一個(gè)或更多個(gè)語(yǔ)義感知單元對(duì)應(yīng)的詞元的注意力。

5、該方法包括：將輸入對(duì)話的與對(duì)話級(jí)別amr圖的節(jié)點(diǎn)對(duì)齊的詞元識(shí)別為該輸入對(duì)話的語(yǔ)義感知單元。

6、該方法包括：給輸入對(duì)話的每個(gè)詞元分配掩碼概率，使得被分配給與一個(gè)或更多個(gè)語(yǔ)義感知單元對(duì)應(yīng)的詞元的掩碼概率高于被分配給該輸入對(duì)話的其他詞元的掩碼概率。

7、該方法包括：根據(jù)節(jié)點(diǎn)到詞的對(duì)齊將對(duì)話級(jí)別amr圖的邊投影到輸入對(duì)話的對(duì)應(yīng)句子上；以及訓(xùn)練預(yù)測(cè)器以生成所投影的邊。

8、該方法包括：通過(guò)使用transformer編碼器來(lái)生成輸入對(duì)話的上下文化詞隱藏狀態(tài)；以及基于該隱藏狀態(tài)通過(guò)使用深度雙仿射神經(jīng)解析器來(lái)預(yù)測(cè)詞之間的關(guān)系。

9、該方法包括：將對(duì)話級(jí)別amr圖線性化，并且使用預(yù)訓(xùn)練的編碼器將線性化的amr轉(zhuǎn)換為一組隱藏狀態(tài)；以及使該組隱藏狀態(tài)與對(duì)話級(jí)別amr圖之間的相似性得分最大化。

10、該方法包括：使用余弦相似性作為距離評(píng)分操作；以及采用對(duì)比學(xué)習(xí)框架以訓(xùn)練對(duì)話模型。

11、根據(jù)一個(gè)或更多個(gè)示例實(shí)施方式的各方面，一種用于利用語(yǔ)義信息預(yù)訓(xùn)練對(duì)話模型的設(shè)備包括：存儲(chǔ)器，該存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)程序代碼；以及至少一個(gè)處理器，該至少一個(gè)處理器被配置成按照計(jì)算機(jī)程序代碼所指示的進(jìn)行操作，該計(jì)算機(jī)程序代碼包括：生成代碼，該生成代碼被配置成使至少一個(gè)處理器生成與說(shuō)話者相關(guān)聯(lián)的輸入對(duì)話的對(duì)話級(jí)別抽象含義表示(amr)圖；學(xué)習(xí)代碼，該學(xué)習(xí)代碼被配置成使至少一個(gè)處理器基于對(duì)話級(jí)別amr圖的節(jié)點(diǎn)來(lái)學(xué)習(xí)輸入對(duì)話的核心語(yǔ)義單元，基于對(duì)話級(jí)別amr圖的邊來(lái)學(xué)習(xí)輸入對(duì)話的句子的詞之間的語(yǔ)義關(guān)系，學(xué)習(xí)輸入對(duì)話與對(duì)話級(jí)別amr圖的整體一致性；以及訓(xùn)練代碼，該訓(xùn)練代碼被配置成使至少一個(gè)處理器基于所學(xué)習(xí)的核心語(yǔ)義單元、詞之間的語(yǔ)義關(guān)系和整體一致性來(lái)訓(xùn)練對(duì)話模型。

12、該設(shè)備包括：構(gòu)建代碼，該構(gòu)建代碼被配置成使至少一個(gè)處理器通過(guò)使用預(yù)訓(xùn)練的amr解析器將輸入對(duì)話中的話語(yǔ)獨(dú)立地轉(zhuǎn)換為amr來(lái)構(gòu)建話語(yǔ)級(jí)別amr圖；以及連接代碼，該連接代碼被配置成使至少一個(gè)處理器將話語(yǔ)級(jí)別amr圖與根節(jié)點(diǎn)進(jìn)行連接，其中，amr圖的邊標(biāo)記有相關(guān)聯(lián)的說(shuō)話者。

13、該設(shè)備包括：識(shí)別代碼，該識(shí)別代碼被配置成使至少一個(gè)處理器基于對(duì)話級(jí)別amr圖的節(jié)點(diǎn)來(lái)識(shí)別輸入對(duì)話的一個(gè)或更多個(gè)語(yǔ)義感知單元；以及注意力增加代碼，該注意力增加代碼被配置成使至少一個(gè)處理器增加由對(duì)話模型給予輸入對(duì)話的與一個(gè)或更多個(gè)語(yǔ)義感知單元對(duì)應(yīng)的詞元的注意力。

14、該設(shè)備被配置成使至少一個(gè)處理器將輸入對(duì)話的與對(duì)話級(jí)別amr圖的節(jié)點(diǎn)對(duì)齊的詞元識(shí)別為該輸入對(duì)話的語(yǔ)義感知單元。

15、該設(shè)備包括注意力增加代碼，該注意力增加代碼被配置成使至少一個(gè)處理器給輸入對(duì)話的每個(gè)詞元分配掩碼概率，使得被分配給與一個(gè)或更多個(gè)語(yǔ)義感知單元對(duì)應(yīng)的詞元的掩碼概率高于被分配給對(duì)話的其他詞元的掩碼概率。

16、該設(shè)備包括學(xué)習(xí)代碼，該學(xué)習(xí)代碼被配置成使至少一個(gè)處理器進(jìn)行以下操作：根據(jù)節(jié)點(diǎn)到詞的對(duì)齊將對(duì)話級(jí)別amr圖的邊投影到輸入對(duì)話的對(duì)應(yīng)句子上；以及訓(xùn)練預(yù)測(cè)器以生成所投影的邊。

17、該設(shè)備包括訓(xùn)練代碼，該訓(xùn)練代碼被配置成使至少一個(gè)處理器進(jìn)行以下操作：通過(guò)使用transformer編碼器來(lái)生成輸入對(duì)話的上下文化詞隱藏狀態(tài)；以及基于該隱藏狀態(tài)通過(guò)使用深度雙仿射神經(jīng)解析器來(lái)預(yù)測(cè)詞之間的關(guān)系。

18、該設(shè)備包括學(xué)習(xí)代碼，該學(xué)習(xí)代碼被配置成使至少一個(gè)處理器進(jìn)行以下操作：將對(duì)話級(jí)別amr圖線性化，并且使用預(yù)訓(xùn)練的編碼器將線性化的amr轉(zhuǎn)換為一組隱藏狀態(tài)；以及使該組隱藏狀態(tài)與對(duì)話級(jí)別amr圖之間的相似性得分最大化。

19、該設(shè)備包括學(xué)習(xí)代碼，該學(xué)習(xí)代碼被配置成使至少一個(gè)處理器進(jìn)行以下操作：使用余弦相似性作為距離評(píng)分操作；以及采用對(duì)比學(xué)習(xí)框架以訓(xùn)練對(duì)話模型。

20、根據(jù)一個(gè)或更多個(gè)示例實(shí)施方式的各方面，一種非暫態(tài)計(jì)算機(jī)可讀介質(zhì)其上記錄有計(jì)算機(jī)程序，該計(jì)算機(jī)程序在由處理器執(zhí)行時(shí)使該處理器進(jìn)行以下操作：生成與說(shuō)話者相關(guān)聯(lián)的輸入對(duì)話的對(duì)話級(jí)別抽象含義表示(amr)圖；基于對(duì)話級(jí)別amr圖的節(jié)點(diǎn)來(lái)學(xué)習(xí)輸入對(duì)話的核心語(yǔ)義單元；基于對(duì)話級(jí)別amr圖的邊來(lái)學(xué)習(xí)輸入對(duì)話的句子的詞之間的語(yǔ)義關(guān)系；學(xué)習(xí)輸入對(duì)話與對(duì)話級(jí)別amr圖的整體一致性；以及基于所學(xué)習(xí)的核心語(yǔ)義單元、詞之間的語(yǔ)義關(guān)系和整體一致性來(lái)訓(xùn)練對(duì)話模型。

21、附加方面將部分地在隨后的描述中闡述，并且部分地根據(jù)描述將是明顯的，或者可以通過(guò)本公開(kāi)內(nèi)容的所呈現(xiàn)的實(shí)施方式的實(shí)踐來(lái)實(shí)現(xiàn)。

技術(shù)特征：

1.一種用于利用語(yǔ)義信息預(yù)訓(xùn)練對(duì)話模型的方法，所述方法由至少一個(gè)處理器執(zhí)行，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，生成與所述說(shuō)話者相關(guān)聯(lián)的所述輸入對(duì)話的所述對(duì)話級(jí)別amr圖包括：

3.根據(jù)權(quán)利要求1所述的方法，其中，基于所述對(duì)話級(jí)別amr圖的節(jié)點(diǎn)來(lái)學(xué)習(xí)所述輸入對(duì)話的所述核心語(yǔ)義單元包括：

4.根據(jù)權(quán)利要求3所述的方法，其中，基于所述對(duì)話級(jí)別amr圖的節(jié)點(diǎn)來(lái)識(shí)別所述輸入對(duì)話的所述一個(gè)或更多個(gè)語(yǔ)義感知單元包括：

5.根據(jù)權(quán)利要求3所述的方法，其中，增加由所述對(duì)話模型給予所述輸入對(duì)話的與所述一個(gè)或更多個(gè)語(yǔ)義感知單元對(duì)應(yīng)的詞元的注意力包括：

6.根據(jù)權(quán)利要求1所述的方法，其中，基于所述對(duì)話級(jí)別amr圖的邊來(lái)學(xué)習(xí)所述輸入對(duì)話的句子的詞之間的語(yǔ)義關(guān)系包括：

7.根據(jù)權(quán)利要求6所述的方法，其中，訓(xùn)練所述預(yù)測(cè)器以生成所投影的邊包括：

8.根據(jù)權(quán)利要求1所述的方法，其中，學(xué)習(xí)所述輸入對(duì)話與所述對(duì)話級(jí)別amr圖的整體一致性包括：

9.根據(jù)權(quán)利要求8所述的方法，其中，使所述一組隱藏狀態(tài)與所述對(duì)話級(jí)別amr圖之間的相似性得分最大化包括：

10.根據(jù)權(quán)利要求1所述的方法，其中，基于所學(xué)習(xí)的核心語(yǔ)義單元、詞之間的語(yǔ)義關(guān)系和整體一致性來(lái)訓(xùn)練所述對(duì)話模型包括：

11.一種用于利用語(yǔ)義信息預(yù)訓(xùn)練對(duì)話模型的設(shè)備，所述設(shè)備包括：

12.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述生成代碼包括：

13.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述學(xué)習(xí)代碼包括：

14.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述識(shí)別代碼被配置成使所述至少一個(gè)處理器將所述輸入對(duì)話的與所述對(duì)話級(jí)別amr圖的節(jié)點(diǎn)對(duì)齊的詞元識(shí)別為所述輸入對(duì)話的語(yǔ)義感知單元。

15.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述注意力增加代碼被配置成使所述至少一個(gè)處理器給所述輸入對(duì)話的每個(gè)詞元分配掩碼概率，其中，被分配給與所述一個(gè)或更多個(gè)語(yǔ)義感知單元對(duì)應(yīng)的詞元的掩碼概率高于被分配給所述對(duì)話的其他詞元的掩碼概率。

16.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述學(xué)習(xí)代碼被配置成使所述至少一個(gè)處理器進(jìn)行以下操作：

17.根據(jù)權(quán)利要求16所述的設(shè)備，其中，所述訓(xùn)練代碼被配置成使所述至少一個(gè)處理器進(jìn)行以下操作：

18.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述學(xué)習(xí)代碼被配置成使所述至少一個(gè)處理器進(jìn)行以下操作：

19.根據(jù)權(quán)利要求18所述的設(shè)備，其中，所述學(xué)習(xí)代碼被配置成使所述至少一個(gè)處理器進(jìn)行以下操作：

20.一種非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在由處理器執(zhí)行時(shí)使所述處理器進(jìn)行以下操作：

技術(shù)總結(jié)
用于利用語(yǔ)義信息預(yù)訓(xùn)練對(duì)話模型的系統(tǒng)和方法包括：生成與說(shuō)話者相關(guān)聯(lián)的輸入對(duì)話的對(duì)話級(jí)別抽象含義表示(AMR)圖；基于對(duì)話級(jí)別AMR圖的節(jié)點(diǎn)來(lái)學(xué)習(xí)輸入對(duì)話的核心語(yǔ)義單元；基于對(duì)話級(jí)別AMR圖的邊來(lái)學(xué)習(xí)輸入對(duì)話的句子的詞之間的語(yǔ)義關(guān)系；學(xué)習(xí)輸入對(duì)話與對(duì)話級(jí)別AMR圖的整體一致性；以及基于所學(xué)習(xí)的核心語(yǔ)義單元、詞之間的語(yǔ)義關(guān)系和整體一致性來(lái)訓(xùn)練對(duì)話模型。

技術(shù)研發(fā)人員：宋林峰
受保護(hù)的技術(shù)使用者：騰訊美國(guó)有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21