本公開涉及知識圖譜領(lǐng)域，更具體地說，涉及一種基于知識超圖的解耦表示學(xué)習(xí)方法及裝置。

背景技術(shù)：

1、知識圖譜是存儲知識的大規(guī)模圖結(jié)構(gòu)，已經(jīng)在推薦系統(tǒng)、知識問答等多個(gè)領(lǐng)域得到了廣泛的應(yīng)用。知識圖譜由節(jié)點(diǎn)和邊構(gòu)成，其中每個(gè)節(jié)點(diǎn)對應(yīng)一個(gè)實(shí)體，每條邊對應(yīng)一種關(guān)系，連接兩個(gè)實(shí)體的邊代表這兩個(gè)實(shí)體之間具有相應(yīng)的關(guān)系。例如，知識圖譜中的邊（xxx，畢業(yè)于，上海xx大學(xué)）表示知識“xxx畢業(yè)于上海xx大學(xué)”。

2、知識超圖是對傳統(tǒng)知識圖譜的擴(kuò)展，由節(jié)點(diǎn)和超邊構(gòu)成，其中每個(gè)節(jié)點(diǎn)對應(yīng)一個(gè)實(shí)體，與傳統(tǒng)知識圖譜中的邊不同，每條超邊不僅對應(yīng)一種關(guān)系，還具有相應(yīng)的“屬性-值”對，對實(shí)體之間的關(guān)系進(jìn)行更豐富、更具體的描述。例如，對于知識圖譜中的邊（xxx，畢業(yè)于，上海xx大學(xué)），在知識超圖中可具有相應(yīng)的“屬性-值”對：時(shí)間-1934年、院系-機(jī)械工程系，表示知識“xxx于19xx年畢業(yè)于上海xx大學(xué)機(jī)械工程系”。知識超圖能夠表征更復(fù)雜的語義，描述屬性信息，更符合人類的表達(dá)習(xí)慣。通過學(xué)習(xí)知識超圖中實(shí)體和關(guān)系的表示，可以為知識超圖的應(yīng)用提供基礎(chǔ)。

技術(shù)實(shí)現(xiàn)思路

1、本公開提出一種基于知識超圖的解耦表示學(xué)習(xí)方法及裝置、計(jì)算系統(tǒng)及計(jì)算機(jī)可讀存儲介質(zhì)，能夠通過對實(shí)體的不同語義進(jìn)行解耦，學(xué)習(xí)實(shí)體和關(guān)系的高質(zhì)量向量表示。

2、根據(jù)本公開的一方面，提供一種基于知識超圖的解耦表示學(xué)習(xí)方法，所述基于知識超圖的解耦表示學(xué)習(xí)方法包括：對知識超圖中的實(shí)體、關(guān)系、屬性和值的表示向量進(jìn)行隨機(jī)初始化，其中，實(shí)體的表示向量包括多個(gè)子表示向量，所述多個(gè)子表示向量的數(shù)量基于實(shí)體所具有的語義的數(shù)量而確定，并且關(guān)系、屬性和值的表示向量的維度與實(shí)體的子表示向量的維度相同；基于從每個(gè)實(shí)體的鄰居實(shí)體傳遞的信息，對每個(gè)實(shí)體所包括的多個(gè)子表示向量進(jìn)行更新；利用知識超圖補(bǔ)全任務(wù)訓(xùn)練模型，基于更新的實(shí)體和關(guān)系的向量表示，確定超邊中缺失的實(shí)體。

3、可選地，基于從每個(gè)實(shí)體的鄰居實(shí)體傳遞的信息，對每個(gè)實(shí)體所包括的多個(gè)子表示向量進(jìn)行更新的步驟包括：針對任意一個(gè)實(shí)體的子表示向量，確定由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息；基于由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息，利用激活函數(shù)對所述任意一個(gè)實(shí)體的子表示向量進(jìn)行更新。

4、可選地，所述激活函數(shù)包括relu函數(shù)。

5、可選地，針對任意一個(gè)實(shí)體的子表示向量，確定由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息的步驟包括：基于預(yù)定參數(shù)矩陣以及屬性和值的表示向量，確定語義聚合成的向量；基于語義聚合成的向量、預(yù)定權(quán)重參數(shù)和關(guān)系的表示向量，確定結(jié)合向量；基于結(jié)合向量和鄰居實(shí)體的相同序數(shù)的子表示向量，利用激活函數(shù)確定由鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息。

6、可選地，所述激活函數(shù)包括relu函數(shù)。

7、可選地，利用知識超圖補(bǔ)全任務(wù)訓(xùn)練模型，基于更新的實(shí)體和關(guān)系的向量表示，確定超邊中缺失的實(shí)體的步驟包括：基于更新的實(shí)體和關(guān)系的向量表示，對超邊中的已知部分的子表示向量進(jìn)行初始化和向量拼接；將拼接得到的向量輸入神經(jīng)網(wǎng)絡(luò)模型，以得到語義表示向量；對語義表示向量進(jìn)行線性變換，并將線性變換后的結(jié)果與候選實(shí)體的相同序數(shù)的子表示向量相乘，以得到每個(gè)候選實(shí)體對于相同序數(shù)的語義的可能性分?jǐn)?shù)；基于所述可能性分?jǐn)?shù)以及基于關(guān)系而賦予的權(quán)重，利用歸一化函數(shù)確定每個(gè)候選實(shí)體的加權(quán)總分?jǐn)?shù)；將加權(quán)總分?jǐn)?shù)最大的候選實(shí)體確定為超邊中缺失的實(shí)體。

8、可選地，所述基于知識超圖的解耦表示學(xué)習(xí)方法還包括：基于每個(gè)候選實(shí)體的加權(quán)總分?jǐn)?shù)、標(biāo)識每個(gè)候選實(shí)體是否為正確的未知實(shí)體的變量以及知識超圖補(bǔ)全任務(wù)訓(xùn)練模型的訓(xùn)練集的大小，確定交叉熵；通過使確定的交叉熵最小化，對知識超圖補(bǔ)全任務(wù)訓(xùn)練模型進(jìn)行優(yōu)化。

9、根據(jù)本公開的另一方面，提供一種基于知識超圖的解耦表示學(xué)習(xí)裝置，所述基于知識超圖的解耦表示學(xué)習(xí)裝置包括：初始化單元，被配置為對知識超圖中的實(shí)體、關(guān)系、屬性和值的表示向量進(jìn)行隨機(jī)初始化，其中，實(shí)體的表示向量包括多個(gè)子表示向量，所述多個(gè)子表示向量的數(shù)量基于實(shí)體所具有的語義的數(shù)量而確定，并且關(guān)系、屬性和值的表示向量的維度與實(shí)體的子表示向量的維度相同；更新單元，被配置為基于從每個(gè)實(shí)體的鄰居實(shí)體傳遞的信息，對每個(gè)實(shí)體所包括的多個(gè)子表示向量進(jìn)行更新；補(bǔ)全單元，被配置為利用知識超圖補(bǔ)全任務(wù)訓(xùn)練模型，基于更新的實(shí)體和關(guān)系的向量表示，確定超邊中缺失的實(shí)體。

10、可選地，所述更新單元進(jìn)一步被配置為：針對任意一個(gè)實(shí)體的子表示向量，確定由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息；基于由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息，利用激活函數(shù)對所述任意一個(gè)實(shí)體的子表示向量進(jìn)行更新。

11、可選地，所述激活函數(shù)包括relu函數(shù)。

12、可選地，所述補(bǔ)全單元進(jìn)一步被配置為：基于預(yù)定參數(shù)矩陣以及屬性和值的表示向量，確定語義聚合成的向量；基于語義聚合成的向量、預(yù)定權(quán)重參數(shù)和關(guān)系的表示向量，確定結(jié)合向量；基于結(jié)合向量和鄰居實(shí)體的相同序數(shù)的子表示向量，利用激活函數(shù)確定由鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息。

13、可選地，所述激活函數(shù)包括relu函數(shù)。

14、可選地，所述補(bǔ)全單元進(jìn)一步被配置為：基于更新的實(shí)體和關(guān)系的向量表示，對超邊中的已知部分的子表示向量進(jìn)行初始化和向量拼接；將拼接得到的向量輸入神經(jīng)網(wǎng)絡(luò)模型，以得到語義表示向量；對語義表示向量進(jìn)行線性變換，并將線性變換后的結(jié)果與候選實(shí)體的相同序數(shù)的子表示向量相乘，以得到每個(gè)候選實(shí)體對于相同序數(shù)的語義的可能性分?jǐn)?shù)；基于所述可能性分?jǐn)?shù)以及基于關(guān)系而賦予的權(quán)重，利用歸一化函數(shù)確定每個(gè)候選實(shí)體的加權(quán)總分?jǐn)?shù)；將加權(quán)總分?jǐn)?shù)最大的候選實(shí)體確定為超邊中缺失的實(shí)體。

15、可選地，所述基于知識超圖的解耦表示學(xué)習(xí)裝置還包括模型優(yōu)化單元，所述模型優(yōu)化單元被配置為：基于每個(gè)候選實(shí)體的加權(quán)總分?jǐn)?shù)、標(biāo)識每個(gè)候選實(shí)體是否為正確的未知實(shí)體的變量以及知識超圖補(bǔ)全任務(wù)訓(xùn)練模型的訓(xùn)練集的大小，確定交叉熵；通過使確定的交叉熵最小化，對知識超圖補(bǔ)全任務(wù)訓(xùn)練模型進(jìn)行優(yōu)化。

16、根據(jù)本公開的另一方面，提供一種包括至少一個(gè)計(jì)算裝置和至少一個(gè)存儲指令的存儲裝置的計(jì)算系統(tǒng)，其中，所述指令在被所述至少一個(gè)計(jì)算裝置運(yùn)行時(shí)，促使所述至少一個(gè)計(jì)算裝置執(zhí)行如上所述的基于知識超圖的解耦表示學(xué)習(xí)方法。

17、根據(jù)本公開的再一方面，提供一種存儲指令的計(jì)算機(jī)可讀存儲介質(zhì)，其中，當(dāng)所述指令被至少一個(gè)計(jì)算裝置運(yùn)行時(shí)，促使所述至少一個(gè)計(jì)算裝置執(zhí)行如上所述的基于知識超圖的解耦表示學(xué)習(xí)方法。

18、通過采用本公開，能夠處理結(jié)構(gòu)復(fù)雜的知識超圖、建模實(shí)體多方面語義，通過對實(shí)體的不同語義進(jìn)行解耦，學(xué)習(xí)實(shí)體和關(guān)系的高質(zhì)量向量表示。

技術(shù)特征：

1.一種基于知識超圖的解耦表示學(xué)習(xí)方法，其特征在于，所述基于知識超圖的解耦表示學(xué)習(xí)方法包括：

2.根據(jù)權(quán)利要求1所述的基于知識超圖的解耦表示學(xué)習(xí)方法，其特征在于，基于從每個(gè)實(shí)體的鄰居實(shí)體傳遞的信息，對每個(gè)實(shí)體所包括的多個(gè)子表示向量進(jìn)行更新的步驟包括：

3.根據(jù)權(quán)利要求2所述的基于知識超圖的解耦表示學(xué)習(xí)方法，其特征在于，所述激活函數(shù)包括relu函數(shù)。

4.根據(jù)權(quán)利要求2所述的基于知識超圖的解耦表示學(xué)習(xí)方法，其特征在于，針對任意一個(gè)實(shí)體的子表示向量，確定由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息的步驟包括：

5.根據(jù)權(quán)利要求4所述的基于知識超圖的解耦表示學(xué)習(xí)方法，其特征在于，所述激活函數(shù)包括relu函數(shù)。

6.根據(jù)權(quán)利要求1所述的基于知識超圖的解耦表示學(xué)習(xí)方法，其特征在于，利用知識超圖補(bǔ)全任務(wù)訓(xùn)練模型，基于更新的實(shí)體和關(guān)系的向量表示，確定超邊中缺失的實(shí)體的步驟包括：

7.根據(jù)權(quán)利要求6所述的基于知識超圖的解耦表示學(xué)習(xí)方法，其特征在于，所述基于知識超圖的解耦表示學(xué)習(xí)方法還包括：

8.一種基于知識超圖的解耦表示學(xué)習(xí)裝置，其特征在于，所述基于知識超圖的解耦表示學(xué)習(xí)裝置包括：

9.一種包括至少一個(gè)計(jì)算裝置和至少一個(gè)存儲指令的存儲裝置的計(jì)算系統(tǒng)，其特征在于，所述指令在被所述至少一個(gè)計(jì)算裝置運(yùn)行時(shí)，促使所述至少一個(gè)計(jì)算裝置執(zhí)行根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的基于知識超圖的解耦表示學(xué)習(xí)方法。

10.一種存儲指令的計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，當(dāng)所述指令被至少一個(gè)計(jì)算裝置運(yùn)行時(shí)，促使所述至少一個(gè)計(jì)算裝置執(zhí)行根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的基于知識超圖的解耦表示學(xué)習(xí)方法。

技術(shù)總結(jié)
本公開涉及一種基于知識超圖的解耦表示學(xué)習(xí)方法及裝置。所述解耦表示學(xué)習(xí)方法包括：對知識超圖中的實(shí)體、關(guān)系、屬性和值的表示向量進(jìn)行隨機(jī)初始化，其中，實(shí)體的表示向量包括多個(gè)子表示向量，所述多個(gè)子表示向量的數(shù)量基于實(shí)體所具有的語義的數(shù)量而確定，并且關(guān)系、屬性和值的表示向量的維度與實(shí)體的子表示向量的維度相同；基于從每個(gè)實(shí)體的鄰居實(shí)體傳遞的信息，對每個(gè)實(shí)體所包括的多個(gè)子表示向量進(jìn)行更新；利用知識超圖補(bǔ)全任務(wù)訓(xùn)練模型，基于更新的實(shí)體和關(guān)系的向量表示，確定超邊中缺失的實(shí)體。通過采用本公開，能夠處理結(jié)構(gòu)復(fù)雜的知識超圖、建模實(shí)體多方面語義，通過對實(shí)體的不同語義進(jìn)行解耦，學(xué)習(xí)實(shí)體和關(guān)系的高質(zhì)量向量表示。

技術(shù)研發(fā)人員：王子康,李林靜,曾大軍
受保護(hù)的技術(shù)使用者：中國科學(xué)院自動化研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21