本技術(shù)屬于人工智能和自然語言處理,具體涉及一種基于大語言模型與知識圖譜協(xié)同的智能問答方法。
背景技術(shù):
1、隨著生成式ai技術(shù)的快速發(fā)展,基于大語言模型的智能問答系統(tǒng)已經(jīng)成為自然語言處理領(lǐng)域的重要研究熱點。此類系統(tǒng)旨在通過自然語言形式的提問,結(jié)合上下文環(huán)境為用戶提供準(zhǔn)確且可信的回答,從而改進用戶的搜索體驗。智能問答系統(tǒng)主要由三個模塊構(gòu)成:問題分析模塊、信息檢索模塊和答案抽取模塊。這三個模塊協(xié)同工作,以確保從用戶的提問到最終答案的生成流程高效且準(zhǔn)確。
2、智能問答系統(tǒng)的發(fā)展大致經(jīng)歷了幾個階段,包括基于大規(guī)模文檔集的問答系統(tǒng)、基于問題答案對(如faq和cqa)的問答系統(tǒng)、基于知識圖譜的問答系統(tǒng)以及基于大規(guī)模語言模型的問答系統(tǒng)。每個階段的技術(shù)都有其特定的優(yōu)勢和局限性。例如,基于大規(guī)模文檔集的問答系統(tǒng)可以訪問大量的非結(jié)構(gòu)化數(shù)據(jù),但對復(fù)雜問題的理解不夠準(zhǔn)確;基于問題答案對的問答系統(tǒng)雖然能提供高質(zhì)量的答案,但獲取和維護這些問答對的成本較高,且在面對多樣化的用戶提問時表現(xiàn)不佳;基于知識圖譜的問答系統(tǒng)能夠提供結(jié)構(gòu)化和詳細的答案,但在構(gòu)建和維護知識圖譜時成本高昂;而基于大規(guī)模語言模型的問答系統(tǒng)如chatgpt,則以其強大的自然語言理解和生成能力而聞名,但在垂直領(lǐng)域知識問答時存在準(zhǔn)確性問題。
3、盡管智能問答系統(tǒng)已經(jīng)在意圖識別、信息檢索和答案生成等方面取得了顯著進步,然而現(xiàn)有的智能問答系統(tǒng)在處理需要多步推理和多種推理技巧的問題時,如多跳推理、計數(shù)等,將復(fù)雜問題分解為簡單問題并準(zhǔn)確描述其邏輯推理過程是一大難題。大語言模型雖然具有強大的語言理解和內(nèi)容生成能力,但其生成的內(nèi)容缺乏可解釋性,且存在事實上的錯誤。同時,知識圖譜雖然具有高度結(jié)構(gòu)化和可解釋性,但是構(gòu)建成本高,而且在自然語言處理方面相對較弱。大語言模型在更新知識時較慢,并且難以整合長尾知識,還存在數(shù)據(jù)泄露的風(fēng)險。此外,訓(xùn)練和推理的成本高昂,這限制了它們獲取新知識的能力。
技術(shù)實現(xiàn)思路
1、本技術(shù)提供了一種基于大語言模型與知識圖譜協(xié)同的智能問答方法,以解決復(fù)雜問題的可解釋性差的問題。
2、本技術(shù)所采用的技術(shù)方案為:
3、本技術(shù)實施例提供一種基于大語言模型與知識圖譜協(xié)同的智能問答方法,包括:
4、將復(fù)雜問題拆解為多個簡單問題,分析所述簡單問題與基本函數(shù)的關(guān)聯(lián)程度,以形成多跳推理路徑;
5、基于大模型的多任務(wù)學(xué)習(xí)框架對所述簡單問題自動抽取結(jié)構(gòu)化信息,以構(gòu)建知識圖譜;
6、構(gòu)建基于邏輯推理大模型的累積推理學(xué)習(xí)框架,對所述知識圖譜基于所述多跳推理路徑形成的過程結(jié)果進行迭代驗證,以修正推理路徑,直至推理出正確答案。
7、本技術(shù)提供的一種基于大語言模型與知識圖譜協(xié)同的智能問答方法還包括下述附加技術(shù)特征:所述將復(fù)雜問題拆解為多個簡單問題,具體為:
8、基于通用基礎(chǔ)大模型進行微調(diào)訓(xùn)練,以強化大模型的邏輯推理能力,使用指令微調(diào)對大模型的輸出進行條件約束,確保所述復(fù)雜問題拆分后的每個子問題僅包含一個三元組,這樣每個所述子問題就用一個基本函數(shù)進行求解,并且每個所述子問題僅包含單一的關(guān)系,從而成為所述簡單問題。
9、根據(jù)本技術(shù)的一個實施例,所述分析所述簡單問題與基本函數(shù)的關(guān)聯(lián)程度,以形成多跳推理路徑,具體為:
10、將每個所述簡單問題視為一個智能體,使用多智能體強化學(xué)習(xí)的基本函數(shù)調(diào)用模型,在所述簡單問題和基本函數(shù)之間建立匹配關(guān)系,優(yōu)化選擇策略;
11、基于逆二叉樹的可變長度推理路徑描述方法,將所述復(fù)雜問題的程序建模拆解為一個多步驟程序,利用逐步的中間程序求解來模擬回答問題的復(fù)雜邏輯推理過程。
12、根據(jù)本技術(shù)的一個實施例,基于大模型的多任務(wù)學(xué)習(xí)框架對所述簡單問題自動抽取結(jié)構(gòu)化信息,以構(gòu)建知識圖譜,具體為:
13、將所述復(fù)雜問題拆解為多個所述簡單問題,并進行向量化表示,將向量化后的所述簡單問題與向量庫內(nèi)容進行語義相似度匹配,查找出與所述簡單問題語義最接近的詞,嵌入所對應(yīng)的文本塊,對檢索的文本塊自動抽取結(jié)構(gòu)化信息;
14、基于大模型的多任務(wù)學(xué)習(xí)框架,通過人類指令來指導(dǎo)輸出,對信息抽取任務(wù)進行統(tǒng)一建模,并捕獲任務(wù)間的依賴關(guān)系,給定源文本和特定任務(wù)的指令后,對所述大模型進行訓(xùn)練以生成表示所需輸出結(jié)構(gòu)及其相應(yīng)標(biāo)簽的令牌序列,利用圖神經(jīng)網(wǎng)絡(luò)構(gòu)建領(lǐng)域知識圖譜,利用圖神經(jīng)網(wǎng)絡(luò)的信息傳播機制學(xué)習(xí)數(shù)據(jù)間的語義關(guān)系。
15、根據(jù)本技術(shù)的一個實施例,所述構(gòu)建基于邏輯推理大模型的累積推理學(xué)習(xí)框架,對所述知識圖譜基于所述多跳推理路徑形成的過程結(jié)果進行迭代驗證,以修正推理路徑,直至推理出正確答案,具體為:
16、基于所述復(fù)雜問題生成的所述多跳推理路徑,不同的所述知識圖譜給出各自的邏輯推理路徑;
17、引入決策者和驗證者,所述決策者負責(zé)根據(jù)當(dāng)前上下文選擇潛在的推理路徑或生成可能的結(jié)果,所述驗證者則根據(jù)累積的上下文判斷當(dāng)前推理路徑的準(zhǔn)確性,并評估當(dāng)前結(jié)果是否為最終的推理結(jié)果;
18、每個處理單元的輸出作為下一個單元的輸入,每個單元的推理結(jié)果累積起來,利用所述邏輯推理大模型對每個所述處理單元的輸出進行迭代驗證,確保在推理每個中間環(huán)節(jié)都能評估當(dāng)前的推理結(jié)果;
19、建立反饋循環(huán)機制,使所述邏輯推理大模型能夠根據(jù)驗證結(jié)果動態(tài)調(diào)整推理路徑。
20、根據(jù)本技術(shù)的一個實施例,所述給定源文本和特定任務(wù)的指令后,對所述大模型進行訓(xùn)練以生成表示所需輸出結(jié)構(gòu)及其相應(yīng)標(biāo)簽的令牌序列,具體為:
21、設(shè)計描述性指令,所述指令幫助所述大模型理解不同的信息提取任務(wù),并采用包括所有候選類別的選項機制作為輸出空間的約束;任務(wù)指令提供足夠的信息,以確保所述大模型能夠從輸入文本中提取相關(guān)信息并生成所需的輸出結(jié)構(gòu),包括要提取的信息類型、輸出結(jié)構(gòu)的格式以及在提取過程中需要遵循的任何附加約束或規(guī)則;
22、在訓(xùn)練期間,提供所有任務(wù)的指令,并根據(jù)每個任務(wù)的一組標(biāo)記數(shù)據(jù)對模型進行微調(diào);
23、對于所述源文本,設(shè)計的所述描述性指令將引導(dǎo)預(yù)先訓(xùn)練的語言模型生成目標(biāo)結(jié)構(gòu)及其相應(yīng)的類型,所述模型將以自然語言的形式生成目標(biāo)結(jié)構(gòu),同時生成與之相對應(yīng)的標(biāo)簽;
24、每個任務(wù)實例都包含四個屬性:任務(wù)指令、選項、輸入文本和輸出,任務(wù)指令描述了如何從輸入文本中提取相關(guān)信息并生成所需的輸出結(jié)構(gòu);選項是任務(wù)的輸出標(biāo)簽約束;輸入文本是所述任務(wù)實例的輸入句子,而輸出則是從樣本的原始標(biāo)簽轉(zhuǎn)換而來的句子;
25、最終生成的令牌序列用于構(gòu)建所述知識圖譜。
26、根據(jù)本技術(shù)的一個實施例,所述任務(wù)指令描述了如何從輸入文本中提取相關(guān)信息并生成所需的輸出結(jié)構(gòu);所述選項是任務(wù)的輸出標(biāo)簽約束;所述輸入文本是所述任務(wù)實例的輸入句子,所述輸出是從樣本的原始標(biāo)簽轉(zhuǎn)換而來的句子。
27、一種包含指令的計算機程序產(chǎn)品,當(dāng)其在設(shè)備上運行時,使得設(shè)備執(zhí)行實現(xiàn)基于大語言模型與知識圖譜協(xié)同的智能問答方法中的步驟。
28、一種計算機可讀存儲介質(zhì),其上存儲有程序,該程序被處理器執(zhí)行時實現(xiàn)基于大語言模型與知識圖譜協(xié)同的智能問答方法中的步驟。
29、一種電子設(shè)備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的程序,所述處理器執(zhí)行所述程序時實現(xiàn)基于大語言模型與知識圖譜協(xié)同的智能問答方法中的步驟。
30、由于采用了上述技術(shù)方案,本技術(shù)所取得的有益效果為:
31、1.本技術(shù)將大模型與知識圖譜深度協(xié)同,構(gòu)建了基于知識圖譜檢索增強生成模型的智能問答系統(tǒng)。在問題分析環(huán)節(jié),基于大模型思維鏈對復(fù)雜問題拆解,并用逆二叉樹描述其邏輯推理過程;在信息檢索環(huán)節(jié),基于大模型多任務(wù)調(diào)優(yōu)指令模型對檢索到的文本進行信息抽取,并自動構(gòu)建知識圖譜;在答案生成環(huán)節(jié),利用累積推理學(xué)習(xí)框架根據(jù)問題描述從知識圖譜中推理正確的答案,從而改變現(xiàn)有知識問答范式,提升復(fù)雜問題的邏輯解析能力、知識結(jié)構(gòu)化表示能力和多跳問答的過程推理能力,實現(xiàn)從海量文本庫中推理出可解釋性答案。
32、2.本技術(shù)通過使用基于大模型思維鏈的復(fù)雜問題邏輯推理過程描述方法,實現(xiàn)了將復(fù)雜問題轉(zhuǎn)化為簡單問答推理組合問題,提升了復(fù)雜問題多跳推理回答的準(zhǔn)確率。
33、3.本技術(shù)使用大模型提升知識圖譜構(gòu)建精度,構(gòu)建了基于大模型多任務(wù)指令調(diào)優(yōu)的領(lǐng)域知識圖譜,增強了大模型掛載外部數(shù)據(jù)的問答范式可解釋性。
34、4.本技術(shù)搭建了基于邏輯推理大模型的累積推理學(xué)習(xí)框架,解決了知識謬誤問題,并降低了多跳推理問答中的推理誤差。
35、5.本技術(shù)構(gòu)建了大模型和知識圖譜協(xié)同驅(qū)動的新型智能問答系統(tǒng),該系統(tǒng)具備了更加深入的語義理解能力、強大的知識表示和推理能力,實現(xiàn)了復(fù)雜問題的可解釋性推理,進一步推動了該領(lǐng)域的發(fā)展。