本技術(shù)涉及數(shù)據(jù)處理，特別是涉及一種模型數(shù)據(jù)回流方法、電子設(shè)備及裝置。

背景技術(shù)：

1、ai(artificial?intelligence，人工智能)模型是企業(yè)和普通用戶能夠使用的用于進(jìn)行數(shù)據(jù)分析和決策的強(qiáng)大工具。通過訓(xùn)練，ai模型能夠從歷史數(shù)據(jù)中提取知識(shí)；通過推理，將這些知識(shí)應(yīng)用于新場(chǎng)景，從而做出智能決策。ai模型在推理方面具有廣泛的應(yīng)用領(lǐng)域，例如，可以充當(dāng)虛擬客服，進(jìn)行文章、報(bào)道、廣告、社交媒體帖子等內(nèi)容生成，進(jìn)行語(yǔ)言翻譯，或者進(jìn)行編程和技術(shù)支持、醫(yī)療和健康咨詢、市場(chǎng)研究和分析等。

2、在ai模型推理領(lǐng)域，對(duì)問答日志進(jìn)行收集又可以被稱為數(shù)據(jù)回流，問答日志包括用戶提出的請(qǐng)求以及ai模型做出的響應(yīng)。回流的數(shù)據(jù)可以重新運(yùn)用到模型訓(xùn)練、模型分析、或其他領(lǐng)域中。因此，在ai模型推理領(lǐng)域，進(jìn)行數(shù)據(jù)回流具有重要的作用。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的目的在于提供一種模型數(shù)據(jù)回流方法、電子設(shè)備及裝置，以對(duì)ai模型的推理數(shù)據(jù)進(jìn)行數(shù)據(jù)回流。具體技術(shù)方案如下：

2、第一方面，本技術(shù)實(shí)施例提供的一種模型數(shù)據(jù)回流方法，應(yīng)用于kong網(wǎng)關(guān)，所述方法包括：

3、接收用戶端發(fā)送的推理請(qǐng)求；

4、將所述推理請(qǐng)求轉(zhuǎn)發(fā)至用于處理所述推理請(qǐng)求的人工智能ai模型的推理服務(wù)；

5、獲得所述推理服務(wù)響應(yīng)于所述推理請(qǐng)求生成的推理結(jié)果；

6、將所述推理請(qǐng)求與所述推理結(jié)果記錄于緩存隊(duì)列中；

7、從所述緩存隊(duì)列中提取所緩存的數(shù)據(jù)，基于所提取的數(shù)據(jù)生成推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流。

8、本技術(shù)的一個(gè)實(shí)施例中，所述將所述推理請(qǐng)求與所述推理結(jié)果記錄于緩存隊(duì)列中，包括：

9、將所述推理請(qǐng)求與所述推理結(jié)果拆分為不同的數(shù)據(jù)體，其中，每一數(shù)據(jù)體中包括預(yù)設(shè)數(shù)據(jù)量的數(shù)據(jù)；

10、將各個(gè)數(shù)據(jù)體記錄于緩存隊(duì)列中；

11、所述從所述緩存隊(duì)列中提取所緩存的數(shù)據(jù)，基于所提取的數(shù)據(jù)生成推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流，包括：

12、從所述緩存隊(duì)列中提取所緩存的數(shù)據(jù)體，按照各數(shù)據(jù)體所屬的原始數(shù)據(jù)，將所提取的數(shù)據(jù)體拼接為完整的原始數(shù)據(jù)，基于拼接得到的原始數(shù)據(jù)生成推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流，其中，所述原始數(shù)據(jù)包括推理請(qǐng)求與推理結(jié)果。

13、本技術(shù)的一個(gè)實(shí)施例中，每一數(shù)據(jù)體中包括一個(gè)令牌token中包含的數(shù)據(jù)。

14、本技術(shù)的一個(gè)實(shí)施例中，所述推理請(qǐng)求與推理結(jié)果中包含推理信息，所述推理信息中包含以下信息中的至少一種：所述用戶端的標(biāo)識(shí)、所述推理服務(wù)的標(biāo)識(shí)、所對(duì)應(yīng)的原始數(shù)據(jù)的時(shí)間戳、所屬的會(huì)話的標(biāo)識(shí)，其中，所述原始數(shù)據(jù)包括推理請(qǐng)求與推理結(jié)果，同一組用戶端與推理服務(wù)之間交互的推理請(qǐng)求與推理結(jié)果屬于同一會(huì)話；

15、所述基于所提取的數(shù)據(jù)生成推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流，包括：

16、根據(jù)推理信息，將所提取的屬于同一會(huì)話的數(shù)據(jù)合并至同一推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流。

17、本技術(shù)的一個(gè)實(shí)施例中，在所述獲得所述推理服務(wù)響應(yīng)于所述推理請(qǐng)求生成的推理結(jié)果之后，還包括：

18、向所述用戶端發(fā)送所述推理結(jié)果。

19、第二方面，本技術(shù)實(shí)施例提供的一種電子設(shè)備，所述電子設(shè)備上運(yùn)行有kong網(wǎng)關(guān)，所述電子設(shè)備包括：

20、處理器；

21、收發(fā)器；

22、機(jī)器可讀存儲(chǔ)介質(zhì)，所述機(jī)器可讀存儲(chǔ)介質(zhì)存儲(chǔ)有能夠被所述處理器執(zhí)行的機(jī)器可執(zhí)行指令；所述機(jī)器可執(zhí)行指令促使所述處理器執(zhí)行以下步驟：

23、接收用戶端發(fā)送的推理請(qǐng)求；

24、將所述推理請(qǐng)求轉(zhuǎn)發(fā)至用于處理所述推理請(qǐng)求的人工智能ai模型的推理服務(wù)；

25、獲得所述推理服務(wù)響應(yīng)于所述推理請(qǐng)求生成的推理結(jié)果；

26、將所述推理請(qǐng)求與所述推理結(jié)果記錄于緩存隊(duì)列中；

27、從所述緩存隊(duì)列中提取所緩存的數(shù)據(jù)，基于所提取的數(shù)據(jù)生成推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流。

28、本技術(shù)的一個(gè)實(shí)施例中，所述將所述推理請(qǐng)求與所述推理結(jié)果記錄于緩存隊(duì)列中，包括：

29、將所述推理請(qǐng)求與所述推理結(jié)果拆分為不同的數(shù)據(jù)體，其中，每一數(shù)據(jù)體中包括預(yù)設(shè)數(shù)據(jù)量的數(shù)據(jù)；

30、將各個(gè)數(shù)據(jù)體記錄于緩存隊(duì)列中；

31、所述從所述緩存隊(duì)列中提取所緩存的數(shù)據(jù)，基于所提取的數(shù)據(jù)生成推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流，包括：

32、從所述緩存隊(duì)列中提取所緩存的數(shù)據(jù)體，按照各數(shù)據(jù)體所屬的原始數(shù)據(jù)，將所提取的數(shù)據(jù)體拼接為完整的原始數(shù)據(jù)，基于拼接得到的原始數(shù)據(jù)生成推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流，其中，所述原始數(shù)據(jù)包括推理請(qǐng)求與推理結(jié)果。

33、本技術(shù)的一個(gè)實(shí)施例中，每一數(shù)據(jù)體中包括一個(gè)令牌t0ken中包含的數(shù)據(jù)。

34、本技術(shù)的一個(gè)實(shí)施例中，所述推理請(qǐng)求與推理結(jié)果中包含推理信息，所述推理信息中包含以下信息中的至少一種：所述用戶端的標(biāo)識(shí)、所述推理服務(wù)的標(biāo)識(shí)、所對(duì)應(yīng)的原始數(shù)據(jù)的時(shí)間戳、所屬的會(huì)話的標(biāo)識(shí)，其中，所述原始數(shù)據(jù)包括推理請(qǐng)求與推理結(jié)果，同一組用戶端與推理服務(wù)之間交互的推理請(qǐng)求與推理結(jié)果屬于同一會(huì)話；

35、所述基于所提取的數(shù)據(jù)生成推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流，包括：

36、根據(jù)推理信息，將所提取的屬于同一會(huì)話的數(shù)據(jù)合并至同一推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流。

37、本技術(shù)的一個(gè)實(shí)施例中，所述機(jī)器可執(zhí)行指令還促使所述處理器在所述獲得所述推理服務(wù)響應(yīng)于所述推理請(qǐng)求生成的推理結(jié)果之后，執(zhí)行以下步驟：

38、向所述用戶端發(fā)送所述推理結(jié)果。

39、第三方面，本技術(shù)實(shí)施例提供了一種模型數(shù)據(jù)回流裝置，應(yīng)用于kong網(wǎng)關(guān)，所述裝置包括：

40、請(qǐng)求接收模塊，用于接收用戶端發(fā)送的推理請(qǐng)求；

41、請(qǐng)求轉(zhuǎn)發(fā)模塊，用于將所述推理請(qǐng)求轉(zhuǎn)發(fā)至用于處理所述推理請(qǐng)求的人工智能ai模型的推理服務(wù)；

42、結(jié)果獲得模塊，用于獲得所述推理服務(wù)響應(yīng)于所述推理請(qǐng)求生成的推理結(jié)果；

43、結(jié)果記錄模塊，用于將所述推理請(qǐng)求與所述推理結(jié)果記錄于緩存隊(duì)列中；

44、日志生成模塊，用于從所述緩存隊(duì)列中提取所緩存的數(shù)據(jù)，基于所提取的數(shù)據(jù)生成推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流。

45、本技術(shù)的一個(gè)實(shí)施例中，所述結(jié)果記錄模塊，具體用于：

46、將所述推理請(qǐng)求與所述推理結(jié)果拆分為不同的數(shù)據(jù)體，其中，每一數(shù)據(jù)體中包括預(yù)設(shè)數(shù)據(jù)量的數(shù)據(jù)；

47、將各個(gè)數(shù)據(jù)體記錄于緩存隊(duì)列中；

48、所述日志生成模塊，具體用于：

49、從所述緩存隊(duì)列中提取所緩存的數(shù)據(jù)體，按照各數(shù)據(jù)體所屬的原始數(shù)據(jù)，將所提取的數(shù)據(jù)體拼接為完整的原始數(shù)據(jù)，基于拼接得到的原始數(shù)據(jù)生成推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流，其中，所述原始數(shù)據(jù)包括推理請(qǐng)求與推理結(jié)果。

50、本技術(shù)的一個(gè)實(shí)施例中，每一數(shù)據(jù)體中包括一個(gè)令牌t0ken中包含的數(shù)據(jù)。

51、本技術(shù)的一個(gè)實(shí)施例中，所述推理請(qǐng)求與推理結(jié)果中包含推理信息，所述推理信息中包含以下信息中的至少一種：所述用戶端的標(biāo)識(shí)、所述推理服務(wù)的標(biāo)識(shí)、所對(duì)應(yīng)的原始數(shù)據(jù)的時(shí)間戳、所屬的會(huì)話的標(biāo)識(shí)，其中，所述原始數(shù)據(jù)包括推理請(qǐng)求與推理結(jié)果，同一組用戶端與推理服務(wù)之間交互的推理請(qǐng)求與推理結(jié)果屬于同一會(huì)話；

52、所述日志生成模塊，具體用于：

53、從所述緩存隊(duì)列中提取所緩存的數(shù)據(jù)，根據(jù)推理信息，將所提取的屬于同一會(huì)話的數(shù)據(jù)合并至同一推理日志，以實(shí)現(xiàn)模型數(shù)據(jù)回流。

54、本技術(shù)的一個(gè)實(shí)施例中，所述裝置還包括：

55、結(jié)果發(fā)送模塊，用于向所述用戶端發(fā)送所述推理結(jié)果。

56、第四方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面任一方法步驟。

57、第五方面，本技術(shù)實(shí)施例還提供了一種包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行上述第一方面任一所述的方法。

58、本技術(shù)實(shí)施例有益效果：

59、本技術(shù)實(shí)施例中可以通過kong網(wǎng)關(guān)接收用戶端發(fā)送的推理請(qǐng)求，kong網(wǎng)關(guān)能夠?qū)⑼评碚?qǐng)求轉(zhuǎn)發(fā)至與推理請(qǐng)求相匹配的ai模型的推理服務(wù)，并獲得推理結(jié)果，之后將推理請(qǐng)求和推理結(jié)果存儲(chǔ)至緩存隊(duì)列中，再?gòu)木彺骊?duì)列中提取緩存的數(shù)據(jù)，并生成推理日志。由于推理日志是基于推理請(qǐng)求和推理結(jié)果生成的，因此生成的推理日志可以應(yīng)用于后續(xù)的模型訓(xùn)練、模型分析、或其他領(lǐng)域中，相當(dāng)于完成了模型數(shù)據(jù)回流。

60、并且，由于kong網(wǎng)關(guān)能夠通過自定義插件完成功能擴(kuò)展，因此在kong網(wǎng)關(guān)中添加完成本技術(shù)實(shí)施例提供的方案的程序不會(huì)影響到原本的業(yè)務(wù)代碼，在對(duì)ai模型推理不會(huì)造成影響的情況下，實(shí)現(xiàn)高效異步的模型數(shù)據(jù)回流。

61、再者本技術(shù)實(shí)施例中使用了緩存隊(duì)列暫存推理請(qǐng)求和推理結(jié)果，使得推理請(qǐng)求推理結(jié)果的收集至緩存隊(duì)列中的過程與從緩存隊(duì)列中提取數(shù)據(jù)生成推理日志的過程解耦。在ai模型推理高并發(fā)產(chǎn)生大量數(shù)據(jù)的場(chǎng)景下，ai模型會(huì)生成大量數(shù)據(jù)。相關(guān)技術(shù)中為了保證數(shù)據(jù)回流的效果，ai模型在推理生成大量的數(shù)據(jù)后需要等待數(shù)據(jù)回流結(jié)束才能繼續(xù)進(jìn)行下一輪推理，以防止所產(chǎn)生的大量的數(shù)據(jù)未被記錄造成數(shù)據(jù)遺失。但本技術(shù)實(shí)施例中，由于數(shù)據(jù)收集與生成推理日志的過程解耦，因此ai模型可以持續(xù)進(jìn)行推理，數(shù)據(jù)回流的過程不會(huì)對(duì)ai模型的推理造成影響。