本發(fā)明涉及大數(shù)據(jù)，尤其涉及一種數(shù)據(jù)管理方法、裝置、系統(tǒng)、存儲介質(zhì)、程序產(chǎn)品和設(shè)備。

背景技術(shù)：

1、在人工智能技術(shù)中，廣泛使用深度學(xué)習(xí)對模型進(jìn)行訓(xùn)練，訓(xùn)練時需要大量的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)如何存儲和管理，以及數(shù)據(jù)的合規(guī)性都至關(guān)重要。針對訓(xùn)練數(shù)據(jù)的存儲和管理，業(yè)界廣泛使用數(shù)據(jù)湖技術(shù)。數(shù)據(jù)湖是集大數(shù)據(jù)存儲、處理、分析的一種基礎(chǔ)設(shè)施，可以對結(jié)構(gòu)化、非結(jié)構(gòu)化等各種數(shù)據(jù)進(jìn)行全量存儲、多模式處理與全生命周期管理。針對數(shù)據(jù)的合規(guī)性，數(shù)據(jù)是人工智能的基礎(chǔ)，數(shù)據(jù)的合規(guī)和準(zhǔn)確直接影響模型最終效果。業(yè)界目前的做法是在訓(xùn)練前，通過自動或者人工等方式對數(shù)據(jù)進(jìn)行預(yù)處理和校驗，例如對于非結(jié)構(gòu)圖片數(shù)據(jù)，如果缺少標(biāo)注數(shù)據(jù)或者標(biāo)注數(shù)據(jù)錯誤，都需要重新生成或者修復(fù)標(biāo)注數(shù)據(jù)。

2、當(dāng)前iceberg/hudi/delta等主流的開源數(shù)據(jù)湖產(chǎn)品在數(shù)據(jù)入湖時，數(shù)據(jù)的原始內(nèi)容也一起存儲在數(shù)據(jù)湖中，數(shù)據(jù)類型不同，數(shù)據(jù)的原始內(nèi)容也有所差異，圖片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)會占用較大空間，會嚴(yán)重影響數(shù)據(jù)查詢效率。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有存在的技術(shù)問題，本發(fā)明實施例提供一種數(shù)據(jù)管理方法、裝置、系統(tǒng)、存儲介質(zhì)、程序產(chǎn)品和設(shè)備。

2、為達(dá)到上述目的，本發(fā)明實施例的技術(shù)方案是這樣實現(xiàn)的：

3、第一方面，本發(fā)明實施例提供一種數(shù)據(jù)管理方法，應(yīng)用于第一服務(wù)器；所述方法包括：

4、獲取目標(biāo)數(shù)據(jù)對應(yīng)的第一配置信息，所述第一配置信息至少包括所述目標(biāo)數(shù)據(jù)的第一地址信息和數(shù)據(jù)類型；

5、在基于所述數(shù)據(jù)類型確定所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)的情況下，根據(jù)所述第一地址信息對所述目標(biāo)數(shù)據(jù)進(jìn)行對象存儲，獲得所述目標(biāo)數(shù)據(jù)基于對象存儲的第一索引信息，以及將所述目標(biāo)數(shù)據(jù)的第一相關(guān)信息記錄在數(shù)據(jù)湖關(guān)聯(lián)的數(shù)據(jù)表中；所述第一相關(guān)信息至少包括所述第一地址信息、所述目標(biāo)數(shù)據(jù)的第一標(biāo)識信息和所述第一索引信息；

6、根據(jù)所述數(shù)據(jù)表確定所述第一配置信息對應(yīng)的第一處理結(jié)果。

7、第二方面，本發(fā)明實施例還提供一種數(shù)據(jù)管理方法，應(yīng)用于第二服務(wù)器；所述方法包括：

8、獲取目標(biāo)數(shù)據(jù)在數(shù)據(jù)湖中關(guān)聯(lián)的數(shù)據(jù)表的第二配置信息，所述第二配置信息至少包括所述數(shù)據(jù)表的第二標(biāo)識信息；

9、根據(jù)所述第二標(biāo)識信息確定所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)類型，在基于所述數(shù)據(jù)類型確定所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)的情況下，獲取所述目標(biāo)數(shù)據(jù)在所述數(shù)據(jù)表中的第一索引信息，根據(jù)所述第一索引信息獲取所述目標(biāo)數(shù)據(jù)，根據(jù)所述目標(biāo)數(shù)據(jù)確定所述第二配置信息對應(yīng)的第二處理結(jié)果；其中，所述數(shù)據(jù)表中記錄有至少一個數(shù)據(jù)各自對應(yīng)的第一相關(guān)信息，所述第一相關(guān)信息至少包括數(shù)據(jù)的地址信息、標(biāo)識信息以及基于對象存儲的索引信息。

10、第三方面，本發(fā)明實施例還提供一種數(shù)據(jù)管理方法，應(yīng)用于數(shù)據(jù)管理平臺；所述方法包括：

11、基于第一用戶輸入獲取第一配置信息，向第一服務(wù)器發(fā)送所述第一配置信息，所述第一配置信息至少包括目標(biāo)數(shù)據(jù)的第一地址信息和數(shù)據(jù)類型；

12、接收所述第一服務(wù)器發(fā)送的第一處理結(jié)果，所述第一處理結(jié)果中包括所述目標(biāo)數(shù)據(jù)在數(shù)據(jù)湖中關(guān)聯(lián)的數(shù)據(jù)表；其中，在所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)的情況下，所述數(shù)據(jù)表中記錄有所述目標(biāo)數(shù)據(jù)的第一相關(guān)信息，所述第一相關(guān)信息至少包括所述第一地址信息、所述目標(biāo)數(shù)據(jù)的第一標(biāo)識信息和所述目標(biāo)數(shù)據(jù)基于對象存儲獲得的第一索引信息；和/或，

13、基于第二用戶輸入獲取第二配置信息，向第二服務(wù)器發(fā)送所述第二配置信息，所述第二配置信息至少包括所述數(shù)據(jù)表的第二標(biāo)識信息；

14、接收所述第二服務(wù)器發(fā)送的第二處理結(jié)果；其中，在所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)的情況下，所述第二處理結(jié)果中至少包括所述目標(biāo)數(shù)據(jù)，所述目標(biāo)數(shù)據(jù)根據(jù)所述第一索引信息獲得。

15、第四方面，本發(fā)明實施例還提供一種數(shù)據(jù)管理裝置，包括第一獲取單元和第一處理單元；其中，

16、所述第一獲取單元，用于獲取目標(biāo)數(shù)據(jù)對應(yīng)的第一配置信息，所述第一配置信息至少包括所述目標(biāo)數(shù)據(jù)的第一地址信息和數(shù)據(jù)類型；

17、所述第一處理單元，用于在基于所述數(shù)據(jù)類型確定所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)的情況下，根據(jù)所述第一地址信息對所述目標(biāo)數(shù)據(jù)進(jìn)行對象存儲，獲得所述目標(biāo)數(shù)據(jù)在所述基于對象存儲的第一索引信息，以及將所述目標(biāo)數(shù)據(jù)的第一相關(guān)信息記錄在數(shù)據(jù)湖關(guān)聯(lián)的數(shù)據(jù)表中；所述第一相關(guān)信息至少包括所述第一地址信息、所述目標(biāo)數(shù)據(jù)的第一標(biāo)識信息和所述第一索引信息；

18、所述第一處理單元，還用于根據(jù)所述數(shù)據(jù)表確定所述第一配置信息對應(yīng)的第一處理結(jié)果。

19、第五方面，本發(fā)明實施例還提供一種數(shù)據(jù)管理裝置，包括第二獲取單元和第二處理單元；其中，

20、所述第二獲取單元，用于獲取目標(biāo)數(shù)據(jù)在數(shù)據(jù)湖中關(guān)聯(lián)的數(shù)據(jù)表的第二配置信息，所述第二配置信息至少包括所述數(shù)據(jù)表的第二標(biāo)識信息；

21、所述第二處理單元，用于根據(jù)所述第二標(biāo)識信息確定所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)類型，在基于所述數(shù)據(jù)類型確定所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)的情況下，獲取所述目標(biāo)數(shù)據(jù)在所述數(shù)據(jù)表中的第一索引信息，根據(jù)所述第一索引信息獲取所述目標(biāo)數(shù)據(jù)，根據(jù)所述目標(biāo)數(shù)據(jù)確定所述第二配置信息對應(yīng)的第二處理結(jié)果；其中，所述數(shù)據(jù)表中記錄有至少一個數(shù)據(jù)各自對應(yīng)的第一相關(guān)信息，所述第一相關(guān)信息至少包括數(shù)據(jù)的地址信息、標(biāo)識信息以及基于對象存儲的索引信息。

22、第六方面，本發(fā)明實施例還提供一種數(shù)據(jù)管理裝置，包括輸入單元和通信單元；其中，

23、所述輸入單元，用于基于第一用戶輸入獲取第一配置信息；

24、所述通信單元，用于向第一服務(wù)器發(fā)送所述第一配置信息，所述第一配置信息至少包括目標(biāo)數(shù)據(jù)的第一地址信息和數(shù)據(jù)類型；接收所述第一服務(wù)器發(fā)送的第一處理結(jié)果，所述第一處理結(jié)果中包括所述目標(biāo)數(shù)據(jù)在數(shù)據(jù)湖中關(guān)聯(lián)的數(shù)據(jù)表；其中，在所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)的情況下，所述數(shù)據(jù)表中記錄有所述目標(biāo)數(shù)據(jù)的第一相關(guān)信息，所述第一相關(guān)信息至少包括所述第一地址信息、所述目標(biāo)數(shù)據(jù)的第一標(biāo)識信息和所述目標(biāo)數(shù)據(jù)基于對象存儲獲得的第一索引信息；和/或，

25、所述輸入單元，用于基于第二用戶輸入獲取第二配置信息；

26、所述通信單元，用于向第二服務(wù)器發(fā)送所述第二配置信息，所述第二配置信息至少包括所述數(shù)據(jù)表的第二標(biāo)識信息；接收所述第二服務(wù)器發(fā)送的第二處理結(jié)果；其中，在所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)的情況下，所述第二處理結(jié)果中至少包括所述目標(biāo)數(shù)據(jù)，所述目標(biāo)數(shù)據(jù)根據(jù)所述第一索引信息獲得。

27、第七方面，本發(fā)明實施例還提供一種數(shù)據(jù)管理系統(tǒng)，所述系統(tǒng)包括數(shù)據(jù)管理平臺、第一服務(wù)器和第二服務(wù)器；其中，所述第一服務(wù)器用于實現(xiàn)前述第一方面所述方法的步驟；所述第二服務(wù)器用于實現(xiàn)前述第二方面所述方法的步驟；所述數(shù)據(jù)管理方法用于實現(xiàn)前述第三方面所述方法的步驟。

28、第八方面，本發(fā)明實施例還提供一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，該程序被處理器執(zhí)行時實現(xiàn)前述第一方面、第二方面或第三方面所述方法的步驟。

29、第九發(fā)明，本發(fā)明實施例還提供一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，所述計算機(jī)程序在被處理器執(zhí)行時實現(xiàn)前述第一方面、第二方面或第三方面所述方法的步驟。

30、第十發(fā)明，本發(fā)明實施例還提供一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，所述處理器執(zhí)行所述程序時實現(xiàn)前述第一方面、第二方面或第三方面所述方法的步驟。

31、本發(fā)明實施例的數(shù)據(jù)管理方法、裝置、系統(tǒng)、存儲介質(zhì)、程序產(chǎn)品和設(shè)備，第一服務(wù)器可在確定待入湖的目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)的情況下，對目標(biāo)數(shù)據(jù)進(jìn)行對象存儲生成對應(yīng)的第一索引信息，并將所述第一索引信息連同目標(biāo)數(shù)據(jù)的第一地址信息和第一標(biāo)識信息存儲在數(shù)據(jù)湖關(guān)聯(lián)的數(shù)據(jù)表中，能夠解決數(shù)據(jù)湖在存儲非結(jié)構(gòu)化數(shù)據(jù)時內(nèi)容列過大、檢索緩慢的問題。