本技術(shù)涉及數(shù)據(jù)管理，尤其涉及一種數(shù)據(jù)質(zhì)量管理方法、裝置及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、在當(dāng)今大數(shù)據(jù)時代，數(shù)據(jù)質(zhì)量問題正得到越來越多的關(guān)注，它不僅是一項基礎(chǔ)的數(shù)據(jù)處理工作，幫助清洗存在質(zhì)量問題的數(shù)據(jù)、整合干凈數(shù)據(jù)，并提供高質(zhì)量的數(shù)據(jù)服務(wù)，更是企業(yè)開發(fā)上層應(yīng)用、挖掘數(shù)據(jù)價值、制定正確決策的必要前提，直接影響數(shù)據(jù)所能帶來的社會價值和經(jīng)濟(jì)效益。

2、目前，企業(yè)主要是通過人工檢查數(shù)據(jù)表是否存在質(zhì)量問題、對存在問題的數(shù)據(jù)表進(jìn)行清洗等，實現(xiàn)對數(shù)據(jù)質(zhì)量的管理，該方式存在著耗時耗力、效率低的問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供一種數(shù)據(jù)質(zhì)量管理方法、裝置及計算機(jī)可讀存儲介質(zhì)，可以幫助企業(yè)進(jìn)行數(shù)據(jù)質(zhì)量管理，有效提高數(shù)據(jù)質(zhì)量管理的效率。

2、第一方面，提供一種數(shù)據(jù)質(zhì)量管理方法，該方法包括如下步驟；

3、計算設(shè)備獲取用戶輸入或選擇的第一數(shù)據(jù)表，并將第一數(shù)據(jù)表輸入數(shù)據(jù)表語義提取模型，將數(shù)據(jù)表語義提取模型輸出的語義作為第一數(shù)據(jù)表的語義，之后，計算設(shè)備獲取用戶輸入或選擇的第一數(shù)據(jù)表的第一質(zhì)量管理任務(wù)，并將第一數(shù)據(jù)表的語義和第一質(zhì)量管理任務(wù)輸入處理方案生成模型，將處理方案生成模型輸出的處理方案作為第一質(zhì)量管理任務(wù)的處理方案，然后，執(zhí)行第一質(zhì)量管理任務(wù)的處理方案，得到任務(wù)執(zhí)行結(jié)果后向用戶反饋任務(wù)執(zhí)行結(jié)果。

4、上述處理方案生成模型是使用已知數(shù)據(jù)表的語義、已知數(shù)據(jù)表的第二質(zhì)量管理任務(wù)以及第二質(zhì)量管理任務(wù)的處理方案對人工智能(artificial?intelligence，ai)模型訓(xùn)練得到。

5、上述方案中，通過獲取用戶輸入或選擇的第一數(shù)據(jù)表以及獲取用戶輸入或選擇的第一質(zhì)量管理任務(wù)，然后將第一數(shù)據(jù)表的語義以及第一質(zhì)量管理任務(wù)輸入處理方案生成模型，得到第一質(zhì)量管理任務(wù)的處理方案，并執(zhí)行該處理方案對任務(wù)得到任務(wù)執(zhí)行結(jié)果，最后將任務(wù)執(zhí)行結(jié)果反饋給用戶，從而實現(xiàn)對用戶的第一數(shù)據(jù)表的質(zhì)量管理?？梢钥闯?，該方法中，用戶僅需在計算設(shè)備上輸入或選擇待進(jìn)行數(shù)據(jù)質(zhì)量管理的數(shù)據(jù)表，以及在計算設(shè)備上輸入或選擇質(zhì)量管理任務(wù)，由計算設(shè)備根據(jù)用戶輸入或選擇的質(zhì)量管理任務(wù)對數(shù)據(jù)表進(jìn)行質(zhì)量管理，并將質(zhì)量管理結(jié)果反饋給用戶，因而可以提高數(shù)據(jù)質(zhì)量管理的效率。

6、在一些可能的實現(xiàn)方式中，上述方法還包括如下步驟：上述計算設(shè)備將第一數(shù)據(jù)表的語義提供給用戶，獲取用戶編輯后的第一數(shù)據(jù)表的語義，并使用編輯后的第一數(shù)據(jù)表的語義對數(shù)據(jù)表語義提取模型進(jìn)行微調(diào)，得到微調(diào)后的數(shù)據(jù)表語義提取模型。

7、上述方案中，通過向用戶顯示數(shù)據(jù)表語義提取模型推理出的數(shù)據(jù)表的語義，由用戶確定該語義是否準(zhǔn)確，在用戶確定該語義不準(zhǔn)確對語義進(jìn)行了修改操作的情況下，可獲取用戶修改后的語義對數(shù)據(jù)表語義提取模型進(jìn)行調(diào)優(yōu)。如此，可以提高數(shù)據(jù)表語義提取模型的精度。

8、在一些可能的實現(xiàn)方式中，上述方法還包括如下步驟：上述計算設(shè)備將第一質(zhì)量管理任務(wù)的處理方案提供給用戶，獲取用戶編輯后的第一質(zhì)量管理任務(wù)的處理方案，并使用編輯后的第一質(zhì)量管理任務(wù)的處理方案，對處理方案生成模型進(jìn)行微調(diào)，得到微調(diào)后的處理方案生成模型。

9、上述方案中，通過向用戶顯示處理方案生成模型推理出的處理方案，由用戶確定該處理方案是否準(zhǔn)確，在用戶確定該處理方案不準(zhǔn)確對處理方案進(jìn)行了修改操作的情況下，可獲取用戶修改后的處理方案對處理方案生成模型進(jìn)行調(diào)優(yōu)。如此，可以提高處理方案生成模型的精度。

10、在一些可能的實現(xiàn)方式中，上述方法還包括如下步驟：上述計算設(shè)備獲取用戶編輯后的任務(wù)執(zhí)行結(jié)果，并使用編輯后的任務(wù)執(zhí)行結(jié)果，對處理方案生成模型進(jìn)行微調(diào)，得到微調(diào)后的處理方案生成模型。

11、上述方案中，通過向用戶顯示執(zhí)行處理方案生成模型推理出的處理方案得到的任務(wù)執(zhí)行結(jié)果，由用戶確定該任務(wù)執(zhí)行結(jié)果是否準(zhǔn)確，在用戶確定該任務(wù)執(zhí)行結(jié)果不準(zhǔn)確對任務(wù)執(zhí)行結(jié)果進(jìn)行了修改操作的情況下，可獲取用戶修改后的任務(wù)執(zhí)行結(jié)果對處理方案生成模型進(jìn)行調(diào)優(yōu)。如此，可以進(jìn)一步提高處理方案生成模型的精度。

12、在一些可能的實現(xiàn)方式中，上述第一質(zhì)量管理任務(wù)包括如下任意一種或多種：對第一數(shù)據(jù)表進(jìn)行異常檢測；對第一數(shù)據(jù)表的質(zhì)量進(jìn)行評分；對第一數(shù)據(jù)表進(jìn)行清洗；生成用于對第一數(shù)據(jù)表進(jìn)行異常檢測的代碼、規(guī)則、算子或者腳本；生成用于對第一數(shù)據(jù)表的質(zhì)量進(jìn)行評分的代碼、規(guī)則、算子或者腳本；生成用于對第一數(shù)據(jù)表進(jìn)行清洗的代碼、規(guī)則、算子、腳本、步驟或者流水線。

13、實施上述實現(xiàn)方式，可以實現(xiàn)對用戶數(shù)據(jù)表進(jìn)行多樣化的質(zhì)量管理。

14、在一些可能的實現(xiàn)方式中，上述第一質(zhì)量管理任務(wù)的處理方案包括如下任意一種或多種：用于對第一數(shù)據(jù)表進(jìn)行異常檢測的代碼、規(guī)則、算子或者腳本；用于對第一數(shù)據(jù)表的質(zhì)量進(jìn)行評分的代碼、規(guī)則、算子或者腳本；用于對第一數(shù)據(jù)表進(jìn)行清洗的代碼、規(guī)則、算子、腳本、步驟或者流水線。

15、實施上述實現(xiàn)方式，可以實現(xiàn)在對用戶數(shù)據(jù)表進(jìn)行質(zhì)量管理時，通過多模態(tài)方式(代碼、規(guī)則、算子、腳本等模態(tài))向用戶顯示處理方案，實現(xiàn)顯示多樣化。

16、第二方面，提供一種數(shù)據(jù)質(zhì)量管理裝置，該裝置包括；

17、第一獲取模塊，用于獲取用戶輸入或選擇的第一數(shù)據(jù)表；

18、語義提取模塊，用于將第一數(shù)據(jù)表輸入數(shù)據(jù)表語義提取模型，將數(shù)據(jù)表語義提取模型輸出的語義作為第一數(shù)據(jù)表的語義；

19、第二獲取模塊，用于獲取用戶輸入或選擇的第一數(shù)據(jù)表的第一質(zhì)量管理任務(wù)；

20、方案生成模塊，用于將第一數(shù)據(jù)表的語義和第一質(zhì)量管理任務(wù)輸入處理方案生成模型，將處理方案生成模型輸出的處理方案作為第一質(zhì)量管理任務(wù)的處理方案，其中，處理方案生成模型是使用已知數(shù)據(jù)表的語義、已知數(shù)據(jù)表的第二質(zhì)量管理任務(wù)以及第二質(zhì)量管理任務(wù)的處理方案對ai模型訓(xùn)練得到；

21、方案執(zhí)行模塊，用于執(zhí)行第一質(zhì)量管理任務(wù)的處理方案，得到任務(wù)執(zhí)行結(jié)果；

22、結(jié)果顯示模塊，用于向用戶反饋任務(wù)執(zhí)行結(jié)果。

23、在一些可能的實現(xiàn)方式中，上述裝置還包括：

24、語義顯示模塊，用于將第一數(shù)據(jù)表的語義提供給用戶；

25、第三獲取模塊，用于獲取用戶編輯后的第一數(shù)據(jù)表的語義；

26、第一微調(diào)模塊，用于使用編輯后的第一數(shù)據(jù)表的語義對數(shù)據(jù)表語義提取模型進(jìn)行微調(diào)，得到微調(diào)后的數(shù)據(jù)表語義提取模型。

27、在一些可能的實現(xiàn)方式中，上述裝置還包括：

28、方案顯示模塊，用于將第一質(zhì)量管理任務(wù)的處理方案提供給用戶；

29、第四獲取模塊，用于獲取用戶編輯后的第一質(zhì)量管理任務(wù)的處理方案；

30、第二微調(diào)模塊，用于使用編輯后的第一質(zhì)量管理任務(wù)的處理方案，對處理方案生成模型進(jìn)行微調(diào)，得到微調(diào)后的處理方案生成模型。

31、在一些可能的實現(xiàn)方式中，上述裝置還包括：

32、第五獲取模塊，用于獲取用戶編輯后的任務(wù)執(zhí)行結(jié)果；

33、第三微調(diào)模塊，用于使用編輯后的任務(wù)執(zhí)行結(jié)果，對處理方案生成模型進(jìn)行微調(diào)，得到微調(diào)后的處理方案生成模型。

34、在一些可能的實現(xiàn)方式中，上述第一質(zhì)量管理任務(wù)包括如下任意一種或多種：對第一數(shù)據(jù)表進(jìn)行異常檢測；對第一數(shù)據(jù)表的質(zhì)量進(jìn)行評分；對第一數(shù)據(jù)表進(jìn)行清洗；生成用于對第一數(shù)據(jù)表進(jìn)行異常檢測的代碼、規(guī)則、算子或者腳本；生成用于對第一數(shù)據(jù)表的質(zhì)量進(jìn)行評分的代碼、規(guī)則、算子或者腳本；生成用于對第一數(shù)據(jù)表進(jìn)行清洗的代碼、規(guī)則、算子、腳本、步驟或者流水線。

35、在一些可能的實現(xiàn)方式中，上述第一質(zhì)量管理任務(wù)的處理方案包括如下任意一種或多種：用于對第一數(shù)據(jù)表進(jìn)行異常檢測的代碼、規(guī)則、算子或者腳本；用于對第一數(shù)據(jù)表的質(zhì)量進(jìn)行評分的代碼、規(guī)則、算子或者腳本；用于對第一數(shù)據(jù)表進(jìn)行清洗的代碼、規(guī)則、算子、腳本、步驟或者流水線。

36、關(guān)于第二方面提供的數(shù)據(jù)質(zhì)量管理裝置以及第二方面的任一種實施方式的相關(guān)有益效果和描述可以參見上述第一方面以及第一方面的任一種實施方式的相關(guān)有益效果和描述，在此不再贅述。

37、第三方面，提供一種計算設(shè)備集群，所述計算設(shè)備集群包括處理器和存儲器；所述處理器用于執(zhí)行所述存儲器存儲的指令，使得所述計算設(shè)備集群實現(xiàn)如上述第一方面或者第一方面的任意可能的實現(xiàn)方式提供的方法。

38、第四方面，提供一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有指令，所述指令用于實現(xiàn)如上述第一方面或者第一方面的任意可能的實現(xiàn)方式提供的方法。

39、第五方面，提供一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，當(dāng)所述計算機(jī)程序被計算設(shè)備集群讀取并執(zhí)行時，使得所述計算設(shè)備集群執(zhí)行如上述第一方面或者第一方面的任意可能的實現(xiàn)方式提供的方法。