本發(fā)明涉及數(shù)據(jù)處理，尤其涉及一種政務(wù)數(shù)據(jù)的分類治理方法及裝置。

背景技術(shù)：

1、隨著大數(shù)據(jù)時代的到來，電子政務(wù)系統(tǒng)已被廣泛應(yīng)用。政務(wù)系統(tǒng)中含有大量的政務(wù)數(shù)據(jù)，為了實現(xiàn)對政務(wù)數(shù)據(jù)的有效管理和應(yīng)用，提升政務(wù)數(shù)據(jù)管理和應(yīng)用水平，需要展開政務(wù)數(shù)據(jù)治理相關(guān)工作。在現(xiàn)有的政務(wù)數(shù)據(jù)治理中，對于政務(wù)數(shù)據(jù)的分類，通常是由管理政務(wù)數(shù)據(jù)的相關(guān)人員進行分類，但這對政務(wù)數(shù)據(jù)的分類效率較低，且政務(wù)數(shù)據(jù)分類的穩(wěn)定性無法得到充足保障。在政務(wù)數(shù)據(jù)的治理中，需要根據(jù)政務(wù)數(shù)據(jù)的質(zhì)量分析結(jié)果確定數(shù)據(jù)處理調(diào)整策略，但目前通常是根據(jù)質(zhì)量分析結(jié)果進行簡單的策略匹配，便確定數(shù)據(jù)處理調(diào)整策略，但這無疑會導(dǎo)致所確定的數(shù)據(jù)處理調(diào)整策略的可靠性不高，使對政務(wù)數(shù)據(jù)的調(diào)整的準確性不足。從而使政務(wù)數(shù)據(jù)的治理未能達到預(yù)期效果，導(dǎo)致難以實現(xiàn)政務(wù)數(shù)據(jù)的可靠管理。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種政務(wù)數(shù)據(jù)的分類治理方法及裝置，提高了政務(wù)數(shù)據(jù)分類治理的可靠性，使政務(wù)數(shù)據(jù)的分類治理能夠達到更為理想的效果。

2、為了解決上述技術(shù)問題，本發(fā)明提供了一種政務(wù)數(shù)據(jù)的分類治理方法，所述方法包括：

3、獲取若干個數(shù)據(jù)源中的政務(wù)數(shù)據(jù)，并對若干個數(shù)據(jù)源中的政務(wù)數(shù)據(jù)進行數(shù)據(jù)清洗處理，獲得數(shù)據(jù)清洗處理后的政務(wù)數(shù)據(jù)；

4、對數(shù)據(jù)清洗處理后的政務(wù)數(shù)據(jù)進行標準化處理，獲得標準化政務(wù)數(shù)據(jù)；

5、對所述標準化政務(wù)數(shù)據(jù)進行事項特征提取，獲得對應(yīng)的事項特征信息，并對所述標準化政務(wù)數(shù)據(jù)進行熱點關(guān)鍵詞提取，獲得對應(yīng)的目標熱點關(guān)鍵詞；

6、基于所述事項特征信息和熱點關(guān)鍵詞利用聚類算法對所述標準化政務(wù)數(shù)據(jù)進行分類，獲得各類別的標準化政務(wù)數(shù)據(jù)；

7、基于預(yù)設(shè)數(shù)據(jù)質(zhì)量分析策略對各類別的標準化政務(wù)數(shù)據(jù)進行質(zhì)量分析，獲得對應(yīng)的質(zhì)量分析結(jié)果，并基于對應(yīng)的質(zhì)量分析結(jié)果利用二級決策樹生成數(shù)據(jù)處理調(diào)整策略，基于所述數(shù)據(jù)處理調(diào)整策略對各類別的標準化政務(wù)數(shù)據(jù)進行調(diào)整處理，獲得調(diào)整后的各類別的標準化政務(wù)數(shù)據(jù)；

8、對調(diào)整后的各類別的標準化政務(wù)數(shù)據(jù)進行數(shù)據(jù)整合，獲得數(shù)據(jù)整合結(jié)果，并基于分布式存儲技術(shù)將所述數(shù)據(jù)整合結(jié)果進行存儲。

9、可選的，所述對若干個數(shù)據(jù)源中的政務(wù)數(shù)據(jù)進行數(shù)據(jù)清洗處理，獲得數(shù)據(jù)清洗處理后的政務(wù)數(shù)據(jù)，包括：

10、對若干個數(shù)據(jù)源中的政務(wù)數(shù)據(jù)進行過濾處理，獲得過濾處理后的政務(wù)數(shù)據(jù)；

11、對過濾處理后的政務(wù)數(shù)據(jù)進行去重處理，獲得數(shù)據(jù)清洗處理后的政務(wù)數(shù)據(jù)。

12、可選的，所述對數(shù)據(jù)清洗處理后的政務(wù)數(shù)據(jù)進行標準化處理，獲得標準化政務(wù)數(shù)據(jù)，包括：

13、檢測數(shù)據(jù)清洗處理后的政務(wù)數(shù)據(jù)中的數(shù)據(jù)關(guān)鍵信息，并基于所述數(shù)據(jù)關(guān)鍵信息獲取與數(shù)據(jù)清洗處理后的政務(wù)數(shù)據(jù)對應(yīng)的目標映射關(guān)系；

14、基于所述目標映射關(guān)系將數(shù)據(jù)清洗處理后的政務(wù)數(shù)據(jù)映射為標準化政務(wù)數(shù)據(jù)。

15、可選的，所述對所述標準化政務(wù)數(shù)據(jù)進行事項特征提取，獲得對應(yīng)的事項特征信息，包括：

16、對所述標準化政務(wù)數(shù)據(jù)進行分詞處理，獲得對應(yīng)的若干個目標分詞；

17、對若干個目標分詞進行敏感詞去除處理，獲得敏感詞去除處理后的若干個目標分詞；

18、基于敏感詞去除處理后的若干個目標分詞利用詞頻-逆向文件頻率算法確定若干個關(guān)鍵詞，并基于若干個關(guān)鍵詞生成對應(yīng)的事項特征信息。

19、可選的，所述對所述標準化政務(wù)數(shù)據(jù)進行熱點關(guān)鍵詞提取，獲得對應(yīng)的目標熱點關(guān)鍵詞，包括：

20、將所述標準化政務(wù)數(shù)據(jù)劃分為若干個政務(wù)數(shù)據(jù)子集，計算每個政務(wù)數(shù)據(jù)子集中標準化政務(wù)數(shù)據(jù)的互動信息數(shù)量，并基于所述互動信息數(shù)量計算熱度評價指數(shù)；

21、基于所述熱度評價指數(shù)提取所述標準化政務(wù)數(shù)據(jù)的若干個熱度關(guān)鍵詞；

22、獲取預(yù)設(shè)目標三叉樹的推薦節(jié)點，基于所述推薦節(jié)點獲取對應(yīng)的分支節(jié)點和分支節(jié)點頻數(shù)；

23、基于所述分支節(jié)點和分支節(jié)點頻數(shù)利用若干個熱度關(guān)鍵詞確定對應(yīng)的目標熱點關(guān)鍵詞。

24、可選的，所述基于所述事項特征信息和熱點關(guān)鍵詞利用聚類算法對所述標準化政務(wù)數(shù)據(jù)進行分類，獲得各類別的標準化政務(wù)數(shù)據(jù)，包括：

25、在所述標準化政務(wù)數(shù)據(jù)中進行樣本抽取，獲得樣本子集，并基于所述樣本子集生成若干個聚類中心；

26、基于所述事項特征信息和熱點關(guān)鍵詞建立各聚類中心的關(guān)聯(lián)映射，并基于各聚類中心的關(guān)聯(lián)映射生成線性相關(guān)聚類中心；

27、基于線性相關(guān)聚類中心對所述標準化政務(wù)數(shù)據(jù)進行分類，獲得各類別的標準化政務(wù)數(shù)據(jù)。

28、可選的，所述基于預(yù)設(shè)數(shù)據(jù)質(zhì)量分析策略對各類別的標準化政務(wù)數(shù)據(jù)進行質(zhì)量分析，獲得對應(yīng)的質(zhì)量分析結(jié)果，包括：

29、對各類別的標準化政務(wù)數(shù)據(jù)在預(yù)設(shè)數(shù)據(jù)質(zhì)量分析策略中選取對應(yīng)的數(shù)據(jù)質(zhì)量分析規(guī)則；

30、基于所述數(shù)據(jù)質(zhì)量分析規(guī)則對各類別的標準化政務(wù)數(shù)據(jù)進行質(zhì)量分析，獲得各類別的標準化政務(wù)數(shù)據(jù)對應(yīng)的質(zhì)量分析結(jié)果。

31、可選的，所述基于對應(yīng)的質(zhì)量分析結(jié)果利用二級決策樹生成數(shù)據(jù)處理調(diào)整策略，包括：

32、將所述質(zhì)量分析結(jié)果輸入至預(yù)設(shè)二級決策樹中，其中，所述預(yù)設(shè)二級決策樹中的第一級決策樹用于對所述質(zhì)量分析結(jié)果進行預(yù)處理，獲得預(yù)處理后的質(zhì)量分析結(jié)果；

33、所述預(yù)設(shè)二級決策樹中的第二級決策樹用于基于預(yù)處理后的質(zhì)量分析結(jié)果進行評估，獲得評估結(jié)果，并基于所述評估結(jié)果生成數(shù)據(jù)處理調(diào)整策略。

34、可選的，所述對調(diào)整后的各類別的標準化政務(wù)數(shù)據(jù)進行數(shù)據(jù)整合，獲得數(shù)據(jù)整合結(jié)果，并基于分布式存儲技術(shù)將所述數(shù)據(jù)整合結(jié)果進行存儲，包括：

35、確定數(shù)據(jù)整合范圍和數(shù)據(jù)整合目標，基于etl技術(shù)利用所述數(shù)據(jù)整合范圍和數(shù)據(jù)整合目標對調(diào)整后的各類別的標準化政務(wù)數(shù)據(jù)進行數(shù)據(jù)整合，獲得數(shù)據(jù)整合結(jié)果；

36、基于哈希算法計算哈希索引，基于所述哈希索引計算目標鍵值，對所述目標鍵值進行轉(zhuǎn)換運算，獲得目標哈希值，并基于所述目標哈希值利用innodb引擎和mongos函數(shù)確定切分分區(qū)；

37、基于所述切分分區(qū)對所述數(shù)據(jù)整合結(jié)果進行橫向切分，獲得橫向切分后的數(shù)據(jù)整合結(jié)果；

38、將橫向切分后的數(shù)據(jù)整合結(jié)果存儲于分布式數(shù)據(jù)庫中對應(yīng)的存儲節(jié)點中。

39、另外，本發(fā)明還提供了一種政務(wù)數(shù)據(jù)的分類治理裝置，所述裝置包括：

40、數(shù)據(jù)清洗模塊：用于獲取若干個數(shù)據(jù)源中的政務(wù)數(shù)據(jù)，并對若干個數(shù)據(jù)源中的政務(wù)數(shù)據(jù)進行數(shù)據(jù)清洗處理，獲得數(shù)據(jù)清洗處理后的政務(wù)數(shù)據(jù)；

41、數(shù)據(jù)標準化模塊：用于對數(shù)據(jù)清洗處理后的政務(wù)數(shù)據(jù)進行標準化處理，獲得標準化政務(wù)數(shù)據(jù)；

42、事項特征信息和熱點關(guān)鍵詞提取模塊：用于對所述標準化政務(wù)數(shù)據(jù)進行事項特征提取，獲得對應(yīng)的事項特征信息，并對所述標準化政務(wù)數(shù)據(jù)進行熱點關(guān)鍵詞提取，獲得對應(yīng)的目標熱點關(guān)鍵詞；

43、數(shù)據(jù)分類模塊：用于基于所述事項特征信息和熱點關(guān)鍵詞利用聚類算法對所述標準化政務(wù)數(shù)據(jù)進行分類，獲得各類別的標準化政務(wù)數(shù)據(jù)；

44、質(zhì)量分析和調(diào)整模塊：用于基于預(yù)設(shè)數(shù)據(jù)質(zhì)量分析策略對各類別的標準化政務(wù)數(shù)據(jù)進行質(zhì)量分析，獲得對應(yīng)的質(zhì)量分析結(jié)果，并基于對應(yīng)的質(zhì)量分析結(jié)果利用二級決策樹生成數(shù)據(jù)處理調(diào)整策略，基于所述數(shù)據(jù)處理調(diào)整策略對各類別的標準化政務(wù)數(shù)據(jù)進行調(diào)整處理，獲得調(diào)整后的各類別的標準化政務(wù)數(shù)據(jù)；

45、數(shù)據(jù)整合和存儲模塊：用于對調(diào)整后的各類別的標準化政務(wù)數(shù)據(jù)進行數(shù)據(jù)整合，獲得數(shù)據(jù)整合結(jié)果，并基于分布式存儲技術(shù)將所述數(shù)據(jù)整合結(jié)果進行存儲。

46、在本發(fā)明實施例中，對標準化政務(wù)數(shù)據(jù)進行事項特征提取，獲得對應(yīng)的事項特征信息，并結(jié)合預(yù)設(shè)三叉樹和熱度評價指數(shù)對標準化政務(wù)數(shù)據(jù)進行熱點關(guān)鍵詞提取，獲得對應(yīng)的熱點關(guān)鍵詞，使所獲得的事項特征信息和熱點關(guān)鍵詞更為可靠。通過事項特征信息和熱點關(guān)鍵詞利用聚類算法對所述標準化政務(wù)數(shù)據(jù)進行分類，避免單項特征信息對政務(wù)數(shù)據(jù)分類的可靠性不足，提高了政務(wù)數(shù)據(jù)的分類效率，使政務(wù)數(shù)據(jù)分類的穩(wěn)定性得到充足保障?；谫|(zhì)量分析結(jié)果利用二級決策樹生成數(shù)據(jù)處理調(diào)整策略以對各類別的標準化政務(wù)數(shù)據(jù)進行調(diào)整處理，進一步提高政務(wù)數(shù)據(jù)治理的可靠性，提高了政務(wù)數(shù)據(jù)調(diào)整的準確性，極大地減小了政務(wù)數(shù)據(jù)的治理過程中的誤差。提高了政務(wù)數(shù)據(jù)分類治理的可靠性，使政務(wù)數(shù)據(jù)的分類治理能夠達到更為理想的效果。