本發(fā)明涉及大數(shù)據(jù)，尤其涉及一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)。

背景技術(shù)：

1、在自動化辦公場景下，很多開發(fā)人員可能會有意或無意地將各類賬號和密碼明文保存在電腦中的文件中，以便于快速訪問和使用。然而，這種做法存在著一系列潛在的安全風險。這些文件可能會被黑客攻擊者獲取，或者因為傳輸過程中的不當處理而導(dǎo)致泄露。一旦密碼泄露，黑客會利用這些信息入侵系統(tǒng)、篡改數(shù)據(jù)，甚至盜取敏感信息，給企業(yè)帶來嚴重的損失。

2、當前存在如have?i?been?pwned(hibp)/1password?watchtower等明文密碼檢測服務(wù)，這些服務(wù)的原理都是通過與已知的數(shù)據(jù)泄露數(shù)據(jù)庫進行比對，檢查用戶的賬號和密碼是否泄露。該類服務(wù)的應(yīng)用范圍局限性較大，如果密碼尚未在已知的數(shù)據(jù)泄露數(shù)據(jù)庫中公開，則這些服務(wù)無法檢測到。因此，目前在各個企業(yè)的密碼安全管理實踐中，很多都是依賴人工審核、定期巡檢的方式對大量目標文件進行明文密碼風險評估，這種檢測方法效率低且人工成本較高。針對現(xiàn)有明文密碼泄露檢測服務(wù)存在的局限性和企業(yè)密碼安全管理實踐中缺乏可靠工具的問題，提出一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)。

技術(shù)實現(xiàn)思路

1、本部分的目的在于概述本發(fā)明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本技術(shù)的說明書摘要和發(fā)明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發(fā)明名稱的目的模糊，而這種簡化或省略不能用于限制本發(fā)明的范圍。

2、鑒于上述的問題，提出了本發(fā)明。

3、因此，本發(fā)明目的是提供一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)，其用于解決現(xiàn)有明文密碼泄露檢測服務(wù)存在局限性和企業(yè)密碼安全管理實踐中缺乏可靠工具等問題。

4、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)，包括：

5、統(tǒng)一文本格式模塊：用于將各種不同格式的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的文本格式，并將所有文本數(shù)據(jù)合并為一個統(tǒng)一的文本數(shù)據(jù)集，所有文本數(shù)據(jù)包括從結(jié)構(gòu)化文件和非結(jié)構(gòu)化文件中提取的文本；

6、es存儲模塊：用于將處理后的文本數(shù)據(jù)有效地存儲在elasticsearch分布式索引中；

7、ner自動識別模塊：用于自動識別文本中的賬號和密碼；

8、預(yù)警日志輸出模塊：用于在檢測到潛在的明文密碼泄露事件后記錄并通知相關(guān)人員。

9、作為本發(fā)明一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)的一種優(yōu)選方案，其中：所述統(tǒng)一文本格式模塊具體實施步驟包括：

10、a1，文件類型判斷：使用python腳本對每個文件進行文件類型判斷，根據(jù)文件后綴進行識別，將其劃分為結(jié)構(gòu)化文件和非結(jié)構(gòu)化文件，其中，非結(jié)構(gòu)化文件包括word文件、excel文件、圖片文件和ppt文件；

11、a2，非結(jié)構(gòu)化文件處理：對于excel文件，先讀取表頭，然后根據(jù)每一行的數(shù)據(jù)，構(gòu)建“列1名稱:列1內(nèi)容列2名稱:列2內(nèi)容...”格式的文本，逐行構(gòu)建成文，對于圖片文件，先判斷該圖片是否為表格，是則轉(zhuǎn)換，然后使用excel文件處理方法作處理，如果不是，使用ocr進行文字識別，對于word文件，提取文本部分，然后使用圖片文件處理方法對圖片進行處理并整合，ppt文件和word文件處理方法類似；

12、a3，文本數(shù)據(jù)集生成：將所有處理過的文本內(nèi)容，包括從結(jié)構(gòu)化文件和非結(jié)構(gòu)化文件中提取的文本，合并為一個統(tǒng)一的文本數(shù)據(jù)集。

13、作為本發(fā)明一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)的一種優(yōu)選方案，其中：所述es存儲模塊的具體實施步驟包括：

14、b1，創(chuàng)建es索引和映射：索引結(jié)構(gòu)包含文檔原始類型、文檔擁有者、文檔地址、文檔內(nèi)容和時間戳字段；

15、b2，轉(zhuǎn)化json文檔：在存儲之前，將處理后的文本數(shù)據(jù)轉(zhuǎn)化為符合elasticsearchjson文檔格式的數(shù)據(jù)；

16、b3，插入文檔數(shù)據(jù)，使用elasticsearch的python?api，將json格式的文檔插入到指定的索引中。

17、作為本發(fā)明一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)的一種優(yōu)選方案，其中：所述ner識別模塊的具體實施步驟包括：

18、c1，數(shù)據(jù)標注和準備：收集大量文本數(shù)據(jù)，對數(shù)據(jù)進行標注，將數(shù)據(jù)劃分為訓練集和測試集；

19、c2，模型的構(gòu)建與訓練：采用bilstm-crf模型進行上下文建模，輸入訓練數(shù)據(jù)進行模型訓練；

20、c3，模型的評估和調(diào)優(yōu)：使用測試集來評估模型的性能，根據(jù)評估結(jié)果，對模型進行調(diào)優(yōu)；

21、c4，應(yīng)用于明文密碼風險檢測：將訓練好的具有足夠準確性的ner模型用于識別文本中的賬號和密碼。

22、作為本發(fā)明一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)的一種優(yōu)選方案，其中：所述c1中對數(shù)據(jù)進行標注具體采用bio標注方案。

23、作為本發(fā)明一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)的一種優(yōu)選方案，其中：所述c3中評估模型的性能的具體評估指標包括準確率、召回率和f1分數(shù)。

24、作為本發(fā)明一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)的一種優(yōu)選方案，其中：所述預(yù)警日志輸出模塊的具體實施步驟包括：

25、d1，事件檢測：檢測潛在的明文密碼泄露事件，當ner識別模塊識別到敏感信息或與預(yù)定義規(guī)則匹配的目標內(nèi)容，觸發(fā)預(yù)警機制；

26、d2，生成預(yù)警日志：檢測到潛在的明文密碼泄露事件后生成相應(yīng)的預(yù)警日志；

27、d3，通知相關(guān)管理員和用戶：通過python建立的多種通信方式通知相關(guān)的管理員和用戶。

28、作為本發(fā)明一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)的一種優(yōu)選方案，其中：所述d2中預(yù)警日志具體記錄包括事件類型、事件發(fā)生時間、涉及的文檔或文件地址以及事件詳細描述。

29、作為本發(fā)明一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)的一種優(yōu)選方案，其中：所述d3中通信方式具體包括電子郵件、短信和即時消息。

30、作為本發(fā)明一種基于es和ner技術(shù)的海量文件明文密碼風險預(yù)警系統(tǒng)的一種優(yōu)選方案，其中，還包括：

31、es查詢匹配模塊：根據(jù)定義的查詢目標內(nèi)容和目標規(guī)則在文本數(shù)據(jù)中查詢結(jié)果，查詢與ner識別模塊同步進行，當ner識別模塊捕獲到明文賬號密碼信息時，將查詢結(jié)果同步到預(yù)警日志中。

32、本發(fā)明的有益效果：

33、1、可以智能識別明文密碼風險，支持解析多種格式的文件，支持海量文件的存儲與檢索，檢測精度高，檢測效率高。

34、2、能夠全面識別不同類型的明文密碼，系統(tǒng)的普適性和安全性強，明文密碼的識別過程自動化完成，不需要依賴人工審核或定期巡檢，大大降低了人工成本和工作負擔。

35、3、通過預(yù)警日志輸出模塊生成預(yù)警日志，并及時通知相關(guān)管理員和用戶，便于相關(guān)人員采取必要的措施來處理潛在的安全風險，有助于降低企業(yè)面臨的安全風險，減少潛在的損失。