本發(fā)明涉及物聯(lián)網(wǎng)通信的，尤其涉及一種基于物聯(lián)網(wǎng)數(shù)據(jù)萬(wàn)能協(xié)議轉(zhuǎn)換采集器的協(xié)議轉(zhuǎn)換方法。

背景技術(shù)：

1、隨著物聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，各類(lèi)智能設(shè)備和傳感器的普及使得數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng)，這些設(shè)備和傳感器往往采用不同的數(shù)據(jù)協(xié)議進(jìn)行通信，導(dǎo)致數(shù)據(jù)格式多樣且不兼容，給數(shù)據(jù)的收集、整合和分析帶來(lái)了極大的挑戰(zhàn)。

2、傳統(tǒng)的數(shù)據(jù)協(xié)議轉(zhuǎn)換方法主要依賴于手工設(shè)計(jì)的規(guī)則和轉(zhuǎn)換邏輯，這些方法通常需要針對(duì)每種新的數(shù)據(jù)協(xié)議編寫(xiě)特定的轉(zhuǎn)換代碼，開(kāi)發(fā)周期長(zhǎng)且難以適應(yīng)不斷變化的協(xié)議格式；此外，由于物聯(lián)網(wǎng)設(shè)備種類(lèi)繁多，協(xié)議之間的差異性大，手工編寫(xiě)的轉(zhuǎn)換規(guī)則往往難以做到全面覆蓋，導(dǎo)致轉(zhuǎn)換效果不佳。

3、近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)協(xié)議轉(zhuǎn)換方法逐漸受到關(guān)注，這類(lèi)方法通過(guò)學(xué)習(xí)大量已知協(xié)議的樣本數(shù)據(jù)，自動(dòng)挖掘出協(xié)議之間的內(nèi)在聯(lián)系和規(guī)律，從而實(shí)現(xiàn)對(duì)新協(xié)議的自動(dòng)識(shí)別和轉(zhuǎn)換；相比于傳統(tǒng)方法，基于深度學(xué)習(xí)的方法具有更強(qiáng)的自適應(yīng)能力和泛化能力，能夠顯著提高數(shù)據(jù)協(xié)議轉(zhuǎn)換的準(zhǔn)確率和效率。

4、然而，現(xiàn)有的基于深度學(xué)習(xí)的數(shù)據(jù)協(xié)議轉(zhuǎn)換方法仍存在一些問(wèn)題，首先，這些方法通常需要大量的標(biāo)注樣本進(jìn)行訓(xùn)練，而獲取大規(guī)模標(biāo)注樣本是一項(xiàng)耗時(shí)耗力的工作；其次，深度學(xué)習(xí)模型通常需要較高的計(jì)算資源進(jìn)行訓(xùn)練和推理，對(duì)于資源受限的物聯(lián)網(wǎng)邊緣節(jié)點(diǎn)來(lái)說(shuō)是一個(gè)巨大的挑戰(zhàn)；最后，現(xiàn)有的方法往往只關(guān)注協(xié)議轉(zhuǎn)換的準(zhǔn)確性，而忽視了轉(zhuǎn)換過(guò)程中的實(shí)時(shí)性和魯棒性等方面的要求。

技術(shù)實(shí)現(xiàn)思路

1、本部分的目的在于概述本發(fā)明的實(shí)施例的一些方面以及簡(jiǎn)要介紹一些較佳實(shí)施例，在本部分以及本技術(shù)的說(shuō)明書(shū)摘要和發(fā)明名稱(chēng)中可能會(huì)做些簡(jiǎn)化或省略以避免使本部分、說(shuō)明書(shū)摘要和發(fā)明名稱(chēng)的目的模糊，而這種簡(jiǎn)化或省略不能用于限制本發(fā)明的范圍。

2、鑒于上述現(xiàn)有存在的問(wèn)題，提出了本發(fā)明。

3、因此，本發(fā)明解決的技術(shù)問(wèn)題是：現(xiàn)有物聯(lián)網(wǎng)數(shù)據(jù)協(xié)議轉(zhuǎn)換技術(shù)存在標(biāo)注樣本獲取困難、計(jì)算資源消耗大以及忽視實(shí)時(shí)性和魯棒性的問(wèn)題。

4、為解決上述技術(shù)問(wèn)題，本發(fā)明提供如下技術(shù)方案：采集物聯(lián)網(wǎng)中海量的數(shù)據(jù)協(xié)議進(jìn)行數(shù)據(jù)預(yù)處理，形成樣本數(shù)據(jù)集；

5、將所述樣本數(shù)據(jù)集輸入基于深度神經(jīng)網(wǎng)絡(luò)構(gòu)建的特征提取模型中進(jìn)行學(xué)習(xí)訓(xùn)練，訓(xùn)練結(jié)束后，所述特征提取模型能夠自適應(yīng)提取協(xié)議特征；

6、在物聯(lián)網(wǎng)邊緣節(jié)點(diǎn)上部署輕量級(jí)的協(xié)議轉(zhuǎn)換任務(wù)和提取的所述協(xié)議特征，通過(guò)邊緣節(jié)點(diǎn)之間的協(xié)同處理完成協(xié)議轉(zhuǎn)換。

7、作為本發(fā)明所述的基于物聯(lián)網(wǎng)數(shù)據(jù)萬(wàn)能協(xié)議轉(zhuǎn)換采集器的協(xié)議轉(zhuǎn)換方法的一種優(yōu)選方案，所述數(shù)據(jù)協(xié)議的類(lèi)型包括但不限于工業(yè)協(xié)議、家庭自動(dòng)化協(xié)議和通用物聯(lián)網(wǎng)協(xié)議。

8、作為本發(fā)明所述的基于物聯(lián)網(wǎng)數(shù)據(jù)萬(wàn)能協(xié)議轉(zhuǎn)換采集器的協(xié)議轉(zhuǎn)換方法的一種優(yōu)選方案，所述數(shù)據(jù)預(yù)處理，包括：

9、清洗所述數(shù)據(jù)協(xié)議中的重復(fù)值、缺失值、異常值；

10、將清洗后的所述數(shù)據(jù)協(xié)議的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式，并統(tǒng)一時(shí)間戳格式，其中，所述統(tǒng)一格式包括但不限于json格式、csv格式；

11、再對(duì)所述數(shù)據(jù)協(xié)議標(biāo)注類(lèi)型標(biāo)簽，所述類(lèi)型標(biāo)簽包括但不限于工業(yè)協(xié)議類(lèi)標(biāo)簽、家庭自動(dòng)化協(xié)議類(lèi)標(biāo)簽和通用物聯(lián)網(wǎng)協(xié)議類(lèi)標(biāo)簽。

12、作為本發(fā)明所述的基于物聯(lián)網(wǎng)數(shù)據(jù)萬(wàn)能協(xié)議轉(zhuǎn)換采集器的協(xié)議轉(zhuǎn)換方法的一種優(yōu)選方案，將預(yù)處理后的所述數(shù)據(jù)協(xié)議的數(shù)據(jù)封裝成適合特征提取模型輸入的格式，匯總封裝好的數(shù)據(jù)在一個(gè)集合中，得到所述樣本數(shù)據(jù)集；

13、其中，所述格式包括但不限于tensorflow、pytorch所需格式。

14、作為本發(fā)明所述的基于物聯(lián)網(wǎng)數(shù)據(jù)萬(wàn)能協(xié)議轉(zhuǎn)換采集器的協(xié)議轉(zhuǎn)換方法的一種優(yōu)選方案，所述學(xué)習(xí)訓(xùn)練，包括：

15、所述樣本數(shù)據(jù)集通過(guò)輸入層輸入所述特征提取模型中進(jìn)行參數(shù)訓(xùn)練；

16、利用adam優(yōu)化算法調(diào)整深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)權(quán)重；

17、直至調(diào)整的網(wǎng)絡(luò)結(jié)構(gòu)滿足設(shè)定要求時(shí)，結(jié)束訓(xùn)練；

18、其中，所述網(wǎng)絡(luò)結(jié)構(gòu)包括但不限于輸入層、卷積層、池化層、全連接層和輸出層，所述設(shè)定要求包括但不限于所述特征提取模型的輸出為非負(fù)實(shí)數(shù)。

19、作為本發(fā)明所述的基于物聯(lián)網(wǎng)數(shù)據(jù)萬(wàn)能協(xié)議轉(zhuǎn)換采集器的協(xié)議轉(zhuǎn)換方法的一種優(yōu)選方案，所述特征提取模型可通過(guò)下式進(jìn)行表示：

20、

21、

22、其中，表示特征提取的結(jié)果函數(shù)，其取值為非負(fù)實(shí)數(shù)，表示信息過(guò)濾函數(shù)，為均值，為標(biāo)準(zhǔn)差，d、c、k、a是模型訓(xùn)練過(guò)程中通過(guò)優(yōu)化算法學(xué)習(xí)得到的參數(shù)，用于調(diào)整模型對(duì)數(shù)據(jù)特征的敏感度和響應(yīng)閾值，表示從物聯(lián)網(wǎng)設(shè)備中采集的原始數(shù)據(jù)點(diǎn)，即數(shù)據(jù)協(xié)議，是一個(gè)線性整流函數(shù)，用于增加模型的非線性特征的提取能力，是一個(gè)指數(shù)級(jí)的衰減函數(shù)，用于增強(qiáng)模型對(duì)協(xié)議特征的敏感度，是一個(gè)邏輯斯蒂分布函數(shù)，用于篩選優(yōu)化協(xié)議特征。

23、作為本發(fā)明所述的基于物聯(lián)網(wǎng)數(shù)據(jù)萬(wàn)能協(xié)議轉(zhuǎn)換采集器的協(xié)議轉(zhuǎn)換方法的一種優(yōu)選方案，所述協(xié)議特征包括但不限于協(xié)議字段特征、通信行為特征和異常模式特征。

24、作為本發(fā)明所述的基于物聯(lián)網(wǎng)數(shù)據(jù)萬(wàn)能協(xié)議轉(zhuǎn)換采集器的協(xié)議轉(zhuǎn)換方法的一種優(yōu)選方案，所述協(xié)同處理，通過(guò)消息協(xié)議在節(jié)點(diǎn)間建立穩(wěn)定的消息傳遞機(jī)制，支持異步通信和數(shù)據(jù)傳輸，并根據(jù)節(jié)點(diǎn)的網(wǎng)絡(luò)狀態(tài)動(dòng)態(tài)分配協(xié)議轉(zhuǎn)換任務(wù)，完成負(fù)載均衡。

25、作為本發(fā)明所述的基于物聯(lián)網(wǎng)數(shù)據(jù)萬(wàn)能協(xié)議轉(zhuǎn)換采集器的協(xié)議轉(zhuǎn)換方法的一種優(yōu)選方案，所述方法通過(guò)應(yīng)用于協(xié)議轉(zhuǎn)換采集器實(shí)現(xiàn)，所述采集器包括多協(xié)議通信模塊、存儲(chǔ)單元和接口模塊、協(xié)議解析模塊、協(xié)議轉(zhuǎn)換模塊、數(shù)據(jù)處理模塊和系統(tǒng)管理模塊，其中：

26、所述多協(xié)議通信模塊，用于支持mqtt、coap、http、lora的通信協(xié)議；

27、所述存儲(chǔ)單元，用于數(shù)據(jù)緩存和日志記錄；

28、所述接口模塊，用于提供與外部設(shè)備的連接接口；

29、所述協(xié)議解析模塊，用于負(fù)責(zé)接收和解析不同協(xié)議的數(shù)據(jù)；

30、所述協(xié)議轉(zhuǎn)換模塊，用于將解析后的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式；

31、所述數(shù)據(jù)處理模塊，用于進(jìn)行數(shù)據(jù)過(guò)濾、聚合、解析、協(xié)議轉(zhuǎn)換和傳輸；

32、所述系統(tǒng)管理模塊，用于提供設(shè)備配置、狀態(tài)監(jiān)控和日志管理。

33、作為本發(fā)明所述的基于物聯(lián)網(wǎng)數(shù)據(jù)萬(wàn)能協(xié)議轉(zhuǎn)換采集器的協(xié)議轉(zhuǎn)換方法的一種優(yōu)選方案，所述采集器接收來(lái)自不同設(shè)備的數(shù)據(jù)，通過(guò)所述協(xié)議解析模塊進(jìn)行解析，再由所述協(xié)議轉(zhuǎn)換模塊將數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式，通過(guò)所述數(shù)據(jù)處理模塊進(jìn)行處理和傳輸；

34、其中，所述協(xié)議轉(zhuǎn)換模塊內(nèi)部署所述協(xié)議轉(zhuǎn)換方法的應(yīng)用程序，以實(shí)現(xiàn)對(duì)數(shù)據(jù)協(xié)議的轉(zhuǎn)換。

35、本發(fā)明的有益效果：

36、1、通過(guò)采集物聯(lián)網(wǎng)中海量的數(shù)據(jù)協(xié)議并進(jìn)行數(shù)據(jù)預(yù)處理，實(shí)現(xiàn)了對(duì)不同協(xié)議格式的統(tǒng)一整理和標(biāo)準(zhǔn)化處理，形成了用于訓(xùn)練的高質(zhì)量樣本數(shù)據(jù)集，為后續(xù)的特征學(xué)習(xí)提供了豐富且多樣化的數(shù)據(jù)基礎(chǔ)，確保了特征提取模型能夠?qū)W習(xí)到各類(lèi)型協(xié)議的共性和特性，從而提高了模型的泛化能力和適應(yīng)性；

37、2、利用深度學(xué)習(xí)的強(qiáng)大能力自動(dòng)挖掘數(shù)據(jù)中的深層次特征，從而提高了協(xié)議轉(zhuǎn)換的準(zhǔn)確度和效率；

38、3、利用邊緣計(jì)算的優(yōu)勢(shì)，將協(xié)議轉(zhuǎn)換任務(wù)下沉到網(wǎng)絡(luò)邊緣，從而降低了數(shù)據(jù)傳輸延遲，減少了中心服務(wù)器的計(jì)算負(fù)擔(dān)，并提高了系統(tǒng)的可擴(kuò)展性和魯棒性。