本發(fā)明涉及數(shù)據(jù)通信，尤其涉及一種邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法。

背景技術(shù)：

1、隨著物聯(lián)網(wǎng)(iot)和云計(jì)算的普及，越來(lái)越多的設(shè)備和系統(tǒng)需要處理大量的數(shù)據(jù)。傳統(tǒng)的云計(jì)算模式在數(shù)據(jù)傳輸和處理方面存在延遲和帶寬限制的問(wèn)題。邊緣計(jì)算應(yīng)運(yùn)而生，它將計(jì)算和數(shù)據(jù)處理能力推向網(wǎng)絡(luò)的邊緣，即數(shù)據(jù)源附近，從而提高了數(shù)據(jù)處理的效率和實(shí)時(shí)性。

2、現(xiàn)有工業(yè)現(xiàn)場(chǎng)使用的邊緣計(jì)算網(wǎng)關(guān)對(duì)現(xiàn)場(chǎng)設(shè)備進(jìn)行大量的點(diǎn)位采集，數(shù)據(jù)存儲(chǔ)效率慢、空間占用高，工業(yè)環(huán)境下數(shù)據(jù)傳輸可能會(huì)受到網(wǎng)絡(luò)條件、設(shè)備性能等因素的影響，導(dǎo)致數(shù)據(jù)丟失或傳輸延遲；且常用的傳感器數(shù)據(jù)、工業(yè)過(guò)程多為時(shí)序數(shù)據(jù)，這類數(shù)據(jù)對(duì)于實(shí)時(shí)監(jiān)控、預(yù)測(cè)分析和決策制定等任務(wù)至關(guān)重要，而時(shí)序數(shù)據(jù)通常具有數(shù)據(jù)量大、更新頻率高等特點(diǎn)，對(duì)存儲(chǔ)和傳輸都提出了更高的要求。而在現(xiàn)有的邊緣計(jì)算環(huán)境中，由于設(shè)備資源有限、網(wǎng)絡(luò)條件不穩(wěn)定等因素，時(shí)序數(shù)據(jù)的存儲(chǔ)和傳輸面臨著諸多挑戰(zhàn)，包括如何有效地存儲(chǔ)和傳輸，同時(shí)確保數(shù)據(jù)的完整性、實(shí)時(shí)性和安全性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于解決現(xiàn)有技術(shù)中在工業(yè)現(xiàn)場(chǎng)的邊緣技術(shù)網(wǎng)關(guān)無(wú)法高效存儲(chǔ)和傳輸時(shí)序數(shù)據(jù)的問(wèn)題，提出一種用于新的時(shí)序數(shù)據(jù)管理方法，通過(guò)分布式結(jié)構(gòu)解決存儲(chǔ)效率慢的問(wèn)題，通過(guò)補(bǔ)傳機(jī)制解決網(wǎng)絡(luò)不穩(wěn)定性或高延遲導(dǎo)致的數(shù)據(jù)丟失問(wèn)題，提高邊緣計(jì)算網(wǎng)關(guān)的可靠性和性能。

2、本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：提供一種邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，包括以下步驟：

3、邊緣計(jì)算網(wǎng)關(guān)使用配置好的南向采集模塊采集時(shí)序數(shù)據(jù)，并發(fā)送至數(shù)據(jù)存儲(chǔ)模塊；

4、數(shù)據(jù)存儲(chǔ)模塊根據(jù)配置參數(shù)將時(shí)序數(shù)據(jù)按照時(shí)間序列順序?qū)懭氪疟P(pán)；所述配置參數(shù)包括存儲(chǔ)使能和存儲(chǔ)規(guī)則，存儲(chǔ)使能為數(shù)據(jù)存儲(chǔ)模塊的存儲(chǔ)總開(kāi)關(guān)，開(kāi)啟后進(jìn)行數(shù)據(jù)存儲(chǔ)與查詢；存儲(chǔ)規(guī)則用于選擇要存儲(chǔ)的時(shí)序數(shù)據(jù)；

5、數(shù)據(jù)存儲(chǔ)模塊將時(shí)序數(shù)據(jù)通過(guò)北向轉(zhuǎn)發(fā)模塊轉(zhuǎn)發(fā)到云端或服務(wù)器。

6、優(yōu)選的，南向采集模塊包括若干采集模塊，根據(jù)配置的物模型選擇采集模塊進(jìn)行數(shù)據(jù)采集；北向轉(zhuǎn)發(fā)模塊包括若干轉(zhuǎn)發(fā)模塊，根據(jù)云端或服務(wù)器類型選擇轉(zhuǎn)發(fā)模塊并進(jìn)行數(shù)據(jù)上傳。

7、優(yōu)選的，所述采集模塊采用modbus工業(yè)協(xié)議采集模塊、can總線協(xié)議采集模塊或plc數(shù)據(jù)采集模塊。

8、優(yōu)選的，所述轉(zhuǎn)發(fā)模塊采用mqtt轉(zhuǎn)發(fā)模塊、http轉(zhuǎn)發(fā)模塊或hj212轉(zhuǎn)發(fā)模塊；

9、mqtt轉(zhuǎn)發(fā)模塊將時(shí)序數(shù)據(jù)上傳到mqtt網(wǎng)絡(luò)協(xié)議平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)的訂閱與發(fā)布；

10、http轉(zhuǎn)發(fā)模塊將時(shí)序數(shù)據(jù)上傳到http網(wǎng)絡(luò)協(xié)議平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)的推送；

11、hj212轉(zhuǎn)發(fā)模塊將時(shí)序數(shù)據(jù)上傳到污染物在線監(jiān)控平臺(tái)，監(jiān)控現(xiàn)場(chǎng)污染物狀態(tài)。

12、優(yōu)選的，存儲(chǔ)規(guī)則包括選擇要存儲(chǔ)時(shí)序數(shù)據(jù)的采集模塊和該采集模塊發(fā)送過(guò)來(lái)的時(shí)序數(shù)據(jù)中的數(shù)據(jù)點(diǎn)。

13、優(yōu)選的，數(shù)據(jù)存儲(chǔ)模塊采用分布式架構(gòu)，設(shè)置多個(gè)節(jié)點(diǎn)用于存儲(chǔ)和處理時(shí)序數(shù)據(jù)；所述數(shù)據(jù)存儲(chǔ)模塊根據(jù)配置參數(shù)進(jìn)行數(shù)據(jù)管理，包括以下步驟：

14、數(shù)據(jù)存儲(chǔ)模塊根據(jù)配置參數(shù)選擇要存儲(chǔ)的時(shí)序數(shù)據(jù)；

15、將時(shí)序數(shù)據(jù)分?jǐn)偟蕉鄠€(gè)節(jié)點(diǎn)上同時(shí)進(jìn)行數(shù)據(jù)處理與存儲(chǔ)，所述處理包括數(shù)據(jù)壓縮。

16、優(yōu)選的，所述數(shù)據(jù)壓縮采用壓縮差分算法，具體為：對(duì)于要存入某一個(gè)節(jié)點(diǎn)的時(shí)序數(shù)據(jù)序列，保留序列中第一個(gè)數(shù)據(jù)，從序列中第二個(gè)數(shù)據(jù)開(kāi)始，將數(shù)據(jù)從原始數(shù)值轉(zhuǎn)換為與前一個(gè)數(shù)據(jù)的差值，直到整個(gè)時(shí)序數(shù)據(jù)都完成轉(zhuǎn)換。

17、優(yōu)選的，所述配置參數(shù)還包括存儲(chǔ)周期，數(shù)據(jù)的存儲(chǔ)周期以時(shí)序數(shù)據(jù)采集完成的時(shí)間作為起始點(diǎn)；數(shù)據(jù)存儲(chǔ)模塊根據(jù)存儲(chǔ)空間設(shè)置最大存儲(chǔ)周期，并定期檢查數(shù)據(jù)的存儲(chǔ)周期，若數(shù)據(jù)的存儲(chǔ)周期超過(guò)最大存儲(chǔ)周期，則對(duì)該數(shù)據(jù)進(jìn)行刪除操作。

18、優(yōu)選的，北向轉(zhuǎn)發(fā)模塊在轉(zhuǎn)發(fā)過(guò)程中檢查到數(shù)據(jù)傳輸異常時(shí)，對(duì)異常時(shí)間點(diǎn)和鏈路恢復(fù)時(shí)間點(diǎn)進(jìn)行標(biāo)記，當(dāng)鏈路恢復(fù)時(shí)觸發(fā)補(bǔ)傳機(jī)制，對(duì)傳輸異常的數(shù)據(jù)進(jìn)行數(shù)據(jù)重傳。

19、優(yōu)選的，所述補(bǔ)傳機(jī)制，包括以下步驟：

20、根據(jù)異常時(shí)間點(diǎn)和鏈路恢復(fù)時(shí)間點(diǎn)確定異常時(shí)間區(qū)間；

21、在數(shù)據(jù)存儲(chǔ)模塊中同時(shí)對(duì)所有節(jié)點(diǎn)進(jìn)行查詢，認(rèn)為存儲(chǔ)時(shí)間的起始點(diǎn)落在異常時(shí)間區(qū)間的數(shù)據(jù)為傳輸異常的數(shù)據(jù)；

22、通過(guò)北向轉(zhuǎn)發(fā)模塊對(duì)傳輸異常的數(shù)據(jù)再次進(jìn)行上傳。

23、本發(fā)明具有如下有益效果：

24、(1)設(shè)置不同類型的采集模塊與轉(zhuǎn)發(fā)模塊，通過(guò)配置可以實(shí)現(xiàn)不同應(yīng)用場(chǎng)景的數(shù)據(jù)采集與上傳；對(duì)于采集的數(shù)據(jù)采用存儲(chǔ)時(shí)序數(shù)據(jù)的方式，使每個(gè)數(shù)據(jù)點(diǎn)與時(shí)間的關(guān)系明了，便于數(shù)據(jù)的分析和處理，易于理解數(shù)據(jù)的變化趨勢(shì)；

25、(2)采用分布式架構(gòu)的數(shù)據(jù)存儲(chǔ)模塊，多個(gè)節(jié)點(diǎn)能同時(shí)存儲(chǔ)和處理大規(guī)模的時(shí)序數(shù)據(jù)；存儲(chǔ)時(shí)確定采集數(shù)據(jù)類型，且對(duì)時(shí)序數(shù)據(jù)進(jìn)行壓縮與定期檢查，提高了存儲(chǔ)效率，節(jié)省了存儲(chǔ)空間；

26、(3)轉(zhuǎn)發(fā)模塊基于數(shù)據(jù)緩存設(shè)置了補(bǔ)傳機(jī)制，有效解決了傳輸中的數(shù)據(jù)丟失問(wèn)題，提高了邊緣計(jì)算數(shù)據(jù)傳輸?shù)目煽啃?；?duì)于異常數(shù)據(jù)的查詢，可將異常時(shí)間區(qū)間進(jìn)行分段，同時(shí)在數(shù)據(jù)存儲(chǔ)模塊的多個(gè)節(jié)點(diǎn)中進(jìn)行查詢，滿足對(duì)不同時(shí)間精度的數(shù)據(jù)查詢，從秒級(jí)到年級(jí)的時(shí)間跨度以及數(shù)據(jù)的過(guò)濾，更高效的實(shí)現(xiàn)數(shù)據(jù)查詢；數(shù)據(jù)存儲(chǔ)模塊多節(jié)點(diǎn)并行處理查詢請(qǐng)求，提高查詢性能。

27、以下結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明，但本發(fā)明不局限于實(shí)施例。

技術(shù)特征：

1.一種邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，其特征在于，南向采集模塊包括若干采集模塊，根據(jù)配置的物模型選擇采集模塊進(jìn)行數(shù)據(jù)采集；北向轉(zhuǎn)發(fā)模塊包括若干轉(zhuǎn)發(fā)模塊，根據(jù)云端或服務(wù)器類型選擇轉(zhuǎn)發(fā)模塊并進(jìn)行數(shù)據(jù)上傳。

3.根據(jù)權(quán)利要求2所述的邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，其特征在于，所述采集模塊采用modbus工業(yè)協(xié)議采集模塊、can總線協(xié)議采集模塊或plc數(shù)據(jù)采集模塊。

4.根據(jù)權(quán)利要求2所述的邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，其特征在于，所述轉(zhuǎn)發(fā)模塊采用mqtt轉(zhuǎn)發(fā)模塊、http轉(zhuǎn)發(fā)模塊或hj212轉(zhuǎn)發(fā)模塊；

5.根據(jù)權(quán)利要求2所述的邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，其特征在于，存儲(chǔ)規(guī)則包括選擇要存儲(chǔ)時(shí)序數(shù)據(jù)的采集模塊和該采集模塊發(fā)送過(guò)來(lái)的時(shí)序數(shù)據(jù)中的數(shù)據(jù)點(diǎn)。

6.根據(jù)權(quán)利要求1所述的邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，其特征在于，數(shù)據(jù)存儲(chǔ)模塊采用分布式架構(gòu)，設(shè)置多個(gè)節(jié)點(diǎn)用于存儲(chǔ)和處理時(shí)序數(shù)據(jù)；所述數(shù)據(jù)存儲(chǔ)模塊根據(jù)配置參數(shù)進(jìn)行數(shù)據(jù)管理，包括以下步驟：

7.根據(jù)權(quán)利要求6所述的邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，其特征在于，所述數(shù)據(jù)壓縮采用壓縮差分算法，具體為：對(duì)于要存入某一個(gè)節(jié)點(diǎn)的時(shí)序數(shù)據(jù)序列，保留序列中第一個(gè)數(shù)據(jù)，從序列中第二個(gè)數(shù)據(jù)開(kāi)始，將數(shù)據(jù)從原始數(shù)值轉(zhuǎn)換為與前一個(gè)數(shù)據(jù)的差值，直到整個(gè)時(shí)序數(shù)據(jù)都完成轉(zhuǎn)換。

8.根據(jù)權(quán)利要求1所述的邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，其特征在于，所述配置參數(shù)還包括存儲(chǔ)周期，數(shù)據(jù)的存儲(chǔ)周期以時(shí)序數(shù)據(jù)采集完成的時(shí)間作為起始點(diǎn)；數(shù)據(jù)存儲(chǔ)模塊根據(jù)存儲(chǔ)空間設(shè)置最大存儲(chǔ)周期，并定期檢查數(shù)據(jù)的存儲(chǔ)周期，若數(shù)據(jù)的存儲(chǔ)周期超過(guò)最大存儲(chǔ)周期，則對(duì)該數(shù)據(jù)進(jìn)行刪除操作。

9.根據(jù)權(quán)利要求8所述的邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，其特征在于，北向轉(zhuǎn)發(fā)模塊在轉(zhuǎn)發(fā)過(guò)程中檢查到數(shù)據(jù)傳輸異常時(shí)，對(duì)異常時(shí)間點(diǎn)和鏈路恢復(fù)時(shí)間點(diǎn)進(jìn)行標(biāo)記，當(dāng)鏈路恢復(fù)時(shí)觸發(fā)補(bǔ)傳機(jī)制，對(duì)傳輸異常的數(shù)據(jù)進(jìn)行數(shù)據(jù)重傳。

10.根據(jù)權(quán)利要求9所述的邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，其特征在于，所述補(bǔ)傳機(jī)制，包括以下步驟：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種邊緣計(jì)算網(wǎng)關(guān)的時(shí)序數(shù)據(jù)管理方法，包括以下步驟：邊緣計(jì)算網(wǎng)關(guān)使用配置好的南向采集模塊采集時(shí)序數(shù)據(jù)，并發(fā)送至數(shù)據(jù)存儲(chǔ)模塊；數(shù)據(jù)存儲(chǔ)模塊根據(jù)配置參數(shù)將時(shí)序數(shù)據(jù)按照時(shí)間序列順序?qū)懭氪疟P(pán)；所述配置參數(shù)包括存儲(chǔ)使能和存儲(chǔ)規(guī)則，存儲(chǔ)使能為數(shù)據(jù)存儲(chǔ)模塊的存儲(chǔ)總開(kāi)關(guān)，開(kāi)啟后進(jìn)行數(shù)據(jù)存儲(chǔ)與查詢；存儲(chǔ)規(guī)則用于選擇要存儲(chǔ)的時(shí)序數(shù)據(jù)；數(shù)據(jù)存儲(chǔ)模塊將時(shí)序數(shù)據(jù)通過(guò)北向轉(zhuǎn)發(fā)模塊轉(zhuǎn)發(fā)到云端或服務(wù)器。本發(fā)明采用有效地管理和存儲(chǔ)大量時(shí)序數(shù)據(jù)，并通過(guò)補(bǔ)傳機(jī)制解決北向轉(zhuǎn)發(fā)模塊數(shù)據(jù)傳輸中由于網(wǎng)絡(luò)不穩(wěn)定性、高延遲造成數(shù)據(jù)丟失問(wèn)題，從而提高邊緣計(jì)算網(wǎng)關(guān)的可靠性和性能。

技術(shù)研發(fā)人員：朱易晟,張衛(wèi)海,張?zhí)觳?br/>受保護(hù)的技術(shù)使用者：廈門(mén)銳谷通信設(shè)備有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21