本發(fā)明屬于數(shù)據(jù)同步，具體涉及一種基于maxwell、rabbitmq和物聯(lián)網(wǎng)技術(shù)的內(nèi)外網(wǎng)數(shù)據(jù)同步方法。

背景技術(shù)：

1、智能巡檢機(jī)器人是一種能夠自主或半自主進(jìn)行設(shè)備巡檢的機(jī)器人，其是利用傳感器和人工智能算法等手段對(duì)設(shè)備進(jìn)行監(jiān)測(cè)、診斷和維護(hù)，因此不但可以代替人工進(jìn)行重復(fù)性、長(zhǎng)時(shí)間和在危險(xiǎn)/遠(yuǎn)程環(huán)境下的工作，提高巡檢效率，降低安全風(fēng)險(xiǎn)，還可以實(shí)時(shí)監(jiān)測(cè)設(shè)備狀態(tài)，及時(shí)發(fā)現(xiàn)異常情況，并通過(guò)數(shù)據(jù)分析和學(xué)習(xí)，可以更準(zhǔn)確地判斷設(shè)備故障和性能下降，避免漏檢和誤判。

2、由于受特殊條件限制而導(dǎo)致的系統(tǒng)業(yè)務(wù)原因，現(xiàn)有的機(jī)器人巡檢平臺(tái)存在以下數(shù)據(jù)同步問(wèn)題：

3、（1）機(jī)器人巡檢平臺(tái)分為總部和子庫(kù)區(qū)兩個(gè)級(jí)別，而總部和子庫(kù)區(qū)的服務(wù)器不在同一地方，可能總部的服務(wù)器設(shè)在北京，子庫(kù)區(qū)的服務(wù)器設(shè)在錦州，使得存在地域上的隔離。同時(shí)出于數(shù)據(jù)安全性考慮，平臺(tái)的數(shù)據(jù)存儲(chǔ)不會(huì)采取上云方式，所以總部和子庫(kù)區(qū)的服務(wù)器用的不是同一個(gè)數(shù)據(jù)庫(kù)，但是業(yè)務(wù)上總部平臺(tái)的功能依賴于子庫(kù)區(qū)平臺(tái)的數(shù)據(jù)；

4、（2）由于客戶對(duì)總部平臺(tái)的部署環(huán)境有嚴(yán)格要求，分為內(nèi)網(wǎng)環(huán)境和外網(wǎng)環(huán)境，內(nèi)網(wǎng)環(huán)境的服務(wù)只能與處于同一個(gè)局域網(wǎng)的另一服務(wù)進(jìn)行通信，在這種情況下無(wú)法直接與外網(wǎng)環(huán)境（比如阿里云物聯(lián)網(wǎng)平臺(tái)）通信；考慮到這樣的設(shè)計(jì)與外網(wǎng)環(huán)境無(wú)法通信，客戶只能允許部署在dmz（demilitarized?zone的縮寫，中文名稱為隔離區(qū)，也稱非軍事化區(qū)，它是為了解決安裝防火墻后外部網(wǎng)絡(luò)的訪問(wèn)用戶不能訪問(wèn)內(nèi)部網(wǎng)絡(luò)服務(wù)器的問(wèn)題，而設(shè)立的一個(gè)非安全系統(tǒng)與安全系統(tǒng)之間的緩沖區(qū)）服務(wù)器上的服務(wù)可以與外網(wǎng)環(huán)境通信，而部署在dmz服務(wù)器的服務(wù)需要通過(guò)nginx代理與內(nèi)網(wǎng)環(huán)境通信，此時(shí)數(shù)據(jù)同步的中間環(huán)節(jié)變得比較復(fù)雜。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于maxwell、rabbitmq和物聯(lián)網(wǎng)技術(shù)的內(nèi)外網(wǎng)數(shù)據(jù)同步方法，用以解決現(xiàn)有諸如機(jī)器人巡檢平臺(tái)等的上下兩級(jí)平臺(tái)系統(tǒng)所存在內(nèi)外網(wǎng)數(shù)據(jù)同步復(fù)雜以及因有壁壘而難以及時(shí)同步上下兩級(jí)數(shù)據(jù)庫(kù)的問(wèn)題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、第一方面，提供了一種基于maxwell、rabbitmq和物聯(lián)網(wǎng)技術(shù)的內(nèi)外網(wǎng)數(shù)據(jù)同步方法，包括：

4、啟動(dòng)maxwell軟件監(jiān)聽(tīng)子節(jié)點(diǎn)數(shù)據(jù)庫(kù)的二進(jìn)制日志，其中，所述maxwell軟件和所述子節(jié)點(diǎn)數(shù)據(jù)庫(kù)均部署在子節(jié)點(diǎn)的服務(wù)器上；

5、由所述maxwell軟件在監(jiān)聽(tīng)到所述子節(jié)點(diǎn)數(shù)據(jù)庫(kù)的二進(jìn)制日志發(fā)生更新時(shí)，捕獲得到所述子節(jié)點(diǎn)數(shù)據(jù)庫(kù)的變更操作信息，并將所述變更操作信息轉(zhuǎn)換成json格式消息；

6、由所述maxwell軟件將所述json格式消息發(fā)送至rabbitmq軟件且預(yù)先與用于作為消息生產(chǎn)者的所述maxwell軟件綁定的消息隊(duì)列中，其中，所述rabbitmq軟件也部署在所述子節(jié)點(diǎn)的服務(wù)器上；

7、由子節(jié)點(diǎn)平臺(tái)從所述rabbitmq軟件處訂閱獲取所述json格式消息，其中，所述子節(jié)點(diǎn)平臺(tái)也部署在所述子節(jié)點(diǎn)的服務(wù)器上，并作為消息消費(fèi)者與所述消息隊(duì)列綁定；

8、由所述子節(jié)點(diǎn)平臺(tái)以物聯(lián)網(wǎng)服務(wù)端名義將所述json格式消息傳送至物聯(lián)網(wǎng)云平臺(tái)；

9、由數(shù)據(jù)復(fù)制服務(wù)程序以物聯(lián)網(wǎng)客戶端名義接收由所述物聯(lián)網(wǎng)云平臺(tái)轉(zhuǎn)發(fā)的所述json格式消息，其中，所述數(shù)據(jù)復(fù)制服務(wù)程序部署在隔離區(qū)服務(wù)器上，所述隔離區(qū)服務(wù)器位于父節(jié)點(diǎn)的外網(wǎng)環(huán)境中，所述父節(jié)點(diǎn)和所述子節(jié)點(diǎn)為具有上下級(jí)關(guān)系的一對(duì)節(jié)點(diǎn)；

10、由所述數(shù)據(jù)復(fù)制服務(wù)程序?qū)⑺鰆son格式消息發(fā)送至nginx代理服務(wù)程序，其中，所述nginx代理服務(wù)程序部署在所述父節(jié)點(diǎn)的服務(wù)器上，所述父節(jié)點(diǎn)的服務(wù)器位于所述父節(jié)點(diǎn)的內(nèi)網(wǎng)環(huán)境中；

11、由所述nginx代理服務(wù)程序?qū)⑺鰆son格式消息發(fā)送至父節(jié)點(diǎn)平臺(tái)，其中，所述父節(jié)點(diǎn)平臺(tái)也部署在所述父節(jié)點(diǎn)的服務(wù)器上；

12、由所述父節(jié)點(diǎn)平臺(tái)將所述json格式消息發(fā)送至父節(jié)點(diǎn)數(shù)據(jù)庫(kù)，其中，所述父節(jié)點(diǎn)數(shù)據(jù)庫(kù)也部署在所述父節(jié)點(diǎn)的服務(wù)器上；

13、由所述父節(jié)點(diǎn)數(shù)據(jù)庫(kù)對(duì)所述json格式消息進(jìn)行解析以得到所述變更操作信息，并根據(jù)所述變更操作信息更新本地?cái)?shù)據(jù)庫(kù)。

14、基于上述
技術(shù)實(shí)現(xiàn)要素：
，提供了一種基于maxwell、rabbitmq和物聯(lián)網(wǎng)技術(shù)的內(nèi)外網(wǎng)數(shù)據(jù)同步新方案，即先由maxwell軟件在監(jiān)聽(tīng)到子節(jié)點(diǎn)數(shù)據(jù)庫(kù)的二進(jìn)制日志發(fā)生更新時(shí)，捕獲得到子節(jié)點(diǎn)數(shù)據(jù)庫(kù)的變更操作信息并轉(zhuǎn)換成json格式消息，然后以消息生產(chǎn)上傳及訂閱消費(fèi)方式經(jīng)rabbitmq將消息轉(zhuǎn)發(fā)至子節(jié)點(diǎn)平臺(tái)，再然后通過(guò)物聯(lián)網(wǎng)云平臺(tái)將消息轉(zhuǎn)發(fā)至數(shù)據(jù)復(fù)制服務(wù)程序，再然后將消息依次轉(zhuǎn)發(fā)至nginx代理服務(wù)程序、父節(jié)點(diǎn)平臺(tái)以及父節(jié)點(diǎn)數(shù)據(jù)庫(kù)，最后由父節(jié)點(diǎn)數(shù)據(jù)庫(kù)對(duì)消息進(jìn)行解析以得到變更操作信息，并根據(jù)變更操作信息更新本地?cái)?shù)據(jù)庫(kù)，如此可以降低上下兩級(jí)平臺(tái)系統(tǒng)的內(nèi)外網(wǎng)數(shù)據(jù)同步復(fù)雜度，打破外網(wǎng)與內(nèi)網(wǎng)數(shù)據(jù)同步的壁壘，使得內(nèi)網(wǎng)環(huán)境中的父節(jié)點(diǎn)數(shù)據(jù)庫(kù)能夠及時(shí)與外網(wǎng)環(huán)境中的子節(jié)點(diǎn)數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)同步，特別適用于分有總部和子庫(kù)區(qū)兩個(gè)級(jí)別的機(jī)器人巡檢平臺(tái)，便于實(shí)際應(yīng)用和推廣。

15、在一個(gè)可能的設(shè)計(jì)中，所述父節(jié)點(diǎn)和所述子節(jié)點(diǎn)分別一一對(duì)應(yīng)地為在機(jī)器人巡檢平臺(tái)中的總部和子庫(kù)區(qū)兩個(gè)級(jí)別。

16、在一個(gè)可能的設(shè)計(jì)中，所述子節(jié)點(diǎn)平臺(tái)，用于：

17、配置并管理用于執(zhí)行所屬庫(kù)區(qū)巡檢任務(wù)的巡檢機(jī)器人的機(jī)器人信息；

18、和/或，配置并管理當(dāng)前在巡機(jī)器人在執(zhí)行所屬庫(kù)區(qū)巡檢任務(wù)時(shí)所需要的巡檢線路、巡檢策略、巡檢任務(wù)、巡檢記錄和/或巡檢點(diǎn)；

19、和/或，配置并管理用于判斷巡檢機(jī)器人在執(zhí)行所屬庫(kù)區(qū)巡檢任務(wù)的過(guò)程中產(chǎn)生的巡檢數(shù)據(jù)是否達(dá)到告警的標(biāo)準(zhǔn)，并在達(dá)到告警標(biāo)準(zhǔn)時(shí)生成告警記錄和/或支持巡檢機(jī)器人在收到告警數(shù)據(jù)時(shí)的處理策略，其中，所述告警記錄支持人工復(fù)核以防止機(jī)器人誤判，所述處理策略包括有一鍵急停、恢復(fù)巡檢和/或立即返航；

20、和/或，支持查看機(jī)器人駕駛艙和/或庫(kù)區(qū)駕駛艙，其中，所述機(jī)器人駕駛艙用于展示機(jī)器人總覽、告警信息、工藝指標(biāo)結(jié)果、機(jī)器人攝像頭采集可見(jiàn)光所得的實(shí)時(shí)視頻、機(jī)器人攝像頭采集紅外光所得的實(shí)時(shí)視頻和/或?qū)σ曨l數(shù)據(jù)的人工智能分析結(jié)果，所述庫(kù)區(qū)駕駛艙用于展示所屬庫(kù)區(qū)的機(jī)器人列表、當(dāng)日/周/月巡檢次數(shù)、當(dāng)天的巡檢任務(wù)明細(xì)、當(dāng)日/周/月告警次數(shù)、topn告警事件和/或油庫(kù)告警情況；

21、和/或，支持以周/月/年為時(shí)間跨度查看所屬庫(kù)區(qū)機(jī)器人的任務(wù)統(tǒng)計(jì)、告警統(tǒng)計(jì)、告警趨勢(shì)、告警級(jí)別、告警類型分析結(jié)果和/或topn告警巡檢點(diǎn)。

22、在一個(gè)可能的設(shè)計(jì)中，所述父節(jié)點(diǎn)平臺(tái)，用于：

23、支持查看總部駕駛艙，其中，所述總部駕駛艙用于展示所有子庫(kù)區(qū)機(jī)器人根據(jù)狀態(tài)分組的個(gè)數(shù)、巡檢統(tǒng)計(jì)結(jié)果、實(shí)時(shí)巡檢結(jié)果、告警信息、告警趨勢(shì)和/或?qū)崟r(shí)告警事件；

24、和/或，支持對(duì)所有子庫(kù)區(qū)的機(jī)器人巡檢記錄的查詢篩選，并導(dǎo)出巡檢報(bào)告；

25、和/或，支持對(duì)所有子庫(kù)區(qū)的機(jī)器人告警記錄的查詢篩選；

26、和/或，支持基于所有子庫(kù)區(qū)的業(yè)務(wù)數(shù)據(jù)進(jìn)行報(bào)表分析，其中，所述報(bào)表分析包括任務(wù)統(tǒng)計(jì)、告警統(tǒng)計(jì)、告警趨勢(shì)估計(jì)、告警級(jí)別劃分、告警分析、告警分布分析、各庫(kù)區(qū)告警分析和/或topn告警類型排序。

27、在一個(gè)可能的設(shè)計(jì)中，所述子節(jié)點(diǎn)數(shù)據(jù)庫(kù)或所述父節(jié)點(diǎn)數(shù)據(jù)庫(kù)為mysql數(shù)據(jù)庫(kù)。

28、在一個(gè)可能的設(shè)計(jì)中，所述變更操作信息包括有變更操作類型、變更操作表名和變更操作數(shù)據(jù)內(nèi)容，其中，所述變更操作類型包括有插入操作、更新操作和/或刪除操作，所述變更操作數(shù)據(jù)內(nèi)容包含有插入操作的新數(shù)據(jù)、更新操作的更新前舊數(shù)據(jù)及更新后新數(shù)據(jù)和/或刪除操作的被刪除數(shù)據(jù)。

29、在一個(gè)可能的設(shè)計(jì)中，所述物聯(lián)網(wǎng)云平臺(tái)為阿里云物聯(lián)網(wǎng)平臺(tái)，并預(yù)先參考所述阿里云物聯(lián)網(wǎng)平臺(tái)的接入文檔，將所述子節(jié)點(diǎn)平臺(tái)作為服務(wù)端注冊(cè)到阿里云物聯(lián)網(wǎng)平臺(tái)，以使所述子節(jié)點(diǎn)平臺(tái)連接到所述阿里云物聯(lián)網(wǎng)平臺(tái)且具有訂閱權(quán)限的主題，以及還將所述數(shù)據(jù)復(fù)制服務(wù)程序作為客戶端注冊(cè)到阿里云物聯(lián)網(wǎng)平臺(tái)，以使所述數(shù)據(jù)復(fù)制服務(wù)程序連接到所述阿里云物聯(lián)網(wǎng)平臺(tái)且具有訂閱權(quán)限的所述主題。

30、在一個(gè)可能的設(shè)計(jì)中，由所述子節(jié)點(diǎn)平臺(tái)以物聯(lián)網(wǎng)服務(wù)端名義將所述json格式消息傳送至物聯(lián)網(wǎng)云平臺(tái)，包括：

31、由所述子節(jié)點(diǎn)平臺(tái)以物聯(lián)網(wǎng)服務(wù)端名義并通過(guò)htpps協(xié)議將所述json格式消息傳送至物聯(lián)網(wǎng)云平臺(tái)；

32、由數(shù)據(jù)復(fù)制服務(wù)程序以物聯(lián)網(wǎng)客戶端名義接收由所述物聯(lián)網(wǎng)云平臺(tái)轉(zhuǎn)發(fā)的所述json格式消息，包括：

33、由數(shù)據(jù)復(fù)制服務(wù)程序以物聯(lián)網(wǎng)客戶端名義并通過(guò)mqtt協(xié)議接收由所述物聯(lián)網(wǎng)云平臺(tái)轉(zhuǎn)發(fā)的所述json格式消息，其中，所述數(shù)據(jù)復(fù)制服務(wù)程序部署在隔離區(qū)服務(wù)器上，所述隔離區(qū)服務(wù)器位于父節(jié)點(diǎn)的外網(wǎng)環(huán)境中，所述父節(jié)點(diǎn)和所述子節(jié)點(diǎn)為具有上下級(jí)關(guān)系的一對(duì)節(jié)點(diǎn)。

34、在一個(gè)可能的設(shè)計(jì)中，由所述數(shù)據(jù)復(fù)制服務(wù)程序?qū)⑺鰆son格式消息發(fā)送至nginx代理服務(wù)程序，包括：

35、由所述數(shù)據(jù)復(fù)制服務(wù)程序通過(guò)htpps協(xié)議將所述json格式消息發(fā)送至nginx代理服務(wù)程序，其中，所述nginx代理服務(wù)程序部署在所述父節(jié)點(diǎn)的服務(wù)器上，所述父節(jié)點(diǎn)的服務(wù)器位于所述父節(jié)點(diǎn)的內(nèi)網(wǎng)環(huán)境中。

36、在一個(gè)可能的設(shè)計(jì)中，根據(jù)所述變更操作信息更新本地?cái)?shù)據(jù)庫(kù)，包括：

37、將所述變更操作信息封裝成與目標(biāo)表對(duì)應(yīng)一致的類，然后借助于mybatisplus框架更新本地?cái)?shù)據(jù)庫(kù)。

38、上述方案的有益效果：

39、（1）本發(fā)明創(chuàng)造性提供了一種基于maxwell、rabbitmq和物聯(lián)網(wǎng)技術(shù)的內(nèi)外網(wǎng)數(shù)據(jù)同步新方案，即先由maxwell軟件在監(jiān)聽(tīng)到子節(jié)點(diǎn)數(shù)據(jù)庫(kù)的二進(jìn)制日志發(fā)生更新時(shí)，捕獲得到子節(jié)點(diǎn)數(shù)據(jù)庫(kù)的變更操作信息并轉(zhuǎn)換成json格式消息，然后以消息生產(chǎn)上傳及訂閱消費(fèi)方式經(jīng)rabbitmq將消息轉(zhuǎn)發(fā)至子節(jié)點(diǎn)平臺(tái)，再然后通過(guò)物聯(lián)網(wǎng)云平臺(tái)將消息轉(zhuǎn)發(fā)至數(shù)據(jù)復(fù)制服務(wù)程序，再然后將消息依次轉(zhuǎn)發(fā)至nginx代理服務(wù)程序、父節(jié)點(diǎn)平臺(tái)以及父節(jié)點(diǎn)數(shù)據(jù)庫(kù)，最后由父節(jié)點(diǎn)數(shù)據(jù)庫(kù)對(duì)消息進(jìn)行解析以得到變更操作信息，并根據(jù)變更操作信息更新本地?cái)?shù)據(jù)庫(kù)，如此可以降低上下兩級(jí)平臺(tái)系統(tǒng)的內(nèi)外網(wǎng)數(shù)據(jù)同步復(fù)雜度，打破外網(wǎng)與內(nèi)網(wǎng)數(shù)據(jù)同步的壁壘，使得內(nèi)網(wǎng)環(huán)境中的父節(jié)點(diǎn)數(shù)據(jù)庫(kù)能夠及時(shí)與外網(wǎng)環(huán)境中的子節(jié)點(diǎn)數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)同步，特別適用于分有總部和子庫(kù)區(qū)兩個(gè)級(jí)別的機(jī)器人巡檢平臺(tái)，便于實(shí)際應(yīng)用和推廣；

40、（2）還具有低延遲特點(diǎn)，即maxwell能夠?qū)崟r(shí)捕獲mysql數(shù)據(jù)庫(kù)的變更，并迅速將這些變更發(fā)送到rabbitmq，實(shí)現(xiàn)低延遲的數(shù)據(jù)傳輸，使得相比于傳統(tǒng)的批量數(shù)據(jù)同步工具，maxwell提供了更高的實(shí)時(shí)性；

41、（3）還具有數(shù)據(jù)高一致性特點(diǎn)，即通過(guò)讀取mysql的binlog，maxwell能夠確保捕獲到的變更數(shù)據(jù)與數(shù)據(jù)庫(kù)中的實(shí)際數(shù)據(jù)高度一致，而傳統(tǒng)的數(shù)據(jù)同步方法可能會(huì)因?yàn)檠舆t或其他原因?qū)е聰?shù)據(jù)不一致；

42、（4）還具有可水平擴(kuò)展特點(diǎn)，即rabbitmq作為消息隊(duì)列系統(tǒng)，支持水平擴(kuò)展，可以處理大量的并發(fā)消息，提高系統(tǒng)的吞吐量；

43、（5）還具有系統(tǒng)可解耦特點(diǎn)，即通過(guò)消息隊(duì)列，在生產(chǎn)者（maxwell）與消費(fèi)者（處理json消息的應(yīng)用）之間實(shí)現(xiàn)了解耦，便于系統(tǒng)的維護(hù)和擴(kuò)展；

44、（6）還具有消息可持久化特點(diǎn)，即rabbitmq支持消息持久化，確保在系統(tǒng)故障時(shí)消息不會(huì)丟失，提高系統(tǒng)的可靠性；

45、（7）還具有支持多個(gè)消費(fèi)者的特點(diǎn)，即多個(gè)消費(fèi)者可以從rabbitmq中讀取消息，進(jìn)行不同的處理操作，如數(shù)據(jù)分析和監(jiān)控報(bào)警等，提升系統(tǒng)的靈活性，而傳統(tǒng)方法可能在擴(kuò)展性和靈活性方面存在局限；

46、（8）還具有架構(gòu)簡(jiǎn)化特點(diǎn)，即maxwell是直接讀取mysql數(shù)據(jù)庫(kù)的二進(jìn)制日志binlog，無(wú)需在應(yīng)用層面進(jìn)行額外的開(kāi)發(fā)和維護(hù)，簡(jiǎn)化了系統(tǒng)架構(gòu)，而傳統(tǒng)方法可能需要在應(yīng)用層面添加額外的邏輯來(lái)捕獲和同步數(shù)據(jù)變更；

47、（9）還具有可開(kāi)源和社區(qū)支持的特點(diǎn)，即maxwell是一個(gè)開(kāi)源項(xiàng)目，擁有活躍的社區(qū)支持，用戶可以根據(jù)自身需求進(jìn)行定制和擴(kuò)展，相比之下，某些商業(yè)數(shù)據(jù)同步工具可能在定制和擴(kuò)展方面存在限制。