本發(fā)明涉及分布式領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及電子設(shè)備。

背景技術(shù)：

1、隨著云計(jì)算技術(shù)的快速發(fā)展，容器化技術(shù)得到了廣泛的應(yīng)用，尤其是在kubernetes(簡(jiǎn)稱k8s)這樣的容器編排平臺(tái)。kubernetes是一個(gè)開源的容器編排系統(tǒng)，它能夠自動(dòng)化部署、擴(kuò)展和管理容器化應(yīng)用程序。在k8s中，容器組pod是基本的部署單元，其用于封裝一個(gè)或多個(gè)容器，實(shí)現(xiàn)應(yīng)用程序的部署和管理。

2、k8s中的pod常常被用來處理數(shù)據(jù)流。在數(shù)據(jù)處理完成后，pod將數(shù)據(jù)寫入文件中以便其它服務(wù)使用。在相關(guān)技術(shù)中，k8s系統(tǒng)內(nèi)包括多個(gè)容器組pod，各個(gè)pod分別對(duì)數(shù)據(jù)進(jìn)行處理，并將處理完成的數(shù)據(jù)寫入同一個(gè)文件中，在數(shù)據(jù)累積到一定大小的情況下，上傳至云存儲(chǔ)服務(wù)，該過程如圖1所示。當(dāng)多個(gè)容器組pod往同一個(gè)文件寫數(shù)據(jù)時(shí)，可能會(huì)出現(xiàn)寫入沖突的問題，導(dǎo)致數(shù)據(jù)不一致或丟失，在高并發(fā)場(chǎng)景下，多個(gè)pod同時(shí)將數(shù)據(jù)寫入同一個(gè)文件還可能會(huì)導(dǎo)致i/o(input/output，輸入/輸出)性能瓶頸，影響整個(gè)系統(tǒng)的穩(wěn)定性和響應(yīng)速度。

3、綜上所述，對(duì)于現(xiàn)有的基于pod的數(shù)據(jù)處理方法，多個(gè)pod往同一個(gè)文件中寫入處理后的數(shù)據(jù)會(huì)導(dǎo)致數(shù)據(jù)丟失或錯(cuò)亂問題，從而影響數(shù)據(jù)處理的可靠性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及電子設(shè)備，以至少解決相關(guān)技術(shù)中各個(gè)容器組中的應(yīng)用將處理后的數(shù)據(jù)寫入同一個(gè)文件中，容易導(dǎo)致數(shù)據(jù)丟失或錯(cuò)亂，從而存在數(shù)據(jù)處理可靠性差的技術(shù)問題。

2、根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種數(shù)據(jù)處理方法，應(yīng)用于分布式系統(tǒng)，分布式系統(tǒng)中包括多個(gè)第一容器組，第一容器組為運(yùn)行有數(shù)據(jù)處理應(yīng)用的容器組，該方法包括：通過第一容器組中的應(yīng)用獲取匹配關(guān)系集合以及第一容器組的容器組信息，其中，匹配關(guān)系集合中包括多個(gè)第一容器組與多個(gè)存儲(chǔ)目錄之間的匹配關(guān)系，不同的第一容器組與不同的存儲(chǔ)目錄匹配；通過第一容器組中的應(yīng)用依據(jù)容器組信息和匹配關(guān)系集合確定第一容器組匹配的存儲(chǔ)目錄，得到目標(biāo)存儲(chǔ)目錄；通過第一容器組中的應(yīng)用將該應(yīng)用處理完成的數(shù)據(jù)存儲(chǔ)至目標(biāo)存儲(chǔ)目錄。

3、進(jìn)一步地，數(shù)據(jù)處理方法還包括：依據(jù)容器組信息，判斷匹配關(guān)系集合中是否包括第一容器組對(duì)應(yīng)的匹配關(guān)系；若包括第一容器組對(duì)應(yīng)的匹配關(guān)系，則將第一容器組對(duì)應(yīng)的匹配關(guān)系中的存儲(chǔ)目錄確定為目標(biāo)存儲(chǔ)目錄；若不包括第一容器組對(duì)應(yīng)的匹配關(guān)系，則確定第一存儲(chǔ)目錄，并將第一存儲(chǔ)目錄確定為目標(biāo)存儲(chǔ)目錄，其中，第一存儲(chǔ)目錄是指未匹配有第一容器組的存儲(chǔ)目錄。

4、進(jìn)一步地，數(shù)據(jù)處理方法還包括：在將第一存儲(chǔ)目錄確定為目標(biāo)存儲(chǔ)目錄之后，在匹配關(guān)系集合中建立第一容器組與第一存儲(chǔ)目錄之間的匹配關(guān)系。

5、進(jìn)一步地，數(shù)據(jù)處理方法還包括：獲取預(yù)設(shè)的多個(gè)目錄號(hào)；對(duì)于多個(gè)目錄號(hào)中的第n個(gè)目錄號(hào)，判斷匹配關(guān)系集合中是否存在第二存儲(chǔ)目錄，其中，第二存儲(chǔ)目錄為使用第n個(gè)目錄號(hào)的存儲(chǔ)目錄；若匹配關(guān)系集合中不存在第二存儲(chǔ)目錄，則將第二存儲(chǔ)目錄確定為第一存儲(chǔ)目錄；若匹配關(guān)系集合中存在第二存儲(chǔ)目錄，則更新n，并重復(fù)執(zhí)行判斷匹配關(guān)系集合中是否存在新的第二存儲(chǔ)目錄的步驟，直至匹配關(guān)系集合中不存在新的第二存儲(chǔ)目錄，將新的第二存儲(chǔ)目錄確定為第一存儲(chǔ)目錄。

6、進(jìn)一步地，分布式系統(tǒng)中還包括第二容器組，第二容器組為運(yùn)行有目錄管理應(yīng)用的容器組，數(shù)據(jù)處理方法還包括：通過第二容器組中的應(yīng)用確定分布式系統(tǒng)中已存在的存儲(chǔ)目錄，得到多個(gè)第三存儲(chǔ)目錄；對(duì)于每個(gè)第三存儲(chǔ)目錄，通過第二容器組中的應(yīng)用判斷匹配關(guān)系集合中是否包括第三存儲(chǔ)目錄；在包括第三存儲(chǔ)目錄的情況下，通過第二容器組中的應(yīng)用判斷第三存儲(chǔ)目錄在匹配關(guān)系集合中匹配的第一容器組是否處于運(yùn)行狀態(tài)；在第三存儲(chǔ)目錄匹配的第一容器組未處于運(yùn)行狀態(tài)的情況下，通過第二容器組中的應(yīng)用將第三存儲(chǔ)目錄對(duì)應(yīng)的匹配關(guān)系從匹配關(guān)系集合中刪除。

7、進(jìn)一步地，數(shù)據(jù)處理方法還包括：在第三存儲(chǔ)目錄匹配的第一容器組未處于運(yùn)行狀態(tài)的情況下，通過第二容器組中的應(yīng)用將第三存儲(chǔ)目錄下的數(shù)據(jù)上傳至目標(biāo)服務(wù)器；通過第二容器組中的應(yīng)用刪除第三存儲(chǔ)目錄下的數(shù)據(jù)，并刪除第三存儲(chǔ)目錄。

8、進(jìn)一步地，數(shù)據(jù)處理方法還包括：在通過第二容器組中的應(yīng)用判斷匹配關(guān)系集合中是否包括第三存儲(chǔ)目錄之后，在不包括第三存儲(chǔ)目錄的情況下，通過第二容器組中的應(yīng)用獲取預(yù)設(shè)的配置信息，其中，配置信息表征是否允許刪除匹配關(guān)系集合中未記錄的第三存儲(chǔ)目錄；通過第二容器組中的應(yīng)用依據(jù)配置信息確定對(duì)第三存儲(chǔ)目錄的處理方式。

9、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種數(shù)據(jù)處理裝置，應(yīng)用于分布式系統(tǒng)，分布式系統(tǒng)中包括多個(gè)第一容器組，第一容器組為運(yùn)行有數(shù)據(jù)處理應(yīng)用的容器組，該裝置包括：第一獲取模塊，用于通過第一容器組中的應(yīng)用獲取匹配關(guān)系集合以及第一容器組的容器組信息，其中，匹配關(guān)系集合中包括多個(gè)第一容器組與多個(gè)存儲(chǔ)目錄之間的匹配關(guān)系，不同的第一容器組與不同的存儲(chǔ)目錄匹配；第一確定模塊，用于通過第一容器組中的應(yīng)用依據(jù)容器組信息和匹配關(guān)系集合確定第一容器組匹配的存儲(chǔ)目錄，得到目標(biāo)存儲(chǔ)目錄；存儲(chǔ)模塊，用于通過第一容器組中的應(yīng)用將該應(yīng)用處理完成的數(shù)據(jù)存儲(chǔ)至目標(biāo)存儲(chǔ)目錄。

10、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，其中，計(jì)算機(jī)程序被設(shè)置為運(yùn)行時(shí)執(zhí)行上述的數(shù)據(jù)處理方法。

11、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種電子設(shè)備，電子設(shè)備包括一個(gè)或多個(gè)處理器；存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得一個(gè)或多個(gè)處理器實(shí)現(xiàn)用于運(yùn)行程序，其中，程序被設(shè)置為運(yùn)行時(shí)執(zhí)行上述的數(shù)據(jù)處理方法。

12、在本發(fā)明實(shí)施例中，采用將不同容器組中應(yīng)用處理完成的數(shù)據(jù)寫入不同目錄的方式，通過第一容器組中的應(yīng)用獲取匹配關(guān)系集合以及第一容器組的容器組信息，然后通過第一容器組中的應(yīng)用依據(jù)容器組信息和匹配關(guān)系集合確定第一容器組匹配的存儲(chǔ)目錄，得到目標(biāo)存儲(chǔ)目錄，從而通過第一容器組中的應(yīng)用將該應(yīng)用處理完成的數(shù)據(jù)存儲(chǔ)至目標(biāo)存儲(chǔ)目錄。其中，匹配關(guān)系集合中包括多個(gè)第一容器組與多個(gè)存儲(chǔ)目錄之間的匹配關(guān)系，不同的第一容器組與不同的存儲(chǔ)目錄匹配。

13、在上述過程中，通過獲取匹配關(guān)系集合以及第一容器組的容器組信息，并依據(jù)容器組信息和匹配關(guān)系集合確定第一容器組匹配的存儲(chǔ)目錄，實(shí)現(xiàn)了對(duì)當(dāng)前的第一容器組對(duì)應(yīng)的目標(biāo)存儲(chǔ)目錄的準(zhǔn)確確定，由于不同的第一容器組與不同的存儲(chǔ)目錄匹配，因此，目標(biāo)存儲(chǔ)目錄僅用于存儲(chǔ)當(dāng)前的第一容器組中的應(yīng)用所處理完成的數(shù)據(jù)，當(dāng)通過第一容器組中的應(yīng)用將該應(yīng)用處理完成的數(shù)據(jù)存儲(chǔ)至對(duì)應(yīng)的目標(biāo)存儲(chǔ)目錄時(shí)，實(shí)現(xiàn)了將不同第一容器組中的應(yīng)用處理完成的數(shù)據(jù)寫入不同目錄，也即寫入不同文件，從而避免了數(shù)據(jù)丟失或錯(cuò)亂的現(xiàn)象發(fā)生，提高數(shù)據(jù)處理可靠性。

14、由此可見，本技術(shù)所提供的方案達(dá)到了將不同容器組中應(yīng)用處理完成的數(shù)據(jù)寫入不同目錄的目的，從而實(shí)現(xiàn)了提高數(shù)據(jù)處理可靠性的技術(shù)效果，進(jìn)而解決了相關(guān)技術(shù)中各個(gè)容器組中的應(yīng)用將處理后的數(shù)據(jù)寫入同一個(gè)文件中，容易導(dǎo)致數(shù)據(jù)丟失或錯(cuò)亂，從而存在數(shù)據(jù)處理可靠性差的技術(shù)問題。