一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及并行聚類(lèi)方法，特別涉及一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi)方 法。
【背景技術(shù)】
[0002] 在地理信息系統(tǒng)技術(shù)領(lǐng)域，地理柵格數(shù)據(jù)是一種重要的數(shù)據(jù)類(lèi)型。在地理柵格數(shù) 據(jù)中每一個(gè)柵格記錄著一塊地表區(qū)域的空間、社會(huì)、經(jīng)濟(jì)及環(huán)境屬性特征，它為描述地表的 信息提供數(shù)據(jù)基礎(chǔ)。
[0003] 地理柵格數(shù)據(jù)的聚類(lèi)是一種根據(jù)柵格位置、屬性特征的數(shù)值分布情況，在不需要 事先輸入已知樣本的情況下，對(duì)柵格數(shù)據(jù)所屬類(lèi)目進(jìn)行自動(dòng)劃分的方法。通過(guò)聚類(lèi)處理， 人們可以在沒(méi)有任何額外數(shù)據(jù)輸入的情況下，將地理柵格數(shù)據(jù)上劃分出同質(zhì)的或近似的區(qū) 域，獲得一個(gè)地區(qū)更具概括性的知識(shí)，進(jìn)而可以進(jìn)行矢量地圖繪制、專(zhuān)題地圖制作和數(shù)據(jù)分 析。目前主流地理信息數(shù)據(jù)處理軟件均支持K-Means、EM等聚類(lèi)處理方法，目前的方法需要 將柵格數(shù)據(jù)加載到內(nèi)存中并反復(fù)遍歷計(jì)算，最終獲得聚類(lèi)結(jié)果。
[0004] 隨著大型存儲(chǔ)設(shè)備、高分辨率衛(wèi)星傳感器的引入，地理柵格數(shù)據(jù)的分辨率也越來(lái) 越高。分辨率的提高引起了數(shù)據(jù)量呈幾何級(jí)數(shù)增長(zhǎng)，如：分辨率從30米提高到1米，對(duì)于同 一地區(qū)數(shù)據(jù)量將提高30 X 30 = 900倍，原先100M的地理柵格數(shù)據(jù)將增長(zhǎng)到近90G。由于地 理柵格數(shù)據(jù)量過(guò)大，一方面單個(gè)計(jì)算機(jī)難以加載全部地理柵格數(shù)據(jù)，難以運(yùn)行聚類(lèi)方法；另 一方面遍歷數(shù)據(jù)將消耗較多時(shí)間，聚類(lèi)耗費(fèi)運(yùn)行時(shí)間將十分長(zhǎng)。
[0005] 所以需要針對(duì)大型地理柵格數(shù)據(jù)設(shè)計(jì)一種并行的聚類(lèi)方法，將龐大的數(shù)據(jù)的加載 和計(jì)算聚類(lèi)任務(wù)分散到多臺(tái)計(jì)算機(jī)當(dāng)中，進(jìn)行面向大型地理柵格數(shù)據(jù)的并行聚類(lèi)。
[0006] 在面向大型數(shù)據(jù)的并行聚類(lèi)方法方面：如一種基于MapReduce的并行聚類(lèi)方法 (201210434240. 3)，一種基于Hadoop的并行k均值聚類(lèi)方法（201310568611. 1)，均傾向于 通過(guò)Hadoop的MapReduce框架進(jìn)行并行來(lái)加快運(yùn)行并應(yīng)對(duì)大數(shù)據(jù)量。此類(lèi)專(zhuān)利都需要利 用Map步驟將計(jì)算分散在到各個(gè)計(jì)算機(jī)當(dāng)中，利用Reduce整合一次迭代的聚類(lèi)成果；地理 柵格數(shù)據(jù)中的地物類(lèi)型并不是均勻的混雜在一起的，而是一個(gè)區(qū)域、一段連續(xù)的空間地物 類(lèi)型接近；面對(duì)十分龐大的柵格數(shù)據(jù)，Map塊文件通常不大（如：默認(rèn)為64M)，其包含的區(qū) 域可能面積非常小僅包含少數(shù)幾種地物，此時(shí)應(yīng)用聚類(lèi)將會(huì)引起類(lèi)目的過(guò)渡細(xì)分，聚類(lèi)算 法較難獲得柵格數(shù)據(jù)整體的類(lèi)目分配與數(shù)據(jù)分布情況，因此較難得到較好聚類(lèi)結(jié)果。同時(shí) 柵格數(shù)據(jù)需要較多次的迭代，每次迭代Reduce也會(huì)引起集群內(nèi)部的大量通訊，相對(duì)的也會(huì) 減緩聚類(lèi)速度。
[0007] 在柵格或者遙感影像（遙感影像是柵格數(shù)據(jù)的一種）聚類(lèi)方面：一種基 于模糊c均值聚類(lèi)的農(nóng)田劃分方法（201210312253. 3)遙感圖像的主動(dòng)譜聚類(lèi)方法 (201410136015. 0);遙感影像的聚類(lèi)方法（201210022353. 2);均沒(méi)有解決在柵格或者遙感 影像數(shù)據(jù)十分龐大，超過(guò)了單機(jī)加載極限的問(wèn)題，當(dāng)數(shù)據(jù)過(guò)大方法將會(huì)無(wú)法運(yùn)行或者運(yùn)行 效率很低。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的是為了解決地理柵格十分龐大，超過(guò)了單機(jī)加載極限從而導(dǎo)致系統(tǒng) 無(wú)法運(yùn)行或者運(yùn)行效率很低，以及在多計(jì)算機(jī)并行聚類(lèi)過(guò)程中各個(gè)進(jìn)程計(jì)算結(jié)果的相互交 換問(wèn)題，而提出的一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi)方法。
[0009] 上述的發(fā)明目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：
[0010] 步驟一、在計(jì)算機(jī)集群上，利用管理節(jié)點(diǎn)啟動(dòng)管理進(jìn)程，管理進(jìn)程根據(jù)大型地理柵 格數(shù)據(jù)量計(jì)算參與計(jì)算的計(jì)算節(jié)點(diǎn)數(shù)量，并在每個(gè)計(jì)算節(jié)點(diǎn)上啟動(dòng)計(jì)算進(jìn)程，同時(shí)為每個(gè) 計(jì)算進(jìn)程編號(hào)；其中，一個(gè)計(jì)算機(jī)集群包含5~100臺(tái)通過(guò)互聯(lián)網(wǎng)連接的計(jì)算機(jī)，在計(jì)算機(jī) 集群中任選一臺(tái)計(jì)算機(jī)充當(dāng)管理節(jié)點(diǎn)，計(jì)算機(jī)集群中除管理節(jié)點(diǎn)之外其它節(jié)點(diǎn)充當(dāng)計(jì)算節(jié) 點(diǎn)；大型地理柵格數(shù)據(jù)的數(shù)據(jù)量為大于1000M ;
[0011] 步驟二、管理進(jìn)程逐行讀取大型地理柵格數(shù)據(jù)，將整個(gè)大型地理柵格數(shù)據(jù)分散加 載到N個(gè)計(jì)算進(jìn)程，將每行大型地理柵格數(shù)據(jù)發(fā)送給對(duì)應(yīng)編號(hào)為ID的計(jì)算進(jìn)程；
[0012] 步驟三、管理進(jìn)程隨機(jī)生成M組聚類(lèi)解的初始值，其中，每一組聚類(lèi)解的初始值包 含類(lèi)目個(gè)數(shù)和類(lèi)目中心點(diǎn)矢量列表；
[0013] 步驟四、管理進(jìn)程根據(jù)步驟三獲得的M組類(lèi)目個(gè)數(shù)和M組類(lèi)目中心點(diǎn)矢量列表構(gòu) 造具有M個(gè)條目的聚類(lèi)矢量中心表，將聚類(lèi)矢量中心表發(fā)送給各個(gè)計(jì)算進(jìn)程；
[0014] 在M個(gè)條目的聚類(lèi)矢量中心表中，一共有M行記錄，每一行代表柵格數(shù)據(jù)的一個(gè)聚 類(lèi)的解；每一個(gè)聚類(lèi)的解包含4個(gè)字段內(nèi)容：
[0015] 字段1 :聚類(lèi)解的編號(hào)；
[0016] 字段2 :類(lèi)目個(gè)數(shù)，對(duì)應(yīng)聚類(lèi)解的類(lèi)目個(gè)數(shù)；
[0017] 字段3 :類(lèi)目中心點(diǎn)矢量列表，對(duì)應(yīng)一組聚類(lèi)中心點(diǎn)的矢量；
[0018] 字段4 :聚類(lèi)結(jié)果質(zhì)量，用于描述聚類(lèi)質(zhì)量，初始化是默認(rèn)置為0 ;
[0019] 步驟五、管理進(jìn)程控制迭代求解過(guò)程；
[0020] 步驟五一、每次迭代過(guò)程中，各個(gè)計(jì)算進(jìn)程根據(jù)聚類(lèi)矢量中心表進(jìn)行聚類(lèi)計(jì)算，更 新步驟四得到的聚類(lèi)矢量中心表的內(nèi)容，并發(fā)送回管理進(jìn)程；
[0021] 步驟五二、管理進(jìn)程根據(jù)各個(gè)計(jì)算進(jìn)程的聚類(lèi)矢量中心表，更新管理進(jìn)程的聚類(lèi) 矢量中心表，并發(fā)送回各個(gè)計(jì)算進(jìn)程重復(fù)步驟五一；經(jīng)過(guò)5次迭代聚類(lèi)矢量中心表的字段4 出現(xiàn)2次相同的最高的評(píng)價(jià)值，停止迭代即得到最終的聚類(lèi)矢量中心表；
[0022] 其中，字段4為聚類(lèi)結(jié)果質(zhì)量，用于描述聚類(lèi)質(zhì)量，初始化是默認(rèn)值為0 ;最高的評(píng) 價(jià)值具體為在聚類(lèi)矢量中心表中，字段4獲得最高值的那一行；
[0023] 步驟六、在步驟五中得到的管理進(jìn)程獲得的最終的聚類(lèi)矢量中心表中，字段4獲 得的最高值一行的字段2描述了類(lèi)目個(gè)數(shù)和字段4獲得最高值的一行的字段3描述了每個(gè) 類(lèi)目的對(duì)應(yīng)的矢量中心點(diǎn)；將字段4獲得最高值的一行的內(nèi)容發(fā)送給各個(gè)計(jì)算進(jìn)程；其中， 字段4獲得最高值的一行的內(nèi)容具體包括字段1、字段2、字段3和字段4 ;
[0024] 步驟七、各個(gè)計(jì)算進(jìn)程根據(jù)字段4獲得最高值的一行的內(nèi)容對(duì)計(jì)算進(jìn)程對(duì)應(yīng)的柵 格數(shù)據(jù)進(jìn)行聚類(lèi)，每個(gè)柵格的類(lèi)目標(biāo)記為距離柵格最近的那個(gè)矢量中心點(diǎn)所對(duì)應(yīng)的類(lèi)目即 為得到柵格聚類(lèi)的結(jié)果；管理進(jìn)程分別從各個(gè)計(jì)算進(jìn)程收集柵格聚類(lèi)的結(jié)果，并將柵格聚 類(lèi)的結(jié)果寫(xiě)入地理柵格數(shù)據(jù)文件中；即完成了一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi)方 法。
[0025] 發(fā)明效果
[0026] 本發(fā)明針對(duì)大型地理柵格數(shù)據(jù)，提供了一種可以將這些數(shù)據(jù)分散加載到多個(gè)計(jì)算 機(jī)的進(jìn)程當(dāng)中，并通過(guò)多臺(tái)計(jì)算機(jī)并行計(jì)算聯(lián)合求解最終獲得大型地理柵格數(shù)據(jù)的聚類(lèi)結(jié) 果。利用本發(fā)明提出的方法，可以應(yīng)對(duì)遠(yuǎn)超過(guò)一臺(tái)計(jì)算機(jī)內(nèi)存極限大小的地理柵格數(shù)據(jù)的 聚類(lèi)工作，并快速獲得聚類(lèi)結(jié)果。
[0027] 本發(fā)明將整個(gè)柵格數(shù)據(jù)按照行逐個(gè)的分配給各個(gè)計(jì)算節(jié)點(diǎn)計(jì)算機(jī)，將整個(gè)大型柵 格數(shù)據(jù)分散加載到多臺(tái)計(jì)算機(jī)中；計(jì)算節(jié)點(diǎn)按照一定的間隔加載柵格數(shù)據(jù)，一方面限制了 單個(gè)計(jì)算節(jié)點(diǎn)加載的數(shù)據(jù)量，另一方面可以保證每個(gè)節(jié)點(diǎn)具備整個(gè)柵格數(shù)據(jù)類(lèi)目與數(shù)據(jù)分 布的全局視角，更利于獲得聚類(lèi)結(jié)果；
[0028] 本發(fā)明在迭代計(jì)算的過(guò)程中構(gòu)造了聚類(lèi)矢量中心表，利用該表實(shí)現(xiàn)了多個(gè)計(jì)算機(jī) 之間聚類(lèi)結(jié)果的同步和綜合，由于該表較小通訊量較低，所以每次聚類(lèi)迭代可以較小通訊 代價(jià)完成；同時(shí)，聚類(lèi)矢量中心表同時(shí)包含多組聚類(lèi)中心與類(lèi)目個(gè)數(shù)，在迭代過(guò)程中可以不 斷優(yōu)選獲得更優(yōu)化的聚類(lèi)結(jié)果如圖7所示。
【附圖說(shuō)明】
[0029] 圖1為【具體實(shí)施方式】一提出的一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi)方法流程 圖；
[0030] 圖2為【具體實(shí)施方式】二提出的根據(jù)柵格數(shù)據(jù)大小啟動(dòng)管理進(jìn)程和計(jì)算進(jìn)程的步 驟流程圖；
[0031] 圖3為【具體實(shí)施方式】三提出的將整個(gè)大型柵格數(shù)據(jù)分散加載到N個(gè)計(jì)算進(jìn)程的步 驟流程圖；
[0032] 圖4為【具體實(shí)施方式】一提出的聚類(lèi)矢量中心表的結(jié)構(gòu)示意圖；
[0033] 圖5為【具體實(shí)施方式】五提出的管理進(jìn)程控制的迭代求解過(guò)程示意圖；
[0034] 圖6為【具體實(shí)施方式】八提出的管理進(jìn)程逐行的分別從各個(gè)計(jì)算進(jìn)程收集結(jié)果寫(xiě) 入到結(jié)果柵格數(shù)據(jù)文件中的流程示意圖；
[0035] 圖7為【具體實(shí)施方式】一提出的多個(gè)計(jì)算節(jié)點(diǎn)的計(jì)算機(jī)分散加載與處理大型地理 柵格數(shù)據(jù)示意圖；
[0036] 圖8(a)為實(shí)施例提出的柵格數(shù)據(jù)的空間屬性1的灰度圖；
[0037] 圖8 (b)為實(shí)施例提出的柵格數(shù)據(jù)的空間屬性2的灰度圖；
[0038] 圖8 (c)為實(shí)施例提出的柵格數(shù)據(jù)的空間屬性3的灰度圖；
[0039] 圖8 (d)為實(shí)施例提出的柵格數(shù)據(jù)的空間屬性4的灰度圖；
[0040] 圖8 (e)為實(shí)施例提出的柵格數(shù)據(jù)的空間屬性5的灰度圖
[0041] 圖9(a)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖；
[0042] 圖9(b)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖；
[0043] 圖9(c)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖；
[0044] 圖9(d)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖；
[0045] 圖9(e)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖；
[0046] 圖9(f)為實(shí)施例提出的各個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的示意圖；
[0047] 圖10為實(shí)施例提出的柵格聚類(lèi)結(jié)果對(duì)應(yīng)的灰度圖。
【具體實(shí)施方式】
【具體實(shí)施方式】 [0048] 一：結(jié)合圖1本實(shí)施方式的一種處理大型地理柵格數(shù)據(jù)的并行聚類(lèi) 方法，具體是按照以下步驟制備的：
[0049] 步驟一、在計(jì)算機(jī)集群上，利用管理節(jié)點(diǎn)啟動(dòng)管理進(jìn)程，管理進(jìn)程根據(jù)大型地理柵 格數(shù)據(jù)量計(jì)算參與計(jì)算的計(jì)算節(jié)點(diǎn)數(shù)量，并在每個(gè)計(jì)算節(jié)點(diǎn)上啟動(dòng)計(jì)算進(jìn)程，同時(shí)為每個(gè) 計(jì)算進(jìn)程編號(hào)；其中，一個(gè)計(jì)算機(jī)集群包含5~100臺(tái)通過(guò)互聯(lián)網(wǎng)連接的計(jì)算機(jī)，在計(jì)算機(jī) 集群中任選一臺(tái)計(jì)算機(jī)充當(dāng)管