基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及集群渲染云計(jì)算領(lǐng)域，具體涉及一種基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法。
【背景技術(shù)】
[0002]采用圖形超算集群對(duì)動(dòng)畫、電影場(chǎng)景進(jìn)行渲染輸出已成為動(dòng)畫制作和電影后期的重要支撐。它不僅可實(shí)現(xiàn)渲染效率的大幅提升，也可有效地提高昂貴的計(jì)算服務(wù)器的資源利用效率。為了盡可能地降低單個(gè)渲染任務(wù)的渲染時(shí)間，集群渲染系統(tǒng)常采用一組相似的計(jì)算節(jié)點(diǎn)并行地渲染某個(gè)任務(wù)。這樣，在渲染任務(wù)分配時(shí)，需要將同一組渲染素材數(shù)據(jù)分發(fā)至多個(gè)渲染節(jié)點(diǎn)，將極大地提高物理存儲(chǔ)的并發(fā)要求，使得存儲(chǔ)服務(wù)器存取帶寬需求成倍上升，同時(shí)降低了整個(gè)集群渲染系統(tǒng)的可靠性。物理存儲(chǔ)服務(wù)器在頻繁磁盤讀寫運(yùn)行中易發(fā)生故障，進(jìn)而造成部分渲染節(jié)點(diǎn)產(chǎn)生持續(xù)性的渲染數(shù)據(jù)讀取等待，極大地降低了渲染節(jié)點(diǎn)的實(shí)際利用率。

【發(fā)明內(nèi)容】

[0003]針對(duì)現(xiàn)有集群渲染系統(tǒng)在存儲(chǔ)服務(wù)設(shè)計(jì)上的不足，本發(fā)明研宄提供了一種基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法，實(shí)現(xiàn)集群渲染系統(tǒng)效率和成本的雙優(yōu)化。
[0004]為了解決上述技術(shù)問題，本發(fā)明提供了如下的技術(shù)方案:
[0005]一種基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法，在集群渲染系統(tǒng)中設(shè)置共享緩存服務(wù)器，所述共享緩存服務(wù)器采用大容量?jī)?nèi)存存儲(chǔ)最近渲染任務(wù)的素材緩存。為渲染計(jì)算節(jié)點(diǎn)提供快速高效的數(shù)據(jù)訪問服務(wù)。
[0006]所述共享緩存服務(wù)器設(shè)置于渲染計(jì)算節(jié)點(diǎn)與存儲(chǔ)服務(wù)器之間。
[0007]所述共享緩存服務(wù)器對(duì)所述渲染計(jì)算節(jié)點(diǎn)提供透明服務(wù)，所述渲染計(jì)算節(jié)點(diǎn)仍可以直接基于數(shù)據(jù)的物理存儲(chǔ)地址訪問所需的渲染素材數(shù)據(jù)。
[0008]設(shè)置的共享緩存服務(wù)器緩存管理對(duì)象為渲染任務(wù)數(shù)據(jù)元組，渲染任務(wù)數(shù)據(jù)元組包含全局唯一鍵值、數(shù)據(jù)物理存儲(chǔ)地址標(biāo)識(shí)集、并行渲染該任務(wù)的渲染節(jié)點(diǎn)集；
[0009]當(dāng)?shù)谝淮畏峙滗秩救蝿?wù)給某個(gè)渲染節(jié)點(diǎn)時(shí)，在緩存服務(wù)器中建立渲染任務(wù)數(shù)據(jù)元組，同時(shí)將渲染素材數(shù)據(jù)傳遞給渲染節(jié)點(diǎn)；
[0010]若某個(gè)渲染節(jié)點(diǎn)訪問請(qǐng)求的渲染素材在緩存服務(wù)器有對(duì)應(yīng)數(shù)據(jù)元組，則直接將相應(yīng)數(shù)據(jù)從內(nèi)存中傳輸給該渲染節(jié)點(diǎn)；
[0011]當(dāng)某個(gè)渲染任務(wù)的所有并行渲染節(jié)點(diǎn)均已獲取完所需的渲染素材數(shù)據(jù)后，刪除該任務(wù)數(shù)據(jù)元組，釋放相應(yīng)緩存空間。
[0012]所述共享緩存服務(wù)器包括硬件服務(wù)器和軟件服務(wù)器，所述硬件服務(wù)器包含一臺(tái)或多臺(tái)配置大容量?jī)?nèi)存及高速網(wǎng)絡(luò)的服務(wù)器，所述軟件服務(wù)器提供渲染任務(wù)數(shù)據(jù)緩存管理及分發(fā)。所述軟件服務(wù)器的主要功能:從物理存儲(chǔ)器中讀取渲染任務(wù)數(shù)據(jù)并存放至緩存中；根據(jù)特定渲染任務(wù)數(shù)據(jù)請(qǐng)求將相應(yīng)數(shù)據(jù)傳遞給渲染節(jié)點(diǎn)；將不再有使用需要的渲染任務(wù)數(shù)據(jù)清理出緩存空間。
[0013]本發(fā)明提供的基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法，采用在集群渲染系統(tǒng)中增設(shè)大容量?jī)?nèi)存的共享緩存服務(wù)器解決系統(tǒng)的物理存儲(chǔ)訪問效率及可靠性瓶頸，進(jìn)而提升整個(gè)系統(tǒng)的穩(wěn)定性和能效比。設(shè)置共享緩存服務(wù)器后，每個(gè)渲染任務(wù)的素材數(shù)據(jù)只需進(jìn)行一次物理存儲(chǔ)讀取，這在第一個(gè)渲染節(jié)點(diǎn)啟動(dòng)渲染素材加載時(shí)發(fā)生；后續(xù)啟動(dòng)的同任務(wù)并行渲染節(jié)點(diǎn)將可更快速穩(wěn)定地從緩存服務(wù)器中加載所需的素材數(shù)據(jù)，極大地提高了系統(tǒng)的存儲(chǔ)效率及可靠性。所述發(fā)明方法采用渲染任務(wù)數(shù)據(jù)的動(dòng)態(tài)緩存管理手段，可較好地適應(yīng)集群渲染任務(wù)分發(fā)的特點(diǎn)，及時(shí)地清理不需要緩存的渲染任務(wù)素材數(shù)據(jù)，獲得較高的緩存資源利用效率。
【附圖說明】
[0014]附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中:
[0015]圖1是本發(fā)明方法的主結(jié)構(gòu)圖；
[0016]圖2是本發(fā)明方法的總工作原理圖；
[0017]圖3是新渲染任務(wù)T初次分配給渲染節(jié)點(diǎn)的工作方式圖；
[0018]圖4是渲染任務(wù)T分配給并行渲染節(jié)點(diǎn)i的工作方式圖；
[0019]圖5是渲染任務(wù)T分配給最后一個(gè)并行渲染節(jié)點(diǎn)η的工作方式圖。
【具體實(shí)施方式】
[0020]共享緩存服務(wù)器的總工作原理為:
[0021]渲染任務(wù)調(diào)度器將渲染任務(wù)、相應(yīng)的素材物理存儲(chǔ)地址、該任務(wù)并行渲染節(jié)點(diǎn)情況通知緩存服務(wù)器；
[0022]渲染任務(wù)調(diào)度器將渲染任務(wù)分配給空閑的渲染節(jié)點(diǎn)；
[0023]渲染節(jié)點(diǎn)向緩存服務(wù)器請(qǐng)求渲染素材數(shù)據(jù)；
[0024]若緩存服務(wù)器中無該任務(wù)的渲染素材緩存，則根據(jù)渲染素材的實(shí)際物理存儲(chǔ)地址載入數(shù)據(jù)，并新建該任務(wù)緩存數(shù)據(jù)元組，向渲染節(jié)點(diǎn)返回素材數(shù)據(jù)；
[0025]若緩存服務(wù)器中有該任務(wù)的渲染素材緩存，則直接向渲染節(jié)點(diǎn)返回素材數(shù)據(jù)；
[0026]若某任務(wù)緩存的渲染素材已分發(fā)至所有并行執(zhí)行該任務(wù)的渲染節(jié)點(diǎn)，則刪除該緩存渲染素材，釋放相應(yīng)內(nèi)存空間。
[0027]如圖1-5所示，本發(fā)明公開一種基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法，在集群渲染系統(tǒng)中設(shè)置共享緩存服務(wù)器，所述共享緩存服務(wù)器采用大容量?jī)?nèi)存存儲(chǔ)最近渲染任務(wù)的素材緩存。為渲染計(jì)算節(jié)點(diǎn)提供快速高效的數(shù)據(jù)訪問服務(wù)。
[0028]所述共享緩存服務(wù)器設(shè)置于渲染計(jì)算節(jié)點(diǎn)與存儲(chǔ)服務(wù)器之間。
[0029]所述共享緩存服務(wù)器對(duì)所述渲染計(jì)算節(jié)點(diǎn)提供透明服務(wù)，所述渲染計(jì)算節(jié)點(diǎn)仍可以直接基于數(shù)據(jù)的物理存儲(chǔ)地址訪問所需的渲染素材數(shù)據(jù)。
[0030]設(shè)置的共享緩存服務(wù)器緩存管理對(duì)象為渲染任務(wù)數(shù)據(jù)元組，渲染任務(wù)數(shù)據(jù)元組包含全局唯一鍵值、數(shù)據(jù)物理存儲(chǔ)地址標(biāo)識(shí)集、并行渲染該任務(wù)的渲染節(jié)點(diǎn)集；
[0031]當(dāng)?shù)谝淮畏峙滗秩救蝿?wù)給某個(gè)渲染節(jié)點(diǎn)時(shí)，在緩存服務(wù)器中建立渲染任務(wù)數(shù)據(jù)元組，同時(shí)將渲染素材數(shù)據(jù)傳遞給渲染節(jié)點(diǎn)；
[0032]若某個(gè)渲染節(jié)點(diǎn)訪問請(qǐng)求的渲染素材在緩存服務(wù)器有對(duì)應(yīng)數(shù)據(jù)元組，則直接將相應(yīng)數(shù)據(jù)從內(nèi)存中傳輸給該渲染節(jié)點(diǎn)；
[0033]當(dāng)某個(gè)渲染任務(wù)的所有并行渲染節(jié)點(diǎn)均已獲取完所需的渲染素材數(shù)據(jù)后，刪除該任務(wù)數(shù)據(jù)元組，釋放相應(yīng)緩存空間。
[0034]所述共享緩存服務(wù)器包括硬件服務(wù)器和軟件服務(wù)器，所述硬件服務(wù)器包含一臺(tái)或多臺(tái)配置大容量?jī)?nèi)存及高速網(wǎng)絡(luò)的服務(wù)器，所述軟件服務(wù)器提供渲染任務(wù)數(shù)據(jù)緩存管理及分發(fā)。所述軟件服務(wù)器的主要功能:從物理存儲(chǔ)器中讀取渲染任務(wù)數(shù)據(jù)并存放至緩存中；根據(jù)特定渲染任務(wù)數(shù)據(jù)請(qǐng)求將相應(yīng)數(shù)據(jù)傳遞給渲染節(jié)點(diǎn)；將不再有使用需要的渲染任務(wù)數(shù)據(jù)清理出緩存空間。
[0035]下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】做進(jìn)一步說明。
[0036]如圖1所示，本發(fā)明方法結(jié)構(gòu)為在集群渲染節(jié)點(diǎn)與物理存儲(chǔ)節(jié)點(diǎn)間增設(shè)共享緩存服務(wù)器。緩存服務(wù)器接受渲染節(jié)點(diǎn)的渲染素材讀取請(qǐng)求，并返回素材數(shù)據(jù)；緩存服務(wù)器從物理存儲(chǔ)節(jié)點(diǎn)中讀取渲染素材數(shù)據(jù)。
[0037]如圖2所示，本發(fā)明方法的工作原理為:共享緩存服務(wù)器接受渲染任務(wù)調(diào)度器的渲染任務(wù)參數(shù)信息，為渲染節(jié)點(diǎn)的渲染任務(wù)素材請(qǐng)求快速返回?cái)?shù)據(jù)，從實(shí)際物理存儲(chǔ)節(jié)點(diǎn)中讀取渲染任務(wù)素材數(shù)據(jù)，采用渲染素材緩存管理機(jī)制對(duì)渲染素材數(shù)據(jù)進(jìn)行高效管理。
[0038]如圖3所示，本發(fā)明方法的工作方式中，當(dāng)渲染任務(wù)調(diào)度器對(duì)新渲染任務(wù)T初次分配時(shí)，通知緩存服務(wù)器該任務(wù)的并行渲染節(jié)點(diǎn)信息。接受渲染任務(wù)T的渲染節(jié)點(diǎn)I向緩存服務(wù)器請(qǐng)求渲染素材，渲染服務(wù)器首先從物理存儲(chǔ)節(jié)點(diǎn)中載入素材數(shù)據(jù)，然后向渲染節(jié)點(diǎn)I返回素材數(shù)據(jù)，并新建渲染任務(wù)T素材數(shù)據(jù)的緩存。
[0039]如圖4所示，本發(fā)明方法的工作方式中，當(dāng)渲染任務(wù)調(diào)度器將渲染任務(wù)T分配給并行渲染節(jié)點(diǎn)i時(shí)，渲染節(jié)點(diǎn)i向緩存服務(wù)器請(qǐng)求渲染素材，渲染服務(wù)器直接返回素材數(shù)據(jù)。
[0040]如圖5所示，本發(fā)明方法的工作方式中，當(dāng)渲染任務(wù)調(diào)度器將渲染任務(wù)T分配給最后一個(gè)并行渲染節(jié)點(diǎn)η時(shí)，渲染節(jié)點(diǎn)η向緩存服務(wù)器請(qǐng)求渲染素材，渲染服務(wù)器直接返回素材數(shù)據(jù)。緩存服務(wù)器向渲染節(jié)點(diǎn)η傳輸完渲染任務(wù)T的素材數(shù)據(jù)后，刪除渲染任務(wù)T的素材數(shù)據(jù)緩存。
[0041]綜上，本發(fā)明
[0042]以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，對(duì)于本領(lǐng)域的技術(shù)人員來說，其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法，其特征在于:在集群渲染系統(tǒng)中設(shè)置共享緩存服務(wù)器，所述共享緩存服務(wù)器存儲(chǔ)最近渲染任務(wù)的素材緩存。
2.根據(jù)權(quán)利要求1所述的基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法，其特征在于:所述共享緩存服務(wù)器設(shè)置于渲染計(jì)算節(jié)點(diǎn)與存儲(chǔ)服務(wù)器之間。
3.根據(jù)權(quán)利要求2所述的基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法，其特征在于:所述共享緩存服務(wù)器對(duì)所述渲染計(jì)算節(jié)點(diǎn)提供透明服務(wù)，所述渲染計(jì)算節(jié)點(diǎn)仍可以直接基于數(shù)據(jù)的物理存儲(chǔ)地址訪問所需的渲染素材數(shù)據(jù)。
4.根據(jù)權(quán)利要求1或2所述的基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法，其特征在于:設(shè)置的共享緩存服務(wù)器緩存管理對(duì)象為渲染任務(wù)數(shù)據(jù)元組，渲染任務(wù)數(shù)據(jù)元組包含全局唯一鍵值、數(shù)據(jù)物理存儲(chǔ)地址標(biāo)識(shí)集、并行渲染該任務(wù)的渲染節(jié)點(diǎn)集； 當(dāng)?shù)谝淮畏峙滗秩救蝿?wù)給某個(gè)渲染節(jié)點(diǎn)時(shí)，在緩存服務(wù)器中建立渲染任務(wù)數(shù)據(jù)元組，同時(shí)將渲染素材數(shù)據(jù)傳遞給渲染節(jié)點(diǎn)； 若某個(gè)渲染節(jié)點(diǎn)訪問請(qǐng)求的渲染素材在緩存服務(wù)器有對(duì)應(yīng)數(shù)據(jù)元組，則直接將相應(yīng)數(shù)據(jù)從內(nèi)存中傳輸給該渲染節(jié)點(diǎn)； 當(dāng)某個(gè)渲染任務(wù)的所有并行渲染節(jié)點(diǎn)均已獲取完所需的渲染素材數(shù)據(jù)后，刪除該任務(wù)數(shù)據(jù)元組，釋放相應(yīng)緩存空間。
5.根據(jù)權(quán)利要求1所述的基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法，其特征在于:所述共享緩存服務(wù)器包括硬件服務(wù)器和軟件服務(wù)器，所述硬件服務(wù)器包含一臺(tái)或多臺(tái)配置大容量?jī)?nèi)存及高速網(wǎng)絡(luò)的服務(wù)器，所述軟件服務(wù)器提供渲染任務(wù)數(shù)據(jù)緩存管理及分發(fā)。
【專利摘要】本發(fā)明提供一種基于共享緩存的集群渲染節(jié)點(diǎn)數(shù)據(jù)訪問方法，本發(fā)明所述方法考慮在集群渲染系統(tǒng)中，設(shè)置由大容量?jī)?nèi)存構(gòu)建的共享緩存服務(wù)器，并配合基于渲染任務(wù)數(shù)據(jù)內(nèi)容的緩存管理方法，為渲染計(jì)算節(jié)點(diǎn)提供快速高效的數(shù)據(jù)訪問服務(wù)。本發(fā)明方法可應(yīng)用于集群渲染的框架構(gòu)建及優(yōu)化升級(jí)，獲得集群渲染系統(tǒng)渲染效率、穩(wěn)定性及能效比的提升。
【IPC分類】H04L29-08, G06T15-00
【公開號(hào)】CN104580422
【申請(qǐng)?zhí)枴緾N201410828848
【發(fā)明人】楊昕吉, 李寧東, 謝振平
【申請(qǐng)人】贊奇科技發(fā)展有限公司
【公開日】2015年4月29日
【申請(qǐng)日】2014年12月26日