一種基于Hadoop的視頻處理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明實(shí)施例涉及數(shù)字圖像處理技術(shù)領(lǐng)域，尤其涉及基于Hadoop的視頻處理方 法及系統(tǒng)。
【背景技術(shù)】
[0002] 目前大規(guī)模視頻監(jiān)控系統(tǒng)在交通控制，如交通路口、高速公路等，敏感公共場(chǎng)所， 如機(jī)場(chǎng)、火車站、銀行等的部署越來越多，由此產(chǎn)生了大量視頻數(shù)據(jù)。
[0003] 越來越多的海量視頻數(shù)據(jù)有著處理和分析的需求。這種需求超越了大大超出了人 工處理的能力，就連傳統(tǒng)的計(jì)算機(jī)處理程序面對(duì)大規(guī)模視頻數(shù)前處理的時(shí)間超出需求能承 受的范圍。超級(jí)計(jì)算是解決問題的途徑之一?？墒浅?jí)計(jì)算機(jī)本身就價(jià)格昂貴、運(yùn)行維護(hù) 費(fèi)用也不容小覷，普通用戶難以承受。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明針對(duì)海量視頻數(shù)據(jù)現(xiàn)有單臺(tái)計(jì)算機(jī)計(jì)算能力不足的問題，提供一種基于 Hadoop的視頻處理方法及系統(tǒng)以實(shí)現(xiàn)在Hadoop上實(shí)現(xiàn)有效加速視頻處理算法的運(yùn)行。
[0005] 本發(fā)明提供一種基于Hadoop的視頻處理方法，包括：
[0006] 將待處理視頻文件上傳至Hadoop分布式文件系統(tǒng)；
[0007] 基于Fuse-DFS子項(xiàng)目，將所述待處理視頻文件掛載到所述Hadoop分布式文件系 統(tǒng)中各集群節(jié)點(diǎn)的本地文件系統(tǒng)上；
[0008] 通過JavaCV調(diào)用OpenCV和FFMEPG對(duì)掛載于本地文件系統(tǒng)，但存儲(chǔ)于所述Hadoop 分布式文件系統(tǒng)中的待處理視頻文件基于MapReduce并行計(jì)算模型進(jìn)行并行分析。
[0009] 進(jìn)一步地，基于MapReduce并行計(jì)算模型對(duì)視頻文件進(jìn)行并行分析包括：
[0010] 將所述視頻文件的視頻幀加載存儲(chǔ)在所述Hadoop分布式文件系統(tǒng)中；
[0011] 基于Map策略對(duì)所述加載的視頻文件的視頻幀進(jìn)行分組處理；
[0012] 基于Reduce策略對(duì)視頻文件分組后的視頻幀進(jìn)行并行分析。
[0013] 進(jìn)一步地，基于Map策略對(duì)所述加載的視頻文件的視頻幀進(jìn)行分組處理時(shí)：
[0014] 若是面向單幀的視頻分析，則僅將各視頻幀的鍵值對(duì)〈幀ID，幀數(shù)據(jù)〉傳遞給 Reduce處理；
[0015] 若是面向幀序列的視頻分析，則將各視頻幀的鍵值對(duì)〈幀ID，幀數(shù)據(jù)〉組合成鍵值 對(duì)〈幀ID，幀序列數(shù)據(jù)〉傳遞給Reduce處理。
[0016] 進(jìn)一步地，基于Reduce策略對(duì)視頻文件分組后的視頻幀進(jìn)行并行分析時(shí)：
[0017] 若是面向單幀的視頻分析，則執(zhí)行單機(jī)算法；
[0018] 若是面向幀序列的視頻分析，則Reduce任務(wù)將視頻幀序號(hào)寫入到Reduce任務(wù)的 相應(yīng)輸出文件上，以使根據(jù)所述重疊視頻幀序號(hào)將所述輸出文件合并出單個(gè)視頻文件。
[0019] 本發(fā)明還提供一種基于Hadoop的視頻處理系統(tǒng)，包括Hadoop分布式文件系統(tǒng)及 其集群節(jié)點(diǎn)上的本地文件系統(tǒng)，其中：
[0020] 所述Hadoop分布式文件系統(tǒng)用于存儲(chǔ)待處理視頻文件；
[0021] 所述Hadoop分布式文件系統(tǒng)還用于基于Fuse-DFS子項(xiàng)目，將所述待處理視頻文 件掛載到其各集群節(jié)點(diǎn)的本地文件系統(tǒng)上；
[0022] 所述Hadoop分布式文件系統(tǒng)還用于通過JavaCV調(diào)用OpenCV和FFMEPG對(duì)掛載于 本地文件系統(tǒng)，但存儲(chǔ)于所述Hadoop分布式文件系統(tǒng)中的待處理視頻文件基于MapReduce 并行計(jì)算模型進(jìn)行并行分析。
[0023] 進(jìn)一步地，所述Hadoop分布式文件系統(tǒng)包括：
[0024] 加載模塊，用于將所述視頻文件的視頻幀加載存儲(chǔ)在所述Hadoop分布式文件系 統(tǒng)中；
[0025] Map分組模塊，用于基于Map策略對(duì)所述加載的視頻文件的視頻幀進(jìn)行分組處理；
[0026] Reduce分析模塊，用于基于Reduce策略對(duì)視頻文件分組后的視頻幀進(jìn)行并行分 析。
[0027] 進(jìn)一步地，所述Map分組模塊對(duì)所述加載的視頻文件的視頻幀進(jìn)行分組處理時(shí)：
[0028] 若是面向單幀的視頻分析，則僅將各視頻幀的鍵值對(duì)〈幀ID，幀數(shù)據(jù)〉傳遞給所述 Reduce分析模塊處理；
[0029] 若是面向幀序列的視頻分析，則將各視頻幀的鍵值對(duì)〈幀ID，幀數(shù)據(jù)〉組合成鍵值 對(duì)〈幀ID，幀序列數(shù)據(jù)〉傳遞給所述Reduce分析模塊處理。
[0030] 進(jìn)一步地，所述Reduce分析模塊對(duì)視頻文件分組后的視頻幀進(jìn)行并行分析時(shí)：
[0031] 若是面向單幀的視頻分析，則執(zhí)行單機(jī)算法；
[0032] 若是面向幀序列的視頻分析，則Reduce任務(wù)將視頻幀序號(hào)寫入到Reduce任務(wù)的 相應(yīng)輸出文件上，以使根據(jù)所述重疊視頻幀序號(hào)將所述輸出文件合并出單個(gè)視頻文件。
[0033] 本發(fā)明提供的基于Hadoop的視頻處理方法和系統(tǒng)，在Hadoop系統(tǒng)上實(shí)現(xiàn)與集群 節(jié)點(diǎn)數(shù)成正比的加速，有效解決了視頻數(shù)據(jù)的數(shù)據(jù)量較大時(shí)單臺(tái)計(jì)算機(jī)計(jì)算能力不足的問 題。
【附圖說明】
[0034] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā) 明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0035] 圖1為Hadoop的云平臺(tái)架構(gòu)圖；
[0036] 圖2為本發(fā)明基于Hadoop的視頻處理方法實(shí)施例的流程示意圖；
[0037] 圖3為圖2中Hadoop基于MapReduce并行計(jì)算模型并行分析處理的流程圖；
[0038] 圖4為本發(fā)明基于Hadoop的視頻處理系統(tǒng)實(shí)施例的系統(tǒng)框架模型圖；
[0039] 圖5為本發(fā)明基于Hadoop的視頻處理系統(tǒng)實(shí)施例的系統(tǒng)加速效果圖（運(yùn)行時(shí) 間-數(shù)據(jù)量）；
[0040] 圖6為本發(fā)明基于Hadoop的視頻處理系統(tǒng)實(shí)施例的系統(tǒng)加速效果圖（運(yùn)行時(shí) 間-集群子節(jié)點(diǎn)數(shù)）。
【具體實(shí)施方式】
[0041] 為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0042] 本發(fā)明提供一種基于Hadoop的視頻處理方法，圖2為本發(fā)明基于Hadoop的視頻 處理方法實(shí)施例的流程示意圖，如圖2所示，該方法包括：
[0043] 步驟10、將待處理視頻文件上傳至Hadoop分布式文件系統(tǒng)（HadoopDistributed FileSystem，簡(jiǎn)稱HDFS);
[0044] 本步驟中，待處理視頻文件一般指海量文件，一般指現(xiàn)有單臺(tái)計(jì)算機(jī)計(jì)算能力不 足以處理的數(shù)量。實(shí)際實(shí)施時(shí)，可通過Hadoop自帶的命令"@ubuntu:hadoopdfsput[src_ path] [dst_path] "將視頻文件從本地文件系統(tǒng)上傳到HDFS。
[0045] 步驟20、基于Fuse-DFS子項(xiàng)目，將所述待處理視頻文件掛載到所述Hadoop分布式 文件系統(tǒng)中各集群節(jié)點(diǎn)的本地文件系統(tǒng)上。
[0046] Hadoop分布式文件系統(tǒng)中集群節(jié)點(diǎn)越多，其分布式計(jì)算越能體現(xiàn)其優(yōu)勢(shì)。但是成 本也就相對(duì)越高，在具體實(shí)施時(shí)，可以根據(jù)視頻的數(shù)量進(jìn)行配置集群節(jié)點(diǎn)的數(shù)目。
[0047] 本步驟中，F(xiàn)use-DFS是Hadoop項(xiàng)目下的一個(gè)子項(xiàng)目，它的目的是為Hadoop的 HDFS分布式文件系統(tǒng)提供到本地文件系統(tǒng)的接口，從而使得Hadoop能夠利用眾多專門為 本地文件系統(tǒng)設(shè)計(jì)的庫和接口，極大地提升開發(fā)效率。在步驟中，F(xiàn)use_DFS子項(xiàng)目可以將 存儲(chǔ)在HDFS分布式文件系統(tǒng)掛載到本地文件系統(tǒng)（如Linux文件系統(tǒng)），從而得以利用 OpenCV、FFMEPG等成熟的視頻處理庫。
[0048] 步驟30、通過JavaCV調(diào)用OpenCV和FFMEPG對(duì)掛載于本地文件系統(tǒng)，但存儲(chǔ)于所 述Hadoop分布式文件系統(tǒng)中的待處理視頻文件基于MapReduce并行計(jì)算模型進(jìn)行并行分 析。
[0049] 在視頻處理領(lǐng)域，OpenCV、FFMPEG兩大視頻處理庫是最成熟、使用頻率最高的。眾 多的算法均是在它們的基礎(chǔ)上實(shí)現(xiàn)的。OpenCV、FFMPEG等視頻處理庫均是用C/C++語言 編寫，而Hadoop本身是Java語言編寫。如果要利用OpenCV、FFMPEG，需要有到Java的編 程接口。而GoogleCode的JavaCV項(xiàng)目就提供了這樣一個(gè)接口。JavaCV是Github上的一 個(gè)開源項(xiàng)目，它是第一個(gè)向包括Android在內(nèi)的Linux內(nèi)核系統(tǒng)提供視頻處理庫Java接 口的開源項(xiàng)目，提供的視頻處理庫接口包括：〇penCV、FFMEPG、libl394、PRG、FlyCapture、 OpenKinect、VideoInput等。
[0050] FFMPEG是視頻處理庫，但它實(shí)現(xiàn)的主要是視頻幀的編碼、解碼。視頻幀在從文件輸 入時(shí)需要解碼，在輸出到文件時(shí)需要編碼。
[0051] OpenCV是實(shí)現(xiàn)視頻處理算法的庫，包含眾多已有算法的實(shí)現(xiàn)。它處理的是經(jīng)過 FFMPEG解碼之后的視頻幀，它處理的結(jié)果需要經(jīng)過FFMPEG編碼（編碼也是壓縮的過程）再 存入文件。
[0052] 在上述處理步驟中，都可以通過JavaCV調(diào)用OpenCV視頻處理算法庫和FFMEPG視 頻編碼解碼庫為視頻處理算法的實(shí)現(xiàn)提供支撐。
[0053] 進(jìn)一步地，圖3為圖2中Hadoop基于MapReduce