一種視頻處理方法
【專利摘要】本發(fā)明提供了一種視頻處理方法，對于包含視頻監(jiān)控系統(tǒng)以及音頻監(jiān)控系統(tǒng)的安全監(jiān)控系統(tǒng)，音頻監(jiān)控系統(tǒng)當(dāng)探測到異常聲音變化時(shí)，記錄下異常事件發(fā)生的時(shí)間并寫入音頻監(jiān)控碼流，同時(shí)分析聲音的方位，從而調(diào)整視頻監(jiān)控?cái)z像頭以取得最佳監(jiān)控角度，打開視頻監(jiān)控，記錄下異常事件發(fā)和的時(shí)間以便和音頻監(jiān)控碼流同步，進(jìn)行視頻編碼存儲(chǔ)；對比前后圖像的不同來確定異常事件所對應(yīng)的圖像塊并試圖進(jìn)行分析，如果能夠成功分析出異常事件類型為監(jiān)控目標(biāo)事件，則根據(jù)設(shè)定的處理方式處理；如果未能檢測到為監(jiān)控目標(biāo)事件，則記錄異常事件以備監(jiān)控人員后期檢索查詢。
【專利說明】
_種視頻處理方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及安全監(jiān)控領(lǐng)域，具體是一種視頻處理方法。
【背景技術(shù)】
[0002]隨著社會(huì)發(fā)展，科技的進(jìn)步，監(jiān)控早已成為社會(huì)不可或缺的一部分。監(jiān)控在社會(huì)安全，交通管理，智能城市等各方各面扮演著越來越重要的角色。
[0003]時(shí)至今日，視頻監(jiān)控仍是監(jiān)控領(lǐng)域的絕對主角，比如公路上隨處可見的交通探頭，小區(qū)的閉路監(jiān)控系統(tǒng)等等。
[0004]在視頻監(jiān)控系統(tǒng)中，對于攝像頭攝錄的視頻，需要進(jìn)行存儲(chǔ)以備后期檢索查詢，由于視頻原始碼流數(shù)據(jù)量巨大，這就需要對原始碼流進(jìn)行視頻編碼處理。
[0005]普通的視頻編碼標(biāo)準(zhǔn)針對消費(fèi)娛樂目的的高清晰度視頻編解碼，在這種情況下，由于原始視頻圖像巨大的數(shù)據(jù)量(一幀圖像原始數(shù)據(jù)往往需幾兆甚至幾十兆)，為了達(dá)到實(shí)時(shí)編碼，往往需要專用的編碼芯片進(jìn)行處理，既便如此，編碼后產(chǎn)生的壓縮碼流仍將占據(jù)相當(dāng)大的存儲(chǔ)空間。專用視頻編碼芯片功能復(fù)雜、開發(fā)周期長、后期無法進(jìn)行功能擴(kuò)展、運(yùn)行功耗高，并且需要巨大的存儲(chǔ)空間以及高吞吐的數(shù)據(jù)總線。而監(jiān)控系統(tǒng)實(shí)時(shí)性很高，并且需要長時(shí)間不停頓監(jiān)控記錄。所以普通的視頻高清編碼并不適合于監(jiān)控系統(tǒng)。所以在實(shí)際的監(jiān)控系統(tǒng)中，其編碼標(biāo)準(zhǔn)也與普通的視頻編碼標(biāo)準(zhǔn)有不同，攝像質(zhì)量往往較低。然而低像素的監(jiān)控質(zhì)量有時(shí)候會(huì)對后期的檢索查詢產(chǎn)生一定的不良影響，比如很多時(shí)候公路監(jiān)控探頭監(jiān)控視頻中根本看不清車牌號碼。
[0006]同時(shí)，視頻監(jiān)控也有其固有的缺點(diǎn)，如在黑夜或者霧靄天氣中效果會(huì)大大折扣，其監(jiān)控范圍存在很大的盲區(qū)。
[0007]越來越多的現(xiàn)象表明，單純的視頻監(jiān)控已經(jīng)越來越無法滿足持續(xù)增長的監(jiān)控需求了。

【發(fā)明內(nèi)容】

[0008]為了克服上述技術(shù)問題，本發(fā)明提供了一種視頻處理方法，其特征在于:
[0009]對于包含視頻監(jiān)控系統(tǒng)以及音頻監(jiān)控系統(tǒng)的安全監(jiān)控系統(tǒng)，
[0010]音頻監(jiān)控系統(tǒng)當(dāng)探測到異常聲音變化時(shí)，記錄下異常事件發(fā)生的時(shí)間并寫入音頻監(jiān)控碼流，同時(shí)分析聲音的方位，從而調(diào)整視頻監(jiān)控?cái)z像頭以取得最佳監(jiān)控角度，打開視頻監(jiān)控，記錄下異常事件發(fā)和的時(shí)間以便和音頻監(jiān)控碼流同步，進(jìn)行視頻編碼存儲(chǔ)；
[0011]對比前后圖像的不同來確定異常事件所對應(yīng)的圖像塊并試圖進(jìn)行分析，如果能夠成功分析出異常事件類型為監(jiān)控目標(biāo)事件，則根據(jù)設(shè)定的處理方式處理;如果未能檢測到為監(jiān)控目標(biāo)事件，則記錄異常事件以備監(jiān)控人員后期檢索查詢。
【附圖說明】
[0012]圖1示出了基于音頻檢測的音視頻協(xié)同監(jiān)控方法流程圖；
[0013]圖2示出了音頻控制下的視頻監(jiān)控方法流程圖；
[0014]圖3示出了基于音視檢測的音視頻協(xié)同監(jiān)控裝置；
【具體實(shí)施方式】
[0015]音頻監(jiān)控的發(fā)展由于各種各樣的原因一直落后于視頻監(jiān)控，但是音頻監(jiān)控卻有著許多視頻監(jiān)控所無法比擬的優(yōu)點(diǎn)，所以音頻監(jiān)控也越來越受到重視。
[0016]相比起視頻圖像，音頻監(jiān)控需要處理的數(shù)據(jù)量要小很多，所以音頻編碼處理速度較快，甚至可以直接使用ARM等嵌入式CPU進(jìn)行編碼處理，開發(fā)周期相對較短。由于是軟件，后期功能擴(kuò)展性強(qiáng)。并且，音頻監(jiān)控不存在盲區(qū)，即使黑夜或者嚴(yán)重霧靄天氣照樣正常工作。
[0017]可見音頻監(jiān)控完全彌補(bǔ)了視頻監(jiān)控的缺點(diǎn)。正是由于音頻監(jiān)控的這些特點(diǎn)，使得音頻監(jiān)控在監(jiān)控領(lǐng)域顯得越來越重要。
[0018]音頻在很多情況下能夠獨(dú)擋一面，但是更多的情況下，單獨(dú)音頻監(jiān)控或者視頻監(jiān)控都無法很好的發(fā)揮監(jiān)控效果，這時(shí)候就需要音頻和視頻監(jiān)控協(xié)同進(jìn)行。
[0019]對于監(jiān)控而言，每種監(jiān)控都有其固定的監(jiān)控目標(biāo)事件，比如說某段易肇事交通路段的監(jiān)控目標(biāo)事件是交通事故。但是對于任何監(jiān)控，我們無法預(yù)先知道所有可能的異常事件類型并且根據(jù)異常事件類型來設(shè)定監(jiān)控目標(biāo)事件，也即我們無法保證在監(jiān)控范圍內(nèi)發(fā)生的所有異常事件都是監(jiān)控目標(biāo)事件，比方說雖然交通事故是監(jiān)控目標(biāo)事件，但是還有會(huì)監(jiān)控到許多其它異常事件，比方說車輛經(jīng)過、行人跑過、以及某些犯罪活動(dòng)。而這些異常事件雖然不是監(jiān)控目標(biāo)事件，但是在諸如警方破案時(shí)又都會(huì)起很大的作用，也就是說，在這些場合，除了監(jiān)控目標(biāo)事件外，其它很多異常事件都需要進(jìn)行記錄，到了夜深人靜，公路上沒車沒人，這時(shí)候顯然不需要進(jìn)行監(jiān)控記錄。
[0020]正是由于監(jiān)控的這種特點(diǎn)，本專利提出了一種由音頻監(jiān)控控制的音視頻協(xié)同監(jiān)控方法，使用音頻監(jiān)控探測周邊環(huán)境的變化，如果周邊情況風(fēng)平浪靜，只采用簡單的音頻監(jiān)控，關(guān)閉視頻監(jiān)控，以節(jié)省運(yùn)行功耗和數(shù)據(jù)存儲(chǔ)空間；當(dāng)音頻監(jiān)控探測到周邊聲音的顯著變化，計(jì)算出異常聲音來源的大致方向，調(diào)整視頻監(jiān)控探頭取得最佳的視頻監(jiān)控方向，打開視頻監(jiān)控器并記錄當(dāng)前時(shí)間的視頻監(jiān)控信息，同時(shí)還會(huì)根據(jù)異常事件發(fā)生前的圖像及異常事件發(fā)生中的圖像、異常事件發(fā)生后的圖像變化找到異常事件，根據(jù)監(jiān)控事件的特點(diǎn)分析異常事件的類型是否為監(jiān)控目標(biāo)事件，如果是，則執(zhí)行設(shè)定的操作，如報(bào)警，否則，記錄一個(gè)異常信號。
[0021 ]音頻控制下的音視頻監(jiān)控過程如附圖1所示。
[0022]其中音頻監(jiān)控始終進(jìn)行以保證監(jiān)控持續(xù)性(在某些應(yīng)用場合，也可只在檢測到異常聲音時(shí)才進(jìn)行音頻監(jiān)控編碼記錄)，雙聲道(在某些應(yīng)用場合，也可以增加更多的聲道提高監(jiān)控性能，但會(huì)提高監(jiān)控成本)音頻采樣PCM值后一路送至音頻編碼器進(jìn)行編碼，另一路進(jìn)行聲音變化探測。視頻監(jiān)控在正常情況下處于關(guān)閉狀態(tài)，如果發(fā)生異常事件，必定伴隨著聲音的顯著變化，當(dāng)探測到這種聲音變化時(shí)，記錄下異常事件發(fā)生的時(shí)間并寫入音頻監(jiān)控碼流。同時(shí)分析聲音的方位，從而調(diào)整視頻監(jiān)控?cái)z像頭以取得最佳監(jiān)控角度，打開視頻監(jiān)控，記錄下異常事件發(fā)和的時(shí)間以便和音頻監(jiān)控碼流同步，進(jìn)行視頻編碼存儲(chǔ)；同時(shí)，對比前后圖像的不同來確定異常事件所對應(yīng)的圖像塊并試圖進(jìn)行分析，如果能夠成功分析出異常事件類型為監(jiān)控目標(biāo)事件，則根據(jù)設(shè)定的處理方式處理，如報(bào)警;如果未能檢測到為監(jiān)控目標(biāo)事件，則記錄異常事件以備監(jiān)控人員后期檢索查詢。
[0023]對于音頻控制下的視頻監(jiān)控部分更詳細(xì)的描述流程圖如附圖2所示:
[0024]上圖流程圖中，音頻監(jiān)控為立體聲雙聲道，實(shí)際應(yīng)用中，可以根據(jù)實(shí)際情況增加選擇更多聲道。
[0025]首先定義幾個(gè)名詞:
[0026]1.音頻幀:音頻編碼的處理單元，包含若干聲道若干PCM值(例如AAC音頻標(biāo)準(zhǔn)雙聲道編碼，其每個(gè)音頻幀包含兩個(gè)聲道，每個(gè)聲道各1024個(gè)PCM值。聲道數(shù)根據(jù)不同情況可以不同，但是對于同一種音頻標(biāo)準(zhǔn)，每幀中每聲道的PCM值個(gè)數(shù)為固定值，AAC標(biāo)準(zhǔn)固定為1024點(diǎn))。在這里，音頻幀可進(jìn)一步分為正常聲音幀及異常聲音幀。
[0027]2.正常聲音幀:指未檢測到異常聲音的音頻幀。這種音頻幀表示沒有異常事件發(fā)生時(shí)的背景聲音。
[0028]3.異常聲音幀:指檢測到音頻變化的音頻幀，意味著出現(xiàn)了異常事件(異常事件分為監(jiān)控目標(biāo)事件和非監(jiān)控目標(biāo)事件，每種監(jiān)控應(yīng)用都有監(jiān)控目的，比如說，無人值守機(jī)房防盜監(jiān)控系統(tǒng)，機(jī)房正常運(yùn)行無人進(jìn)入為正常事件，有人非法侵入為監(jiān)控目標(biāo)事件，輕微地震引起物品摔落為非監(jiān)控目標(biāo)事件)，這種情況下需要開啟視頻監(jiān)控并進(jìn)行異常事件分析。
[0029]4.E_curr_l:當(dāng)前幀左聲道PCM能量值。
[0030]5.E_curr_r:當(dāng)前幀右聲道PCM能量值。
[0031 ] 6.E_curr:當(dāng)前幀PCM能量值，即左右聲道PCM能量平均值，E_curr= (E_curr_l+E_curr_r)/20
[0032]7.E_back:背景聲音能量平均值，即正常聲音幀的能量平均值?？梢圆捎们癕個(gè)正常聲音幀的平均值用于計(jì)算背景聲音能量平均值E_back，M值可根據(jù)實(shí)際情況監(jiān)控目標(biāo)事件的快慢設(shè)定以達(dá)到最佳效果，比如說100。
[0033]8.Threshold:異常聲音幀門限值，如果當(dāng)前幀E_curr對比E_back超過門限值，則意味著檢測到了明顯聲音變化，也即意味著異常事件的發(fā)生。由于不同使用場合背景聲音能量平均值不同、監(jiān)控目標(biāo)事件不同，其值會(huì)有所變化，需要根據(jù)實(shí)際情況而定。
[0034]9.T:異常事件發(fā)生時(shí)刻。音頻監(jiān)控和視頻監(jiān)控共用一個(gè)時(shí)鐘，一旦檢測到異常事件發(fā)生，需要記錄下發(fā)生時(shí)刻信息，并同時(shí)記錄到音頻監(jiān)控碼流和視頻監(jiān)控碼流以保證音視頻同步，以便在未來查詢時(shí)能迅速知道異常時(shí)刻發(fā)生時(shí)刻。
[0035]10.L_max: —般來說，異常事件一旦發(fā)生，往往需要持續(xù)一段時(shí)間，所以一旦檢測到異常事件，打開視頻監(jiān)控后，可以直接連續(xù)監(jiān)控L_max幀，L_max幀之后，停止視頻監(jiān)控，并且重新進(jìn)行異常事件檢測。L_max的長度選擇需要根據(jù)監(jiān)控應(yīng)用場合及監(jiān)控目標(biāo)事件的長度而選擇，比如說監(jiān)控公路車禍的監(jiān)控系統(tǒng)，車禍的發(fā)生往往是一瞬間，可以設(shè)定一點(diǎn)較短的L_max值。
[0036]11.L:視頻編碼計(jì)數(shù)器，保證一旦檢測到異常事件，需要持續(xù)視頻監(jiān)控記錄L_max幀。
[0037]如附圖2所示的整個(gè)視頻監(jiān)控過程如以下步驟表示:
[0038]1.E_curr初始化為O或已知當(dāng)前背景聲音能量平均值。
[0039]2.雙聲道音頻PCM采樣輸入，
[0040] 3.計(jì)算左聲道音頻幀能量值E_curr_l，計(jì)算右聲道音頻幀能量值E_curr_r。
[0041 ] 4.計(jì)算當(dāng)前幀雙聲道音頻能量值E_curr = (E_curr_l+E_curr_r) /2。
[0042]5.判斷E_curr/E_back是否超過門限值Thresho Id，如果超過門限值，則檢測到異常事件，進(jìn)入下一步進(jìn)行異常事件處理，否則更新E_Curr，回到步驟2重新檢測。
[0043]6.記錄下異常事件的發(fā)生時(shí)間T，并將視頻幀監(jiān)控計(jì)數(shù)器L清零，準(zhǔn)備進(jìn)行異常事件檢測和視頻監(jiān)控。
[0044]7.能過雙聲道能量差和時(shí)間差，相位差等信息分析異常聲音方位。
[0045]8.調(diào)整攝像頭以取得最佳的監(jiān)控角度，并開啟視頻監(jiān)控探頭開始進(jìn)行視頻監(jiān)控圖像攝取和編碼。
[0046]9.如果當(dāng)前視頻監(jiān)控記錄幀數(shù)達(dá)到L_max幀，則退出視頻監(jiān)控，進(jìn)入監(jiān)控后處理步驟13 ο
[0047]10.攝像頭攝取視頻圖像進(jìn)行編碼。
[0048]11.通過對比異常事件前、中、后的視頻圖像幀的差別來找到異常事件物體相關(guān)的圖像塊。
[0049]12.根據(jù)預(yù)設(shè)的監(jiān)控目標(biāo)事件特征，對異常事件物體相關(guān)圖像塊進(jìn)行分析以確定是否為監(jiān)控目標(biāo)事件，同時(shí)，更新計(jì)數(shù)器L，回到步驟9。
[0050]13.如果在異常事件分析過程中，成功檢測到該異常事件為監(jiān)控目標(biāo)事件，則按預(yù)設(shè)的方式進(jìn)行處理，比如報(bào)警;否則僅僅記錄為一個(gè)異常事件發(fā)生。
[0051 ] 14.將異常事件發(fā)生時(shí)間T和視頻編碼碼流存儲(chǔ)到存儲(chǔ)器，重新回到步驟2，進(jìn)行全新的一次音頻監(jiān)控。
[0052]如附圖3所示，監(jiān)控系統(tǒng)包括音視頻監(jiān)控同步模塊，音頻監(jiān)控模塊和視頻監(jiān)控模塊。
[0053]考慮到音頻和視頻監(jiān)控的同步以及異常事件發(fā)生時(shí)刻的確定，兩者需要共用一個(gè)時(shí)鐘信號源，即圖中的音視頻監(jiān)控同步模塊。音頻視監(jiān)控同步模塊會(huì)送出相同的時(shí)鐘信息進(jìn)入音頻監(jiān)控模塊和視頻監(jiān)控模塊。
[0054]左右聲道PCM值一路送至音頻監(jiān)控模塊進(jìn)行連續(xù)性的音頻監(jiān)控(在某些不需要音頻連續(xù)性監(jiān)控的情況下，也可以只在探測到異常事件時(shí)才進(jìn)行音頻監(jiān)控編碼記錄)，并將音頻監(jiān)控編碼碼流連同時(shí)間信息一同記錄到存儲(chǔ)模塊A;另一路則送入視頻監(jiān)控模塊進(jìn)行異常聲音檢測。
[0055]在視頻監(jiān)控模塊中，視頻監(jiān)控控制模塊控制整個(gè)視頻監(jiān)控過程。在視頻監(jiān)控模塊中，首先在能量計(jì)算模塊中對輸入的音頻幀直接計(jì)算當(dāng)前幀的能量值E_CUrr，并且在未檢測到異常聲音的情況下，更新背景聲音能量值E_baCk，在接下來的異常聲音檢測模塊中進(jìn)SE_CUrr&E_baCk數(shù)值的對比處理。一旦檢測到異常聲音，則代表異常事件發(fā)生，則在異常事件方向檢測模塊中，根據(jù)E_curr_l，E_curr_r，并結(jié)合左右聲道時(shí)間差，相位差等額外信息，判斷異常事件發(fā)生的方向，并通知視頻監(jiān)控控制模塊，調(diào)整視頻監(jiān)控探頭的方向，開始進(jìn)行異常事件分析和視頻編碼記錄。在視頻異常事件分析模塊中，會(huì)根據(jù)異常事件前、中、后視頻圖像幀的差別來找到異常事件所對應(yīng)的圖像塊，結(jié)合監(jiān)控目標(biāo)事件特征庫中設(shè)定的記錄監(jiān)控目標(biāo)特點(diǎn)，對異常事件所對應(yīng)的圖像塊進(jìn)行分析處理對比以確認(rèn)是否為監(jiān)控目標(biāo)事件，如果是監(jiān)控目標(biāo)事件，則根據(jù)設(shè)定的處理方式進(jìn)行報(bào)警或者其它相應(yīng)處理;如果未能檢測到是監(jiān)控目標(biāo)事件，則僅僅報(bào)告異常事件發(fā)生。不管是否監(jiān)控目標(biāo)事件，在異常事件發(fā)生后，視頻編碼模塊都會(huì)對L_max幀視頻圖像進(jìn)行編碼并存儲(chǔ)入存儲(chǔ)模塊B。其中存儲(chǔ)模塊A和存儲(chǔ)模塊B可以是同一模塊，以可以為不同模塊。
【主權(quán)項(xiàng)】
1.一種視頻處理方法，其特征在于: 對于包含視頻監(jiān)控系統(tǒng)以及音頻監(jiān)控系統(tǒng)的安全監(jiān)控系統(tǒng)， 音頻監(jiān)控系統(tǒng)當(dāng)探測到異常聲音變化時(shí)，記錄下異常事件發(fā)生的時(shí)間并寫入音頻監(jiān)控碼流，同時(shí)分析聲音的方位，從而調(diào)整視頻監(jiān)控?cái)z像頭以取得最佳監(jiān)控角度，打開視頻監(jiān)控，記錄下異常事件發(fā)和的時(shí)間以便和音頻監(jiān)控碼流同步，進(jìn)行視頻編碼存儲(chǔ)； 對比前后圖像的不同來確定異常事件所對應(yīng)的圖像塊并試圖進(jìn)行分析，如果能夠成功分析出異常事件類型為監(jiān)控目標(biāo)事件，則根據(jù)設(shè)定的處理方式處理;如果未能檢測到為監(jiān)控目標(biāo)事件，則記錄異常事件以備監(jiān)控人員后期檢索查詢。
【文檔編號】H04N7/18GK105915862SQ201610459340
【公開日】2016年8月31日
【申請日】2016年6月22日
【發(fā)明人】易飛, 繆達(dá)瑞, 錢志
【申請人】成都嘉澤興業(yè)科技有限責(zé)任公司