加入HSV空間色調(diào) 化ue)和飽和度(Saturation)特征進(jìn)行濾波，排除會話字幕帖等。首先，為提取主題字幕帖 的藍(lán)色區(qū)域，設(shè)定色調(diào)和飽和度滿足下述條件：
[0132] 100 < Hue <260
[0133] 0.33 < Sa1:uration < 1
[0134] 其它字幕帖與主題字幕帖具有相似的編輯模式，其前景字體為白色，背景為藍(lán)色， 單純的顏色濾波很難區(qū)別二者。然而觀察發(fā)現(xiàn)，其它字幕帖前景字體較小，相互之間較為獨(dú) 立，相應(yīng)地，背景藍(lán)色長矩形條也較小?；诖耍惴ɡ^續(xù)對藍(lán)色區(qū)域的大小和分布進(jìn)行分 析。對顏色濾波后得到的二值圖像提取矩形外輪廓，計(jì)算各輪廓的高Height和面積 ContourArea，并對輪廓面積進(jìn)行排序。如果
[0136] 其中，Contour Areamax為最大輪廓面積，ContourAreamax-I為第二大輪廓面積。若上 式成立，則認(rèn)為該帖為主題字幕帖。&表示并且。Theight表示設(shè)定的高度闊值，TcDntDur表示設(shè) 定的比例闊值。
[0137] (3)形態(tài)學(xué)分析
[0138] 角點(diǎn)檢測和顏色濾波可W過濾掉大部分的偽主題字幕帖，但是實(shí)驗(yàn)中發(fā)現(xiàn)該方法 對具有復(fù)雜邊緣的類文本區(qū)域效果甚微。因此，本發(fā)明結(jié)合主題字幕帖排列集中整齊的特 點(diǎn)，繼續(xù)采用形態(tài)學(xué)算法處理字幕區(qū)域。
[0139] 首先對角點(diǎn)檢測和顏色濾波后的二值圖像進(jìn)行融合，得到候選主題字幕區(qū)域。隨 后，W2 X 2大小的矩形結(jié)構(gòu)元素進(jìn)行形態(tài)學(xué)膨脹操作，得到文本連通域。分析文本塊幾何方 面的約束條件，對文本連通域計(jì)算其面積Areatext和寬高比Ratiotext，如果
[0140] Areatext < Tarea&RatiOtext < Tratio
[0141] 其中，Tarea和TratiD為經(jīng)驗(yàn)闊值。若上式成立，則認(rèn)為該文本連通域是偽文本塊。最 終通過面積分析可W過濾掉較小的區(qū)域，而寬高比可W排除那些細(xì)長、彎曲復(fù)雜的偽文本 塊，進(jìn)一步優(yōu)化字幕檢測結(jié)果。
[01創(chuàng)檢測靜音段步驟
[0143]新聞視頻中不同的新聞內(nèi)容間，主持人的播報(bào)聲音常出現(xiàn)明顯的停頓，并且運(yùn)個(gè) 停頓至少會持續(xù)0.3s。本發(fā)明采用音頻的兩個(gè)物理特征:短時(shí)能量和短時(shí)過零率來進(jìn)行靜 音分析，獲取靜音段。
[0144]采用化mming窗對新聞視頻中的音頻進(jìn)行加窗分帖，每帖20ms。設(shè)Xi(m)是加窗分 帖后第i帖音頻信號第m個(gè)采樣值，記Ei為第i帖音頻信號的短時(shí)能量，Zi為第i帖音頻信號的 短時(shí)過零率，貝U
[0147] 其中，N表示第i帖音頻信號中包含的音頻采樣數(shù)目，xi(m+l)表示第i帖第m+1個(gè)采 樣的采樣值。sgn( ?)為符號函數(shù)。
[0148] 與語音信號中的清音和濁音相比，靜音帖短時(shí)能量小，過零率低。如果Ei和Zi滿足 Ei < Te并且Zi含Tz ,Te和Tz為經(jīng)驗(yàn)闊值，則該帖標(biāo)定為靜音帖，否則為非靜音帖。
[0149] 檢測人臉步驟
[0150] 新聞人物作為新聞故事的主題，常具有重要語義信息。本發(fā)明采用Viola-Jones人 臉檢測算法，結(jié)合OpenCV中訓(xùn)練好的分類器haa;rcascade_f;rontalface_atl/xml提取積分 圖像，快速計(jì)算化ar-like特征，并利用cvHaarDetectObjects函數(shù)在視頻帖中檢測人臉對 象。
[0151] W上對本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述 特定實(shí)施方式，本領(lǐng)域技術(shù)人員可W在權(quán)利要求的范圍內(nèi)做出各種變化或修改，運(yùn)并不影 響本發(fā)明的實(shí)質(zhì)內(nèi)容。在不沖突的情況下，本申請的實(shí)施例和實(shí)施例中的特征可W任意相 互組合。
【主權(quán)項(xiàng)】
1. 一種多特征融合的新聞視頻摘要提取方法，其特征在于，包括如下任一個(gè)或任多個(gè) 步驟： 獲取新聞基本處理單元步驟:從新聞視頻中提取新聞基本處理單元； 檢測主題字幕帖步驟:從新聞視頻中提取主題字幕帖； 檢測靜音段步驟:從新聞視頻中提取靜音段； 檢測人臉步驟:從新聞視頻中提取人臉。2. 根據(jù)權(quán)利要求1所述的多特征融合的新聞視頻摘要提取方法，其特征在于，所述新聞 基本處理單元是指，一段W主持人鏡頭出現(xiàn)為開始時(shí)刻，中間時(shí)段包含內(nèi)容鏡頭，并W下一 個(gè)主持人鏡頭出現(xiàn)的開始時(shí)刻作為結(jié)束時(shí)刻的視頻片段。3. 根據(jù)權(quán)利要求2所述的多特征融合的新聞視頻摘要提取方法，其特征在于，所述獲取 新聞基本處理單元步驟包括鏡頭分割步驟，其中，所述鏡頭分割步驟，包括如下步驟： 根據(jù)如下計(jì)算式得到D(i，j): D(U)二私 權(quán)=1 其中，D(i，j)表示第i帖與第j帖的差異，N表示新聞視頻帖灰度級的數(shù)量，f i,k表示第i 帖新聞視頻中第k級灰度的像素個(gè)數(shù)，枯k表示第j帖新聞視頻中第k級灰度的像素個(gè)數(shù)，第i 帖與第j帖為前后兩帖；i、j為正整數(shù)； 如果第i帖與第j帖的差異D(i，j)大于指定闊值TshDt,則認(rèn)為存在鏡頭邊界，將第j帖與 設(shè)定的主持人模板進(jìn)行匹配;若第j帖與設(shè)定的主持人模板匹配，則將第j帖作為新聞基本 處理單元的起始帖。4. 根據(jù)權(quán)利要求1所述的多特征融合的新聞視頻摘要提取方法，其特征在于，所述檢測 主題字幕帖步驟，包括如下步驟： 設(shè)置新聞視頻帖的感興趣區(qū)域； 對各個(gè)新聞視頻帖的感興趣區(qū)域，采用化rris角點(diǎn)檢測算子進(jìn)行角點(diǎn)檢測W獲取感興 趣區(qū)域中的角點(diǎn)，根據(jù)角點(diǎn)得到待融合主題字母區(qū)域； 將各個(gè)新聞視頻帖的感興趣區(qū)域中滿足如下條件的區(qū)域提取為藍(lán)色區(qū)域： 100. Hue < 260 0.33 < Saturation <I 對提取到的藍(lán)色區(qū)域提取矩形外輪廓，其中，化e表示色調(diào)，Saturation表示飽和度； 將符合如下條件的矩形外輪廓所屬的新聞視頻帖確認(rèn)為主題字幕帖，并將不符合如下 條件的矩形外輪廓所屬的新聞視頻帖確認(rèn)為偽主題字幕帖： Hei 邑ht ^ Theight其中，He i曲t表示矩形外輪廓的高度，Theight表示設(shè)定的高度闊值，ContourAreamax為各 個(gè)新聞視頻帖中矩形外輪廓中的最大輪廓面積，Contour Areamax-I為各個(gè)新聞視頻帖中矩形 外輪廓中的第二大輪廓面積，TwntDUr表示設(shè)定的比例闊值； 將角點(diǎn)檢測得到的待融合主題字母區(qū)域與主題字幕帖中矩形外輪廓的內(nèi)部區(qū)域進(jìn)行 圖像融合，得到候選主題字幕區(qū)域； W矩形結(jié)構(gòu)元素對候選主題字幕區(qū)域進(jìn)行形態(tài)學(xué)膨脹操作，得到待鑒別文本連通域； 將符合如下條件的待鑒別文本連通域認(rèn)為是偽文本塊，將不符合如下條件的待鑒別文 本連通域認(rèn)為是文本塊： ArGBtext ^ Tarea 民atiOtext ^ Tratio 其中，Ar eatext表示待鑒別文本連通域的面積，Tarea表示設(shè)定的面積闊值，Rat i Otext表示 待鑒別文本連通域的寬高比，TratiD表示設(shè)定的寬高比闊值。5. 根據(jù)權(quán)利要求4所述的多特征融合的新聞視頻摘要提取方法，其特征在于，所述根據(jù) 角點(diǎn)得到待融合主題字母區(qū)域，具體為:將角點(diǎn)連線劃定出待融合主題字母區(qū)域。6. 根據(jù)權(quán)利要求1所述的多特征融合的新聞視頻摘要提取方法，其特征在于，所述檢測 靜音段步驟，包括如下步驟： 采用Hamming窗對新聞視頻中的音頻進(jìn)行加窗分帖，得到各帖音頻信號； 根據(jù)如下計(jì)算式得到第i帖音頻信號的短時(shí)能量EiW及第i帖音頻信號的短時(shí)過零率 Zi:其中，N表示第i帖音頻信號中包含的音頻采樣數(shù)目，xi(m)表示第i帖音頻信號第m個(gè)采 樣值，xi(m+l)表示第i帖第m+1個(gè)采樣值，sgn( ?)為符號函數(shù)； 如果一帖音頻信號滿足如下條件，則認(rèn)為該帖音頻信號為靜音帖，否則為非靜音帖： Ei<Te Zi<Tz 其中，Te表示設(shè)定的短時(shí)能量闊值，Tz表示設(shè)定的短時(shí)過零率闊值。7. 根據(jù)權(quán)利要求1所述的多特征融合的新聞視頻摘要提取方法，其特征在于，所述檢測 人臉步驟包括如下步驟： 對新聞視頻，采用Viola-化nes人臉檢測算法，結(jié)合跨平臺計(jì)算機(jī)視覺庫化enCV中訓(xùn)練 好的分類器11日日1'。日3。日(16_打〇]11日^日。6_日1：1/邸11提取積分圖像，計(jì)算化日1-111<：6特征，進(jìn)而 利用跨平臺計(jì)算機(jī)視覺庫化enCV中的CV化arDetectObjects函數(shù)在新聞視頻中檢測人臉對 象。8. 根據(jù)權(quán)利要求1所述的多特征融合的新聞視頻摘要提取方法，其特征在于，執(zhí)行檢測 靜音段步驟得到靜音段，對靜音段執(zhí)行檢測主題字幕帖步驟，僅在靜音段對應(yīng)的視頻帖中 包含主題字幕帖的情況下，將靜音段對應(yīng)的視頻帖加入動(dòng)態(tài)摘要序列。
【專利摘要】本發(fā)明提供了一種多特征融合的新聞視頻摘要提取方法，其對原始新聞視頻利用鏡頭分割和鏡頭標(biāo)定獲得新聞視頻基本處理單元。就靜態(tài)視頻摘要，對新聞基本處理單元采用角點(diǎn)檢測、顏色濾波和形態(tài)學(xué)分析進(jìn)行主題字幕檢測，再結(jié)合人臉識別和聚類獲得新聞主要人物信息；就動(dòng)態(tài)視頻摘要，對新聞基本處理單元進(jìn)行靜音分析，得到靜音段，然后判定每個(gè)靜音段是否包含主題字幕，如果有，則將其加入到最終的動(dòng)態(tài)摘要序列，反之亦然；從而得到有意義的高語義動(dòng)態(tài)和靜態(tài)視頻摘要。本發(fā)明能獲得的靜態(tài)摘要，可靈活地瀏覽和組織視頻內(nèi)容；并能獲得的動(dòng)態(tài)摘要，包含豐富的多媒體信息能清晰地表達(dá)原始視頻內(nèi)容，更具有娛樂性和觀賞性。
【IPC分類】H04N21/845, H04N21/4728, H04N21/8549, H04N21/44
【公開號】CN105516802
【申請?zhí)枴緾N201510807865
【發(fā)明人】蔣興浩, 孫錟鋒, 王娟, 姜華, 郁聰
【申請人】上海交通大學(xué), 上海神州數(shù)碼有限公司
【公開日】2016年4月20日
【申請日】2015年11月19日