多特征融合的新聞視頻摘要提取方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及視頻內(nèi)容理解領(lǐng)域，具體設(shè)及一種多特征融合的新聞視頻摘要提取方 法。
【背景技術(shù)】
[0002] 新聞視頻是人們獲取信息的主要來源之一，其內(nèi)容涵蓋了人們生活中的各個方 面，包括體育、娛樂、時事等，受眾面廣，更新速度快，在日常生活中扮演著不可缺失的角色。 面對龐大的新聞視頻庫，如何高效地組織和瀏覽新聞視頻，如何有效地過濾和定位出最適 合，最準(zhǔn)確的新聞內(nèi)容是現(xiàn)階段新聞視頻內(nèi)容理解領(lǐng)域的一個亟待解決的問題。
[0003] 新聞視頻摘要不僅可W顯示新聞視頻主旨內(nèi)容，幫助人們快速地瀏覽新聞內(nèi)容， 還可結(jié)合視頻標(biāo)注技術(shù)服務(wù)于視頻檢索領(lǐng)域等，具有較高的研究價值。然而由于新聞視頻 內(nèi)容主題跨度大，同一個新聞內(nèi)容在視覺呈現(xiàn)上千差萬別，單純的底層特征分析很難描述 新聞視頻語義，導(dǎo)致現(xiàn)階段新聞視頻摘要研究仍面臨挑戰(zhàn)。
[0004] 現(xiàn)存在一些通用的摘要提取發(fā)明。如專利文獻(xiàn)"視頻摘要生成方法和視頻摘要生 成裝置(專利公開號:CN103092930A，專利公開日：2013.05.08)"中通過背景建模得到背景 模型，再利用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包含人臉，并選取包含人臉的序 列成為最終的摘要。該發(fā)明僅適用于某些領(lǐng)域的視頻，如監(jiān)控視頻，對新聞視頻摘要獲取并 不能獲得有意義的結(jié)果。
[0005] 現(xiàn)有的新聞視頻摘要方法主要基于多特征融合，采用音視頻信息來表達(dá)視頻內(nèi) 容。而主題字幕帖包含新聞故事主要人物、新聞事件主題等重要信息，直接顯示新聞事件語 義信息，是新聞視頻摘要領(lǐng)域的研究重點。
[0006] 在文獻(xiàn)[1](孟文婷.基于多模態(tài)特征融合的新聞視頻摘要技術(shù)研究.[D].湖北:華 中師范大學(xué)，2012)中采用多特征融合來分析新聞視頻內(nèi)容，首先通過自適應(yīng)闊值進(jìn)行鏡頭 分割，再利用音視頻信息進(jìn)行主持人鏡頭檢測，隨后采用邊緣特征分析獲取新聞視頻主題 字幕帖，再選取具有主題字幕帖的鏡頭濃縮為摘要。然而該方法并未有效區(qū)分新聞視頻中 =類文本字幕，導(dǎo)致在僅采用邊緣特征的前提下對主題字幕帖的檢測效果不佳，同時由于 其在選擇具有主題字幕帖的鏡頭時并未考慮音頻信息，從而其最終得到的摘要并不友好， 不具有觀賞性。
[0007] 而文獻(xiàn)[2](李小寧.角點檢測技術(shù)在新聞視頻檢索中的應(yīng)用研究[D].沈陽：東北 大學(xué)，2010)中探討了角點檢測在新聞視頻中的應(yīng)用。它采用角點檢測來識別主題字幕帖， 但其檢測方法也過于單一，最終檢測效果并不理想。綜合分析文獻(xiàn)[1]和文獻(xiàn)[2]的不足之 處，本發(fā)明設(shè)計了一種基于角點檢測、顏色濾波和形態(tài)學(xué)分析的有效的主題字幕帖檢測算 法，同時從工程實現(xiàn)角度出發(fā)，定義了新聞基本處理單元，方便模塊化分析新聞視頻。而基 于觀賞性和實用性考慮，本發(fā)明也分別設(shè)計了靜態(tài)和動態(tài)視頻摘要。

【發(fā)明內(nèi)容】

[0008] 針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種多特征融合的新聞視頻摘要方 法。
[0009] 根據(jù)本發(fā)明提供的一種多特征融合的新聞視頻摘要提取方法，包括如下任一個或 任多個步驟：
[0010] 獲取新聞基本處理單元步驟:從新聞視頻中提取新聞基本處理單元；
[0011] 檢測主題字幕帖步驟:從新聞視頻中提取主題字幕帖；
[0012] 檢測靜音段步驟:從新聞視頻中提取靜音段；
[0013] 檢測人臉步驟:從新聞視頻中提取人臉。
[0014] 優(yōu)選地，所述新聞基本處理單元是指，一段W主持人鏡頭出現(xiàn)為開始時刻，中間時 段包含內(nèi)容鏡頭，并W下一個主持人鏡頭出現(xiàn)的開始時刻作為結(jié)束時刻的視頻片段。
[0015] 優(yōu)選地，所述獲取新聞基本處理單元步驟包括鏡頭分割步驟，其中，所述鏡頭分割 步驟，包括如下步驟：
[0016] 根據(jù)如下計算式得到D( i，j):
[001引其中，DQ J)表示第i帖與第j帖的差異，N表示新聞視頻帖灰度級的數(shù)量，fi,k表示 第i帖新聞視頻中第k級灰度的像素個數(shù)，枯k表示第j帖新聞視頻中第k級灰度的像素個數(shù)， 第i帖與第j帖為前后兩帖；i、j為正整數(shù)；
[0019] 如果第i帖與第j帖的差異D(i，j)大于指定闊值TshDt,則認(rèn)為存在鏡頭邊界，將第j 帖與設(shè)定的主持人模板進(jìn)行匹配;若第j帖與設(shè)定的主持人模板匹配，則將第j帖作為新聞 基本處理單元的起始帖。
[0020] 優(yōu)選地，所述檢測主題字幕帖步驟，包括如下步驟：
[0021] 設(shè)置新聞視頻帖的感興趣區(qū)域；
[0022] 對各個新聞視頻帖的感興趣區(qū)域，采用化rris角點檢測算子進(jìn)行角點檢測W獲取 感興趣區(qū)域中的角點，根據(jù)角點得到待融合主題字母區(qū)域；
[0023] 將各個新聞視頻帖的感興趣區(qū)域中滿足如下條件的區(qū)域提取為藍(lán)色區(qū)域：
[0024] 100 < Hue <260
[0025] 0.33 < Sa1:uration < 1
[00%]對提取到的藍(lán)色區(qū)域提取矩形外輪廓，其中，化e表示色調(diào)，Saturation表示飽和 度；
[0027]將符合如下條件的矩形外輪廓所屬的新聞視頻帖確認(rèn)為主題字幕帖，并將不符合 如下條件的矩形外輪廓所屬的新聞視頻帖確認(rèn)為偽主題字幕帖：
[002引 Heights Theight
[0030] 其中，Hei曲t表示矩形外輪廓的高度，Theight表示設(shè)定的高度闊值，ContourAreamax 為各個新聞視頻帖中矩形外輪廓中的最大輪廓面積，Contour Areamax-I為各個新聞視頻帖中 矩形外輪廓中的第二大輪廓面積，TwntDUr表示設(shè)定的比例闊值；
[0031] 將角點檢測得到的待融合主題字母區(qū)域與主題字幕帖中矩形外輪廓的內(nèi)部區(qū)域 進(jìn)行圖像融合，得到候選主題字幕區(qū)域；
[0032] W矩形結(jié)構(gòu)元素對候選主題字幕區(qū)域進(jìn)行形態(tài)學(xué)膨脹操作，得到待鑒別文本連通 域；
[0033] 將符合如下條件的待鑒別文本連通域認(rèn)為是偽文本塊，將不符合如下條件的待鑒 別文本連通域認(rèn)為是文本塊：
[0034] Areatext < Tarea
[0035] Ratiotext <Trati。
[0036] 其中，Areatext表示待鑒別文本連通域的面積，Tarea表示設(shè)定的面積闊值，Ratiotext 表示待鑒別文本連通域的寬高比，TratiD表示設(shè)定的寬高比闊值。
[0037] 優(yōu)選地，所述根據(jù)角點得到待融合主題字母區(qū)域，具體為:將角點連線劃定出待融 合主題字母區(qū)域。
[0038] 優(yōu)選地，所述檢測靜音段步驟，包括如下步驟：
[0039] 采用Hamming窗對新聞視頻中的音頻進(jìn)行加窗分帖，得到各帖音頻信號；
[0040] 根據(jù)如下計算式得到第i帖音頻信號的短時能量EiW及第i帖音頻信號的短時過 零率Zi:
[0043] 其中，N表示第i帖音頻信號中包含的音頻采樣數(shù)目，xi(m)表示第i帖音頻信號第m 個采樣值，xi(m+l)表示第i帖第m+1個采樣值，sgn( ?)為符號函數(shù)；
[0044] 如果一帖音頻信號滿足如下條件，則認(rèn)為該帖音頻信號為靜音帖，否則為非靜音 帖：
[0045] Ei < Te
[0046] Zi<Tz
[0047] 其中，Te表示設(shè)定的短時能量闊值，Tz表示設(shè)定的短時過零率闊值。
[004引優(yōu)選地，所述檢測人臉步驟包括如下步驟：
[0049] 對新聞視頻，采用Viola-化nes人臉檢測算法，結(jié)合跨平臺計算機(jī)視覺庫化enCV中 訓(xùn)練好的分類器11日日1^日3。日(16_；1^1'〇]11：日^日。6_日1：1/邸11提取積分圖像，計算化日1-1146特征， 進(jìn)而利用跨平臺計算機(jī)視覺庫化enCV中的CV化arDetectObjects函數(shù)在新聞視頻中檢測人 臉對象。
[0050] 優(yōu)選地，執(zhí)行檢測靜音段步驟得到靜音段，對靜音段執(zhí)行檢測主題字幕帖步驟，僅 在靜音段對應(yīng)的視頻帖中包含主題字幕帖的情況下，將靜音段對應(yīng)的視頻帖加入動態(tài)摘要 序列。
[0051] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：
[0052] 1、本發(fā)明可依據(jù)用戶不同的需求得到有意義的高語義靜態(tài)或動態(tài)視頻摘要。
[0053] 2、本發(fā)明提出了新聞基本處理單元?？蓪π侣勔曨l進(jìn)行結(jié)構(gòu)化處理，實現(xiàn)視頻流 的優(yōu)化重組。同時，縮小了問題分析單元，有利于工程化實現(xiàn)摘要系統(tǒng)。
[0054] 3、本發(fā)明提出了基于角點檢測、顏色濾波和形態(tài)學(xué)分析的主題字幕檢測算法?？?有效區(qū)分新聞視頻中=類文本字幕，準(zhǔn)確地檢測出主題字幕。
[0055] 4、本發(fā)明設(shè)計了靜態(tài)摘要(例如主題字幕)和動態(tài)摘要(例如音頻、人臉）。高度概 括新聞視頻內(nèi)容，可滿足不同的用戶和應(yīng)用需求，有較大的實用價值。
【附圖說明】
[0056] 通過閱讀參照W下附圖對非限制性實施例所作的詳細(xì)描述，本發(fā)明的其它特征、 目的和優(yōu)點將會變得更明顯：
[0057] 圖1是本發(fā)明提供的多特征融合的新聞視頻摘要提取方法的流程框圖；
[0058] 圖2是本發(fā)明中單、雙主持人模板帖示例對比圖；
[0059] 圖3是本發(fā)明實施例中新聞視頻中=類字幕文本示例對比圖；
[0060] 圖4是本發(fā)明實施例中主題字幕帖分類和檢測流程框圖。
【具體實施方式】
[0061] 下面結(jié)合具體實施例對本發(fā)明進(jìn)行詳細(xì)說明。W下實施例將有助于本領(lǐng)域的技術(shù) 人員進(jìn)一步理解本發(fā)明，但不W任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對本領(lǐng)域的普通技術(shù) 人員來說，在不脫離本發(fā)明構(gòu)思的前提