視頻三維格式自動檢測方法
【專利摘要】本發(fā)明揭示了一種視頻三維格式自動檢測方法，利用了同一視頻節(jié)目格式唯一這一事實條件，只是在每個新節(jié)目時做必要的計算/檢測。同時，本發(fā)明方法根據(jù)3D視頻垂直視差和水平視差的特點，通過提取圖像角點的特征點、特征點集匹配的方式來快速估計視差，從而實現(xiàn)格式的初步判斷；再次在時間域上進行多幀投票判別，最后輸出當前視頻節(jié)目的格式，控制顯示裝置按照檢測出來的視頻格式進行播放。使用該方法在保證高的檢測準確率的前提下，大大減少了視頻格式檢測的計算復雜度。使得本發(fā)明的自動檢測視頻節(jié)目格式方法相比現(xiàn)有技術，特別適用于移動設備(平板電腦、筆記本電腦)這類對功耗、制造成本要求非?？量痰南到y(tǒng)。
【專利說明】
視頻三維格式自動檢測方法
技術領域
[0001 ]本發(fā)明屬于視頻格式檢測技術領域，涉及一種視頻格式檢測方法，尤其涉及一種視頻三維格式自動檢測方法。
【背景技術】
[0002]隨著三維(3D)視頻的影片在視頻網(wǎng)站上越來越普及和3D數(shù)字電視節(jié)目的開播，3D視頻數(shù)量將成爆發(fā)式增長。在這些3D視頻中有一大類是將3D內(nèi)容排列2D幀中，以便于現(xiàn)有2D顯示系統(tǒng)兼容。根據(jù)3D子幀在2D幀中的排列格式，此類3D視頻分為以下幾種格式:
[0003](I)左右3D格式(SBS):3D左右視圖并排排列在2D幀中；
[0004](2)上下3D格式(TB):3D左右視圖排列在2D幀中的上部和下部；
[0005](3)行交織3D格式(LI):交織3D左右視圖的行讓左右視圖排列在2D幀中；
[0006](4)列交織3D格式(Cl):交織3D左右視圖的列讓左右視圖排列在2D幀中；
[0007](5)方格-交錯3D格式(CB):以方格模式交錯讓3D左右視圖排列在2D幀中；
[0008](6)方格-并排3D格式(CBS):以方格模式讓3D左右視圖并排排列在2D幀中；
[0009](7)2D+深度格式(2D+D):將2D子幀和深度信息子幀并排排列在2D幀中。
[0010]其中，左右3D格式和上下3D格式是最常見的2種3D格式。與此同時，2D視頻內(nèi)容將長期(并一直)存在。如何自動檢測視頻節(jié)目格式是2D還是3D，若是3D視頻格式，又屬于3D格式哪種，對于正確顯示是不可缺少的。
[0011 ]同時根據(jù)現(xiàn)有視頻節(jié)目制作的慣例，每個節(jié)目的格式都是確定并唯一的。要么是2D視頻，要么是3D視頻采用左右格式，要么是3D視頻采用上下格式。不存在一個節(jié)目里面包含多種視頻格式。
[0012]同時為保證觀看的舒適性，三維視頻內(nèi)容制作時除了要求左右視圖的亮度/色度等各方面特征具有高度一致性，還只允許存在水平視差，并且水平視差必須控制在一定范圍，只有這樣的左右圖像對才能被融合成單一的立體圖像;否則人的眼睛和大腦就無法協(xié)調(diào)晶狀體調(diào)節(jié)、雙眼會聚與雙眼視差異多種生理立體視覺因素所提供的深度信息之間的關系，將左、右圖像融合成單一的立體圖像，其結果會給觀看者造成很大的不舒適感。
[0013]有鑒于此，如今迫切需要設計一種新的三維視頻格式檢測方式，以便克服現(xiàn)有格式檢測方式存在的上述缺陷。

【發(fā)明內(nèi)容】

[0014]本發(fā)明所要解決的技術問題是:提供一種視頻三維格式自動檢測方法，可提高檢測準確率，同時減少視頻格式檢測的計算復雜度。
[0015]為解決上述技術問題，本發(fā)明采用如下技術方案:
[0016]一種視頻三維格式自動檢測方法，其特征在于，所述檢測方法包括如下步驟:
[0017]步驟S1.新視頻節(jié)目開始，對第一計數(shù)器、第二計數(shù)器清零；
[0018]步驟S2.獲取一幀圖像，對輸入圖像進行視圖劃分；按左右3D格式化，第一左視圖在左邊，第一右視圖在右邊;按上下3D格式化，第二左視圖在上邊，第二右視圖在下邊；
[0019]步驟S3.檢測各個子區(qū)域的特征點，采用圖像中的角點作為特征點進行檢測，角點檢測方法采用成熟的SUSAN或者Harris算法;得到第一左視圖區(qū)域、第一右視圖區(qū)域、第二左視圖區(qū)域、第二右視圖區(qū)域各自的角點集合(:11、(:12、021、022;
[0020]步驟S4.全圖角點集合用集合{C11，C12}近似，判斷該集合中角點數(shù)目是否大于第一預設閾值;若是則認為是有效幀，執(zhí)行步驟S5，否則執(zhí)行步驟S2;
[0021]步驟S5.對角點集合CU與C12、角點集合C21與C22進行特征點匹配;匹配原則根據(jù)特征點匹配對的垂直視差最小原則進行；
[0022]步驟S6.根據(jù)角點集合Cl I與Cl2特征點匹配對統(tǒng)計垂直視差Disparity_l V和Disparity_lh，根據(jù)C21與C22特征點匹配對統(tǒng)計垂直視差Disparity_2v和Disparity_2h;
[0023]步驟S7.如果Disparity_lv小于垂直視差閾值Thv，并且Disparity_lh小于水平視差閾值Thh，則第一計數(shù)器值加I ;如果Di spar i ty_2v小于垂直視差閾值Thv，并且Disparity_2h小于水平視差閾值Thh，則第二計數(shù)器值加I;
[0024]步驟S8.重復步驟S2?S7，直至判別步驟S7被執(zhí)行了 m次；
[0025]步驟S9.若第一計數(shù)器的值大于等于k*m，(ke (0.5，I ])，則檢測到的當前視頻節(jié)目格式為左右3D視頻格式；
[0026]步驟S10.若第二計數(shù)器的值大于等于k*m,(ke (0.5，I])，貝Ij檢測到的當前視頻節(jié)目格式為上下3D視頻格式；
[0027]步驟SI1.若以上兩個計數(shù)器的值都不滿足條件，則檢測到的當前視頻節(jié)目為2D視頻格式。
[0028]一種視頻三維格式自動檢測方法，所述檢測方法包括如下步驟:
[0029]步驟S1.新視頻節(jié)目開始，對第一計數(shù)器、第二計數(shù)器清零；
[0030]步驟S2.獲取一幀圖像，對輸入圖像進行視圖劃分；按左右3D格式化，第一左視圖在左邊，第一右視圖在右邊;按上下3D格式化，第二左視圖在上邊，第二右視圖在下邊；
[0031]步驟S3.檢測各個子區(qū)域的特征點，采用圖像中的角點作為特征點進行檢測，得到第一左視圖區(qū)域、第一右視圖區(qū)域、第二左視圖區(qū)域、第二右視圖區(qū)域各自的角點集合C11、C12、C21、C22;
[0032]步驟S4.全圖角點集合用集合{C11，C12}近似，判斷該集合中角點數(shù)目是否大于第一預設閾值;若是則認為是有效幀，執(zhí)行步驟S5，否則執(zhí)行步驟S2;
[0033]步驟S5.對角點集合CU與C12、角點集合C21與C22進行特征點匹配;匹配原則根據(jù)特征點匹配對的垂直視差最小原則進行；
[0034]步驟S6.根據(jù)角點集合Cl I與Cl2特征點匹配對統(tǒng)計垂直視差Disparity_l V和Dispar ity_lh，根據(jù)C21與C22特征點匹配對統(tǒng)計垂直視差Dispar ity_2v和Dispar ity_2h;
[0035]步驟S7.如果Disparity_lv小于垂直視差閾值Thv，并且Disparity_lh小于水平視差閾值Thh，則第一計數(shù)器值增加；如果Disparity_2v小于垂直視差閾值Thv，并且Disparity_2h小于水平視差閾值Thh，則第二計數(shù)器值增加；
[0036]步驟S8.重復步驟S2?S7，直至判別步驟S7被執(zhí)行了設定次數(shù)；
[0037]步驟S9.若第一計數(shù)器的值大于等于設定值，則檢測到的當前視頻節(jié)目格式為左右3D視頻格式；
[0038]步驟S10.若第二計數(shù)器的值大于等于設定值，則檢測到的當前視頻節(jié)目格式為上下3D視頻格式；
[0039]步驟SI1.若以上兩個計數(shù)器的值都不滿足條件，則檢測到的當前視頻節(jié)目為2D視頻格式。
[0040]作為本發(fā)明的一種優(yōu)選方案，步驟S3中，角點檢測方法采用成熟的SUSAN或者Harr is 算法。
[0041 ]作為本發(fā)明的一種優(yōu)選方案，所述步驟S7中，如果Disparity_lV小于垂直視差閾值111￥，并且0丨8卩31'；^7_111小于水平視差閾值1'1111，則第一計數(shù)器值加1;如果0丨8卩31'；^7_2￥小于垂直視差閾值Thv，并且Disparity_2h小于水平視差閾值Thh，則第二計數(shù)器值加I;
[0042]所述步驟S8中，重復步驟S2?S7，直至判別步驟S7被執(zhí)行了m次；
[0043]所述步驟S9中，若第一計數(shù)器的值大于等于k*m, (ke (0.5，I])，貝Ij檢測到的當前視頻節(jié)目格式為左右3D視頻格式；
[0044]所述步驟SlO中，若第二計數(shù)器的值大于等于k*m，(ke (0.5，I])，則檢測到的當前視頻節(jié)目格式為上下3D視頻格式。
[0045]本發(fā)明的有益效果在于:本發(fā)明提出的視頻三維格式自動檢測方法，首先利用了同一視頻節(jié)目格式唯一這一事實條件，只是在每個新節(jié)目時做必要的計算/檢測。
[0046]同時，根據(jù)3D視頻垂直視差和水平視差的特點，通過提取圖像角點的特征點、特征點集匹配的方式來快速估計視差，從而實現(xiàn)格式的初步判斷;再次在時間域上進行多幀投票判別，最后輸出當前視頻節(jié)目的格式，控制顯示裝置按照檢測出來的視頻格式進行播放。使用該方法在保證高的檢測準確率的前提下，大大減少了視頻格式檢測的計算復雜度。使得本發(fā)明的自動檢測視頻節(jié)目格式方法相比現(xiàn)有技術，特別適用于移動設備(平板電腦、筆記本電腦)這類對功耗、制造成本要求非?？量痰南到y(tǒng)。
[0047]本發(fā)明根據(jù)左右視圖估計視差可以基于圖像的特征點匹配完成，由于左右視圖是對同一場景同一時刻的采樣，成像條件高度一致，因此左右視圖檢測到的特征點也具有高度一致性，這一點跟普通2D視頻具有顯著差異。因此可以通過左右視圖特征點集合估計水平視差和垂直視差，檢測出視頻的3D/2D格式。
【附圖說明】
[0048]圖1為本發(fā)明視頻三維格式自動檢測方法的流程圖。
【具體實施方式】
[0049 ]下面結合附圖詳細說明本發(fā)明的優(yōu)選實施例。
[0050]實施例一
[0051]請參閱圖1，本發(fā)明揭示了一種視頻三維格式自動檢測方法，所述檢測方法包括如下步驟:
[0052]【步驟SI】新視頻節(jié)目開始，對第一計數(shù)器、第二計數(shù)器清零；
[0053]【步驟S2】獲取一幀圖像，對輸入圖像進行視圖劃分;按左右3D格式化，第一左視圖在左邊，第一右視圖在右邊;按上下3D格式化，第二左視圖在上邊，第二右視圖在下邊；
[0054]【步驟S3】檢測各個子區(qū)域的特征點，采用圖像中的角點作為特征點，角點檢測方法采用成熟的SUSAN或者Harris算法;得到第一左視圖區(qū)域、第一右視圖區(qū)域、第二左視圖區(qū)域、第二右視圖區(qū)域各自的角點集合(:11、(:12、021、022;
[0055]【步驟S4】全圖角點集合用集合{C11，C12}近似，判斷該集合中角點數(shù)目是否大于第一預設閾值;若是則認為是有效幀，執(zhí)行步驟S5，否則執(zhí)行步驟S2;
[0056]【步驟S5】對角點集合CU與C12、角點集合C21與C22進行特征點匹配;匹配原則根據(jù)特征點匹配對的垂直視差最小原則進行；
[0057]【步驟S6】根據(jù)角點集合Cll與C12特征點匹配對統(tǒng)計垂直視差Disparity_lv和Dispar ity_lh，根據(jù)C21與C22特征點匹配對統(tǒng)計垂直視差Dispar ity_2v和Dispar ity_2h;
[0058]【步驟S7】如果0丨8口31'；^7_1￥小于垂直視差閾值1'11￥，并且0丨8口31'；^7_111小于水平視差閾值Thh，則第一計數(shù)器值加I ；如果Disparity_2v小于垂直視差閾值Thv，并且Disparity_2h小于水平視差閾值Thh，則第二計數(shù)器值加I;
[0059]【步驟S8】重復步驟S2?S7，直至判別步驟S7被執(zhí)行了m次；
[0060]【步驟39】若第一計數(shù)器的值大于等于1^111，仏￡(0.5，1])，則檢測到的當前視頻節(jié)目格式為左右3D視頻格式；
[0061 ]【步驟S10】若第二計數(shù)器的值大于等于k*m，(ke (0.5，I ])，則檢測到的當前視頻節(jié)目格式為上下3D視頻格式；
[0062]【步驟S11】若以上兩個計數(shù)器的值都不滿足條件，則檢測到的當前視頻節(jié)目為2D視頻格式。
[0063]實施例二
[0064]一種視頻三維格式自動檢測方法，所述檢測方法包括如下步驟:
[0065]步驟S1.新視頻節(jié)目開始，對第一計數(shù)器、第二計數(shù)器清零；
[0066]步驟S2.獲取一幀圖像，對輸入圖像進行視圖劃分；按左右3D格式化，第一左視圖
(11)在左邊，第一右視圖(12)在右邊;按上下3D格式化，第二左視圖(21)在上邊，第二右視圖(22)在下邊；
[0067]步驟S3.檢測各個子區(qū)域的特征點，采用圖像中的角點作為特征點進行檢測，得到第一左視圖區(qū)域、第一右視圖區(qū)域、第二左視圖區(qū)域、第二右視圖區(qū)域各自的角點集合C11、C12、C21、C22;
[0068]步驟S4.全圖角點集合用集合{C11，C12}近似，判斷該集合中角點數(shù)目是否大于第一預設閾值;若是則認為是有效幀，執(zhí)行步驟S5，否則執(zhí)行步驟S2;
[0069]步驟S5.對角點集合CU與C12、角點集合C21與C22進行特征點匹配;匹配原則根據(jù)特征點匹配對的垂直視差最小原則進行；
[°07°] 步驟S6.根據(jù)角點集合Cl I與Cl2特征點匹配對統(tǒng)計垂直視差Disparity_l V和Disparity_lh，根據(jù)C21與C22特征點匹配對統(tǒng)計垂直視差Disparity_2v和Disparity_2h;[0071 ] 步驟S7.如果Disparity_lv小于垂直視差閾值Thv，并且Disparity_lh小于水平視差閾值Thh，則第一計數(shù)器值增加；如果Di spar ity_2v小于垂直視差閾值Thv，并且Disparity_2h小于水平視差閾值Thh，則第二計數(shù)器值增加；
[0072]步驟S8.重復步驟S2?S7，直至判別步驟S7被執(zhí)行了設定次數(shù)；
[0073]步驟S9.若第一計數(shù)器的值大于等于設定值，則檢測到的當前視頻節(jié)目格式為左右3D視頻格式；
[0074]步驟S10.若第二計數(shù)器的值大于等于設定值，則檢測到的當前視頻節(jié)目格式為上下3D視頻格式；
[0075]步驟SI1.若以上兩個計數(shù)器的值都不滿足條件，則檢測到的當前視頻節(jié)目為2D視頻格式。
[0076]綜上所述，本發(fā)明提出的視頻三維格式自動檢測方法，首先利用了同一視頻節(jié)目格式唯一這一事實條件，只是在每個新節(jié)目時做必要的計算/檢測。
[0077]同時，根據(jù)3D視頻垂直視差和水平視差的特點，通過提取圖像角點的特征點、特征點集匹配的方式來快速估計視差，從而實現(xiàn)格式的初步判斷;再次在時間域上進行多幀投票判別，最后輸出當前視頻節(jié)目的格式，控制顯示裝置按照檢測出來的視頻格式進行播放。使用該方法在保證高的檢測準確率的前提下，大大減少了視頻格式檢測的計算復雜度。使得本發(fā)明的自動檢測視頻節(jié)目格式方法相比現(xiàn)有技術，特別適用于移動設備(平板電腦、筆記本電腦)這類對功耗、制造成本要求非?？量痰南到y(tǒng)。
[0078]這里本發(fā)明的描述和應用是說明性的，并非想將本發(fā)明的范圍限制在上述實施例中。這里所披露的實施例的變形和改變是可能的，對于那些本領域的普通技術人員來說實施例的替換和等效的各種部件是公知的。本領域技術人員應該清楚的是，在不脫離本發(fā)明的精神或本質(zhì)特征的情況下，本發(fā)明可以以其它形式、結構、布置、比例，以及用其它組件、材料和部件來實現(xiàn)。在不脫離本發(fā)明范圍和精神的情況下，可以對這里所披露的實施例進行其它變形和改變。
【主權項】
1.一種視頻三維格式自動檢測方法，其特征在于，所述檢測方法包括如下步驟: 步驟S1.新視頻節(jié)目開始，對第一計數(shù)器、第二計數(shù)器清零； 步驟S2.獲取一幀圖像，對輸入圖像進行視圖劃分;按左右3D格式化，第一左視圖(11)在左邊，第一右視圖(12)在右邊；按上下3D格式化，第二左視圖(21)在上邊，第二右視圖(22)在下邊; 步驟S3.檢測各個子區(qū)域的特征點，采用圖像中的角點作為特征點進行檢測，角點檢測方法采用成熟的SUSAN或者Harris算法;得到第一左視圖區(qū)域、第一右視圖區(qū)域、第二左視圖區(qū)域、第二右視圖區(qū)域各自的角點集合(:11、(:12、021、022; 步驟S4.全圖角點集合用集合{C11，C12}近似，判斷該集合中角點數(shù)目是否大于第一預設閾值;若是則認為是有效幀，執(zhí)行步驟S5，否則執(zhí)行步驟S2; 步驟S5.對角點集合CU與C12、角點集合C21與C22進行特征點匹配;匹配原則根據(jù)特征點匹配對的垂直視差最小原則進行； 步驟S6.根據(jù)角點集合C11與CI 2特征點匹配對統(tǒng)計垂直視差Di spar ity_l V和Dispar ity_lh，根據(jù)C21與C22特征點匹配對統(tǒng)計垂直視差Dispar ity_2v和Dispar ity_2h; 步驟S7.如果Disparity_lv小于垂直視差閾值Thv，并且Disparity_lh小于水平視差閾值Thh，則第一計數(shù)器值加I;如果Disparity_2v小于垂直視差閾值Thv，并且Disparity_2h小于水平視差閾值Thh，則第二計數(shù)器值加I; 步驟S8.重復步驟S2?S7，直至判別步驟S7被執(zhí)行了 m次； 步驟S9.若第一計數(shù)器的值大于等于k*m，(ke (0.5，I])，則檢測到的當前視頻節(jié)目格式為左右3D視頻格式； 步驟S10.若第二計數(shù)器的值大于等于k*m，(ke (0.5，1])，則檢測到的當前視頻節(jié)目格式為上下3D視頻格式； 步驟SI 1.若以上兩個計數(shù)器的值都不滿足條件，則檢測到的當前視頻節(jié)目為2D視頻格式。2.一種視頻三維格式自動檢測方法，其特征在于，所述檢測方法包括如下步驟: 步驟S1.新視頻節(jié)目開始，對第一計數(shù)器、第二計數(shù)器清零； 步驟S2.獲取一幀圖像，對輸入圖像進行視圖劃分;按左右3D格式化，第一左視圖(11)在左邊，第一右視圖(12)在右邊；按上下3D格式化，第二左視圖(21)在上邊，第二右視圖(22)在下邊; 步驟S3.檢測各個子區(qū)域的特征點，采用圖像中的角點作為特征點進行檢測，得到第一左視圖區(qū)域、第一右視圖區(qū)域、第二左視圖區(qū)域、第二右視圖區(qū)域各自的角點集合C11、C12、C2UC22； 步驟S4.全圖角點集合用集合{C11，C12}近似，判斷該集合中角點數(shù)目是否大于第一預設閾值;若是則認為是有效幀，執(zhí)行步驟S5，否則執(zhí)行步驟S2; 步驟S5.對角點集合CU與C12、角點集合C21與C22進行特征點匹配;匹配原則根據(jù)特征點匹配對的垂直視差最小原則進行； 步驟S6.根據(jù)角點集合C11與CI 2特征點匹配對統(tǒng)計垂直視差Di spar ity_l V和Dispar ity_lh，根據(jù)C21與C22特征點匹配對統(tǒng)計垂直視差Dispar ity_2v和Dispar ity_2h; 步驟S7.如果Disparity_lv小于垂直視差閾值Thv，并且Disparity_lh小于水平視差閾值11111，則第一計數(shù)器值增加；如果0丨8卩31'；^7_2￥小于垂直視差閾值1'11￥，并且0丨8卩31'；^7_211小于水平視差閾值Thh，則第二計數(shù)器值增加； 步驟S8.重復步驟S2?S7，直至判別步驟S7被執(zhí)行了設定次數(shù)； 步驟S9.若第一計數(shù)器的值大于等于設定值，則檢測到的當前視頻節(jié)目格式為左右3D視頻格式； 步驟Sl0.若第二計數(shù)器的值大于等于設定值，則檢測到的當前視頻節(jié)目格式為上下3D視頻格式； 步驟SI 1.若以上兩個計數(shù)器的值都不滿足條件，則檢測到的當前視頻節(jié)目為2D視頻格式。3.根據(jù)權利要求2所述的視頻三維格式自動檢測方法，其特征在于: 所述步驟S3中，角點檢測方法采用成熟的SUSAN或者Harris算法。4.根據(jù)權利要求2所述的視頻三維格式自動檢測方法，其特征在于: 所述步驟S7中，如果018口31'；^7_1￥小于垂直視差閾值1'11￥，并且018口31'；^7_111小于水平視差閾值Thh，則第一計數(shù)器值加I ；如果Disparity_2v小于垂直視差閾值Thv，并且Disparity_2h小于水平視差閾值Thh，則第二計數(shù)器值加I; 所述步驟S8中，重復步驟S2?S7，直至判別步驟S7被執(zhí)行了m次； 所述步驟S9中，若第一計數(shù)器的值大于等于k*m，(ke (0.5，I])，則檢測到的當前視頻節(jié)目格式為左右3D視頻格式； 所述步驟SlO中，若第二計數(shù)器的值大于等于k*m，(ke (0.5，I])，則檢測到的當前視頻節(jié)目格式為上下3D視頻格式。
【文檔編號】H04N17/00GK106067966SQ201610374718
【公開日】2016年11月2日
【申請日】2016年5月31日 公開號201610374718.6, CN 106067966 A, CN 106067966A, CN 201610374718, CN-A-106067966, CN106067966 A, CN106067966A, CN201610374718, CN201610374718.6
【發(fā)明人】石巖, 張偉香, 方勇
【申請人】上海易維視科技股份有限公司