立體視頻序列編碼系統(tǒng)和方法
【專利說(shuō)明】
[00011 本申請(qǐng)是申請(qǐng)日為2003年4月9日、中國(guó)申請(qǐng)?zhí)枮?01210361273.X、發(fā)明名稱為"立 體視頻序列編碼系統(tǒng)和方法"的中國(guó)專利申請(qǐng)的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0002] 本發(fā)明一般地涉及一種用于編碼和解碼對(duì)偶節(jié)目（dual program)圖像序列的過(guò) 程和系統(tǒng)，更具體地說(shuō)，本發(fā)明涉及一種用于對(duì)一個(gè)視頻信號(hào)上的圖像序列信號(hào)進(jìn)行壓縮 并解碼所述一個(gè)視頻信號(hào)，以便以多種取景格式(viewing format)，再現(xiàn)兩個(gè)圖像序列節(jié) 目或三維立體節(jié)目的過(guò)程和系統(tǒng)。盡管將參考諸如電影的三維立體節(jié)目的處理過(guò)程對(duì)本發(fā) 明進(jìn)行說(shuō)明，但是應(yīng)該認(rèn)為在本發(fā)明的范圍內(nèi)，可以應(yīng)用于對(duì)任何視頻序列對(duì)進(jìn)行處理，而 不考慮每個(gè)序列的相應(yīng)視頻內(nèi)容的任何差別。應(yīng)該明白，在本說(shuō)明中，正如可互換使用術(shù)語(yǔ) "編碼"和"壓縮" 一樣，可互換使用術(shù)語(yǔ)"解碼"和"解壓縮"。
【背景技術(shù)】
[0003] 自從1947年發(fā)明了立體照相機(jī)，已經(jīng)開(kāi)發(fā)了幾種系統(tǒng)，以通過(guò)再現(xiàn)觀眾的左眼要 觀看的第一節(jié)目序列并再現(xiàn)僅由觀眾的右眼觀看的、同時(shí)相對(duì)于第一圖像序列存在視差 的、同一個(gè)場(chǎng)景圖像的第二序列，從而復(fù)制自然三維視覺(jué)的原理，使觀眾觀看三維（3D)節(jié) 目。從1950年開(kāi)始，制作了許多電影，通過(guò)利用對(duì)偶攝像頭系統(tǒng)攝取時(shí)間同步而具有視差的 立體像，以在再現(xiàn)時(shí)使觀眾感覺(jué)到深度效果，從而提供更完整、刺激的視覺(jué)體驗(yàn)。
[0004] 當(dāng)前，家庭影院系統(tǒng)迅速滲透到家用市場(chǎng)，而且非常復(fù)雜，根據(jù)家庭對(duì)高質(zhì)量電影 體驗(yàn)的需求，普遍使用高質(zhì)量系統(tǒng)。然而，現(xiàn)有的立體再現(xiàn)系統(tǒng)仍不如觀眾所望，而且仍不 能集成到市售的最高級(jí)家庭影院系統(tǒng)中。原因主要在于，圖像質(zhì)量較差(衰落顏色和/或階 梯對(duì)角）以及因?yàn)橥ǔｉW爍和缺少空間真實(shí)感產(chǎn)生的疲勞和不舒服。的確，由于利用用于一 個(gè)視頻節(jié)目放映的設(shè)備，例如電視機(jī)，放映兩個(gè)不同節(jié)目，所以兩個(gè)視頻信號(hào)之間共享技術(shù) 資源導(dǎo)致喪失圖像空間分辨率和閃爍，因?yàn)閷?duì)于每個(gè)眼睛的幀顯示速率以及像域與黑色背 景之間的對(duì)比度降低了一半。
[0005] 現(xiàn)有的典型立體再現(xiàn)技術(shù)包括對(duì)交錯(cuò)視頻信號(hào)的偶數(shù)行掃描場(chǎng)上的第一圖像序 列信息以及該信號(hào)的奇數(shù)行掃描場(chǎng)上的第二圖像序列信息進(jìn)行編碼。在回放時(shí)，在顯示偶 數(shù)行期間，利用遮光眼鏡（shutter spectacle)遮擋觀眾的眼睛之一，而在顯示奇數(shù)行期 間，遮擋觀眾的另一只眼睛。由于通常在兩個(gè)連續(xù)的l/60s的掃描周期內(nèi)，顯示包括偶數(shù)行 和奇數(shù)行的正常圖像，所以每只眼睛分別觀看立體節(jié)目，因?yàn)閘/60s圖像序列之后是l/60s 的截止周期，以使每只眼睛每秒觀看30幀（fps)。此外，通過(guò)使圖像行與黑色行（black line)交替，形成每個(gè)再現(xiàn)圖像。顯然，這樣再現(xiàn)的、喪失了其一半拓?fù)湫畔⒍艺伎找驍?shù)為 50% (在空間和時(shí)間方面)的立體圖像導(dǎo)致亮度降低而且閃爍，正如經(jīng)驗(yàn)已經(jīng)確定的那樣。
[0006] 這些局限性、缺陷以及缺點(diǎn)的解決方案是以至少60fps(每只眼睛每秒觀看30全 幀）的速率顯示整個(gè)立體圖像，這樣所需的帶寬通常至少是非立體(平面)節(jié)目所需信號(hào)帶 寬的兩倍。在在顯示的圖像與環(huán)境照明之間顯示較高對(duì)比度的室內(nèi)，消除閃爍進(jìn)一步要求 最高120Hz的垂直掃描（以及遮光眼鏡)頻率，以便對(duì)每只眼睛每秒顯示至多60全清晰度圖 像。在不廣泛使用這種頻率時(shí)，利用當(dāng)前制造的、每個(gè)分別以30fps的連續(xù)速率接收立體節(jié) 目的第一圖像序列和第二圖像序列的兩個(gè)數(shù)字視頻投影儀，可以無(wú)閃爍顯示立體節(jié)目。利 用光學(xué)方法，對(duì)每個(gè)投影儀的輸出進(jìn)行濾光，以在噴涂銀的特殊屏幕上，以良好時(shí)間同步， 配準(zhǔn)產(chǎn)生垂直和水平偏光輸出投影圖像。觀眾可以佩戴包括不同偏光玻璃的護(hù)目鏡，以表 現(xiàn)三維效果。顯然，該解決方案非常昂貴，而且不能滿足家庭影院系統(tǒng)的市場(chǎng)預(yù)期。
[0007] 然而，現(xiàn)在在市售采用DLP(數(shù)字光處理)技術(shù)的非常快速而且較有力投影儀，該投 影儀可以提供至多120fps的顯示速率，因此一個(gè)投影儀可以以足夠高的速率交替顯示立體 序列，從而即使在高對(duì)比度環(huán)境下，仍可以基本消除閃爍。此外，高端CRT投影儀和計(jì)算機(jī)監(jiān) 視器可以提供這種兼容清晰度和更新率。
[0008] 然而，這種系統(tǒng)的主要局限性在于，用于存儲(chǔ)和廣播視頻節(jié)目信息的大多數(shù)當(dāng)前 標(biāo)準(zhǔn)將全幀圖像的流速限制為30fpS，30bps約是存儲(chǔ)和顯示初始包括兩個(gè)24(美洲運(yùn)動(dòng)圖 像）、25(PAL或SECAM)或30fps(NTSC視頻)節(jié)目的高質(zhì)量立體節(jié)目所要求能力的一半。此外， 由于始終以每秒24幀的速率捕獲和記錄運(yùn)動(dòng)圖像電影，所以必須解決使兩個(gè)24fpb節(jié)目包 括在一個(gè)30fps信號(hào)中，然后為了分別以30至60fps的速率顯示兩個(gè)節(jié)目而擴(kuò)展該信號(hào)，產(chǎn) 生的問(wèn)題。因此，3D家庭影院的未來(lái)取決于根據(jù)當(dāng)前制造的、用于處理利用諸如MAIN提問(wèn)文 件(prof i 1 e)(與MVP相比）的MPEG-1或MPEG-2 (運(yùn)動(dòng)圖像專家組)壓縮/解壓縮協(xié)議的協(xié)議壓 縮和解壓縮的30fps信號(hào)的標(biāo)準(zhǔn)編碼器、播放器以及廣播設(shè)備，編碼和解碼立體視頻信號(hào)的 能力，因此在整個(gè)過(guò)程中產(chǎn)生可忽略不計(jì)的信息丟失或失真。
[0009] 現(xiàn)有技術(shù)中有幾種技術(shù)描述了可以克服上述一個(gè)或者多個(gè)缺陷和局限性的解決 方案。首先，根據(jù)24fbs交錯(cuò)圖像序列，3: 2下拉壓縮方法可以用于產(chǎn)生30fbs立體交錯(cuò)信號(hào)。 利用該方法，通過(guò)建立一個(gè)新圖像并在每4個(gè)原始序列圖像之后插入一個(gè)該新圖像，對(duì)原始 圖像序列進(jìn)行時(shí)間擴(kuò)展。新圖像在一個(gè)域內(nèi)包括偶數(shù)行先前圖像，而在其另一個(gè)域內(nèi)包括 奇數(shù)行的下一個(gè)圖像。顯然，原始節(jié)目的每個(gè)圖像分別包括:第一域，包括部分左視圖像；以 及第二域，包括立體節(jié)目的部分右視圖像。因此，根據(jù)24fps左眼序列和24fps的右眼序列， 可以獲得30fps立體節(jié)目。然而，利用這種技術(shù)，所獲得的30fps節(jié)目過(guò)時(shí)了，而且顯示拓?fù)?失真，因?yàn)閷儆谠诓煌瑫r(shí)間捕獲的圖像的各行的特定圖像的組合。這樣產(chǎn)生糟糕的結(jié)果，缺 少真實(shí)感，而且使觀眾的眼睛疲勞、不舒服。在用于顯示立體節(jié)目時(shí)，這種技術(shù)也存在與上 面對(duì)交錯(cuò)信號(hào)壓縮技術(shù)描述的相同的局限性和缺陷。
[0010]此外，已經(jīng)開(kāi)發(fā)了許多使用互相不兼容并要求不同傳輸(存儲(chǔ)或分配)格式(交錯(cuò) 的列、交錯(cuò)的行、同時(shí)對(duì)偶顯示、頁(yè)閃爍、立體影片等）的不同輸入信號(hào)的立體顯示裝置。在 允許進(jìn)行2D觀看的同時(shí)，使立體視頻節(jié)目進(jìn)入不同系統(tǒng)的解決方案將全部以現(xiàn)有格式同時(shí) 廣播或者存儲(chǔ)在幾個(gè)物理介質(zhì)上。顯然，既不實(shí)際，又不經(jīng)濟(jì)。因此，未來(lái)的家用立體視頻需 要能夠產(chǎn)生與當(dāng)前和未來(lái)立體顯示裝置兼容，并允許正常2D觀看的多種/通用立體輸出格 式的立體視頻信號(hào)和視頻處理設(shè)備。
[0011]許多專利還描述了減小通過(guò)具有30fps能力的一個(gè)頻道承載的2個(gè)30fps信號(hào)的壓 縮技術(shù)，某些這種技術(shù)對(duì)于MPEG壓縮/解壓縮過(guò)程是顯而易見(jiàn)的。然而，這些技術(shù)不能在保 持圖像質(zhì)量并提供舒服觀看感受的同時(shí)，為了產(chǎn)生丟失的幀，將例如24fps序列變換為 30fps，或者將30fps序列變換為48、60、72、96或12(^? 8序列，而根據(jù)需要特征化時(shí)間內(nèi)插。 此外，它們不能由同樣的視頻信號(hào)和視頻處理設(shè)備，產(chǎn)生多種立體輸出格式。
[0012] 例如1997年5月6日授予Muramoto等人的第5,626,582號(hào)美國(guó)專利描述了 一種基于 時(shí)間的壓縮方法，在該方法中，以給定的時(shí)鐘頻率數(shù)字化兩個(gè)30fps視頻信號(hào)并將它存儲(chǔ)到 DRAM存儲(chǔ)器中。然后，以兩倍的寫(xiě)頻率讀該存儲(chǔ)器，可以以1/30的間隔，并置1/30時(shí)間周期 的兩個(gè)采樣。然而，根據(jù)選擇的采樣頻率，最終信號(hào)或者丟失清晰度，因?yàn)樵谝粋€(gè)數(shù)字?jǐn)?shù)據(jù) 上排列兩個(gè)相鄰像素的信息，或者超過(guò)諸如DVD或廣播頻道的數(shù)據(jù)存儲(chǔ)介質(zhì)的容量。該發(fā)明 還不能根據(jù)給定的原始格式，產(chǎn)生多個(gè)輸出格式，而且為了重構(gòu)原始序列需要2個(gè)并聯(lián)電 路。
[0013] 此外，在Briede提交的、于1997年11月20日公開(kāi)的第W0 97/43863號(hào)國(guó)際申請(qǐng)中， 對(duì)根據(jù)圖像的第一序列和第二序列的圖像進(jìn)行十取一處理，并利用2個(gè)連續(xù)原始行的互補(bǔ) 像素，重定向各像素，以形成一行，然后，從左眼和右眼交錯(cuò)新產(chǎn)生的行以形成要通過(guò)頻道 發(fā)送的組合立體圖像序列。在接收端，從立體圖像序列多路分解并列域（juxtaposed field)，然后，將并列域發(fā)送到用于同時(shí)復(fù)原像素并重新產(chǎn)生其相應(yīng)立體視頻序列（右和 左）的丟失圖像單元的并聯(lián)擴(kuò)展電路。然后，將這樣重構(gòu)的第一和第二圖像序列輸出到兩個(gè) 用肉眼觀看的顯示器。
[0014] 盡管這種技術(shù)提供了一種用于空間壓縮/解壓縮全幀的感興趣方法，但是為了利 用有限容量頻道(傳送介質(zhì))進(jìn)行存儲(chǔ)或分布，它未解決將兩個(gè)24或25fps圖像序列變換為 30fps立體序列或者升高回放速率以防止閃爍的問(wèn)題。此外，該方法不允許利用一個(gè)顯示監(jiān) 視器或投影儀，通過(guò)時(shí)間排序重新建立的第一和第二圖像序列，以包括頁(yè)面交換（page flipping)模式的其它立體格式進(jìn)行回放。此外，關(guān)于上面的例子，再要求兩個(gè)并聯(lián)電路對(duì) 兩個(gè)圖像序列進(jìn)行重構(gòu)處理，因?yàn)樵谥貥?gòu)圖像之前，首先必須對(duì)該信號(hào)進(jìn)行第一多路分解。
[0015] 盡管上面的例子說(shuō)明已知用于將兩個(gè)視頻信號(hào)或圖像序列編碼為一個(gè)信號(hào)并用 于解碼這種合成信號(hào)，以順序檢索原始信號(hào)或序列的不同方法和系統(tǒng)，然而，現(xiàn)有技術(shù)的這 些方法和系統(tǒng)沒(méi)有提供，例如根據(jù)滿足3D電影再現(xiàn)的家庭影院市場(chǎng)的需要，利用一個(gè)頻道 和當(dāng)前制造的傳統(tǒng)記錄、回放以及顯示設(shè)備，可以進(jìn)行高保真記錄、廣播和回放兩個(gè)24fps 運(yùn)動(dòng)圖像電影以及25或30fps立體視頻節(jié)目的功能系統(tǒng)的重要特征。
[0016]因此，需要一種可以容易地仍以可承受成本利用現(xiàn)有家庭影院裝置提供高質(zhì)量立 體再現(xiàn)，同時(shí)允許以多種輸出格式回放特定立體視頻傳送信號(hào)的新穎立體節(jié)目編碼和回放 方法和系統(tǒng)。

【發(fā)明內(nèi)容】

[0017] 因此，本發(fā)明的目的是提供一種用于解碼編碼圖像流的方法，所述圖像流包括多 個(gè)幀，每個(gè)幀包括合并圖像，該合并圖像包括左圖像中的像素和右圖像中的像素，該方法包 括步驟：
[0018] (a)接收每個(gè)合并圖像；
[0019 ] (b)將原始輸入信號(hào)中的時(shí)鐘域變更為內(nèi)