專利名稱：一種全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息通訊和視頻處理技術(shù)領(lǐng)域，具體涉及一種全景視頻的法庭庭審轉(zhuǎn) 播監(jiān)督系統(tǒng)。
背景技術(shù)：
案件的公開審理是法庭審判公正性的一種有力保障，庭審應(yīng)該受到民眾的公開監(jiān) 督，這是社會(huì)發(fā)展和司法體系建設(shè)的必然要求。目前，法庭庭審一般都允許普通民眾旁聽， 但是，由于法庭的場所空間限制，所能容納的旁聽席位是非常有限的，往往不能滿足大量民 眾的旁聽需求。另外，對(duì)于一些社會(huì)影響比較廣泛的案件，不同地區(qū)的法律界人士和民眾都 會(huì)非常關(guān)注，但由于地域條件和時(shí)間的限制，很難參與現(xiàn)場庭審，無法實(shí)現(xiàn)及時(shí)的旁聽和監(jiān) 督。隨著電子及通訊技術(shù)的進(jìn)步，特別是互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，視頻監(jiān)控技術(shù)從最 初的模擬閉路電視逐步發(fā)展到目前的數(shù)字網(wǎng)絡(luò)監(jiān)控系統(tǒng)。數(shù)字網(wǎng)絡(luò)監(jiān)控系統(tǒng)的基本原理是 通過攝像機(jī)把場景轉(zhuǎn)化為視頻信號(hào)，并傳輸入視頻數(shù)字編碼器，數(shù)字編碼器則把模擬的視 頻信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)(或者直接采集為數(shù)字視頻信號(hào))，并以一定的編碼方式進(jìn)行編碼， 通過網(wǎng)絡(luò)接入設(shè)備以一定的方式接到傳輸網(wǎng)絡(luò)，傳輸網(wǎng)絡(luò)通過局域網(wǎng)/廣域網(wǎng)將視頻內(nèi)容 進(jìn)行傳播?；谝陨霞夹g(shù)的發(fā)展，目前有些研發(fā)機(jī)構(gòu)相繼提出了庭審網(wǎng)絡(luò)視頻直播技術(shù)，通 過數(shù)字網(wǎng)絡(luò)視頻系統(tǒng)，對(duì)法庭案件的審理過程向公眾進(jìn)行實(shí)時(shí)現(xiàn)場播出，使公眾了解案件 審理的過程，并對(duì)審理的公正性實(shí)現(xiàn)有效的監(jiān)督。這一技術(shù)在很大程度上滿足了公眾異地 及時(shí)旁聽審判過程的需求以及案件審理公開性的要求，但在具體實(shí)現(xiàn)上也還存在著一些亟 待解決的問題。法庭的布局一般分為法官席、原告席、被告席、證人席、旁聽席等，為了給觀眾展現(xiàn) 真實(shí)的庭審效果，需要對(duì)所有環(huán)節(jié)進(jìn)行長時(shí)間不間斷的連續(xù)拍攝，播出時(shí)不能進(jìn)行畫面的 切換和編輯，以避免對(duì)真實(shí)性構(gòu)成影響，所以一般都需要多臺(tái)攝像設(shè)備對(duì)不同方向的坐席 進(jìn)行單獨(dú)取景拍攝，這些現(xiàn)場畫面會(huì)以分屏的形式展現(xiàn)在播出端，異地觀眾往往需要通過 多個(gè)視頻窗口，或者屏幕畫中畫的形式來觀看整個(gè)法庭效果，這樣就會(huì)增加操作的復(fù)雜性， 給觀看帶來很大的不方便?？梢?，法庭庭審視頻的全景展現(xiàn)對(duì)于視頻的現(xiàn)場轉(zhuǎn)播是非常有 必要的，但是，目前的所謂法庭全景視頻圖像往往只是一個(gè)遠(yuǎn)景視頻，不能看到各方向坐席 的細(xì)節(jié)活動(dòng)，不能真正滿足公眾觀看的要求，有待進(jìn)一步加以改進(jìn)。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)庭審視頻轉(zhuǎn)播的需求以及現(xiàn)有技術(shù)的缺陷，提供一種全景 視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，為異地觀看者展現(xiàn)法庭的360度全景，提高觀看效果。本發(fā)明的技術(shù)方案如下一種全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，包括多臺(tái)不同 視角方向的攝像裝置，多臺(tái)攝像裝置分別與視頻服務(wù)器的不同端口連接，視頻終端設(shè)備通 過網(wǎng)絡(luò)系統(tǒng)與視頻服務(wù)器相連接，其中，所述的多臺(tái)攝像裝置分別對(duì)準(zhǔn)法庭庭審現(xiàn)場的幾處固定席位進(jìn)行連續(xù)拍攝，所述的視頻服務(wù)器包括，-視頻流校正模塊，用于對(duì)各臺(tái)攝像裝置輸入的視頻流進(jìn)行圖像校正，消除由鏡頭 所帶來的畸變，并輸出校正后的多個(gè)圖像視頻流的幀序列；-視頻幀拼接模塊，用于將各個(gè)視頻流的同一時(shí)刻的幀一一對(duì)應(yīng)，將同一時(shí)刻的一 組同步視頻 幀進(jìn)行全景拼接；-全景視頻圖像后處理模塊，用于對(duì)拼接后的每幀全景圖像進(jìn)行左、右重疊區(qū)域的 光線一致性調(diào)整，并將拼接后的全景圖像按照時(shí)間順序進(jìn)行排列；-音頻信號(hào)合成模塊，用于對(duì)同一時(shí)刻的每個(gè)視頻幀的音頻軌道所包含的音頻數(shù) 據(jù)進(jìn)行合成，生成統(tǒng)一的音頻信號(hào)數(shù)據(jù)；-視頻流輸出模塊，用于將排列后的各全景圖像幀形成視頻流，進(jìn)行視頻流的輸
出O進(jìn)一步，如上所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其中，所述的攝像裝置為 數(shù)字?jǐn)z像裝置或模擬攝像裝置；如果采用模擬攝像裝置，則模擬攝像裝置通過視頻數(shù)字編 碼器與視頻服務(wù)器連接。更進(jìn)一步，如上所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其中，所述的攝像裝置 設(shè)置在法庭中央偏上方的位置，為具有多個(gè)不同角度攝像頭的數(shù)字?jǐn)z像機(jī)，每個(gè)攝像頭對(duì) 準(zhǔn)法庭的一個(gè)固定席位。進(jìn)一步，如上所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其中，所述的視頻流校正 模塊對(duì)不同時(shí)刻的每個(gè)視頻幀的音頻軌道加入不同的標(biāo)記；所述的視頻幀拼接模塊根據(jù)各 視頻流中每個(gè)視頻幀的音頻軌道的標(biāo)記，來確定同一時(shí)刻的一組同步視頻幀。進(jìn)一步，如上所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其中，視頻幀拼接模塊根 據(jù)各臺(tái)攝像裝置的排序?qū)ο噜彽膬蓚€(gè)視頻幀進(jìn)行依次配準(zhǔn)和拼接。進(jìn)一步，如上所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其中，所述的視頻終端設(shè) 備為PC終端或網(wǎng)絡(luò)電視設(shè)備；如果為PC終端，則PC終端上設(shè)有庭審視頻播放軟件系統(tǒng)，軟 件系統(tǒng)支持屏幕滾動(dòng)功能，可進(jìn)行360度旋轉(zhuǎn)。本發(fā)明的有益效果如下本發(fā)明所提供的系統(tǒng)通過多臺(tái)不同視角方向的攝像機(jī)分 別拍攝法官席、原告席、被告席、證人席、旁聽席等位置的視頻圖像，然后對(duì)同一時(shí)刻的視頻 圖像幀進(jìn)行依次拼接和調(diào)整，并對(duì)音頻數(shù)據(jù)進(jìn)行合成，生成法庭的全景視頻流，這種全景視 頻流可以通過網(wǎng)絡(luò)系統(tǒng)實(shí)時(shí)的進(jìn)行輸出，供不同地域的公眾進(jìn)行觀看，實(shí)現(xiàn)了異地旁聽法 庭庭審的效果，最大限度的保證了案件審理的公開性和透明度，為司法體系的健康發(fā)展提 供了有力的技術(shù)支持。


圖1為本發(fā)明的系統(tǒng)結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)的描述。本發(fā)明是專門針對(duì)法庭庭審的特點(diǎn)，而提出的一種對(duì)庭審現(xiàn)場進(jìn)行實(shí)時(shí)的視頻轉(zhuǎn) 播，通過網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)的傳輸，供廣大公眾在異地進(jìn)行同步旁聽并實(shí)行監(jiān)督的數(shù)字化網(wǎng)絡(luò)視頻轉(zhuǎn)播系統(tǒng)。如圖1所示，該系統(tǒng)包括多臺(tái)不同視角方向的攝像裝置，根據(jù)規(guī)范的庭審現(xiàn) 場的布局，一般應(yīng)包括法官席攝像機(jī)、原告席(或公訴方)攝像機(jī)、被告席攝像機(jī)、證人席攝 像機(jī)、旁聽席攝像機(jī)，多臺(tái)攝像機(jī)分別與視頻服務(wù)器的不同端口連接，將拍攝到的視頻內(nèi)容 以視頻流的形式輸入視頻服務(wù)器，以供視頻服務(wù)器進(jìn)一步加工處理。另外，還可以在法庭中 央偏上方的位置，設(shè)置一個(gè)具有多個(gè)不同角度攝像頭的數(shù)字?jǐn)z像機(jī)，每個(gè)攝像頭對(duì)準(zhǔn)法庭 的一個(gè)固定席位。本發(fā)明中采用的攝像機(jī)可以為數(shù)字?jǐn)z像機(jī)或模擬攝像機(jī)。數(shù)字?jǐn)z像機(jī)的數(shù)字信號(hào) 可以直接輸入視頻服務(wù)器以便后續(xù)利用；如果采用模擬攝像機(jī)，則模擬攝像機(jī)通過視頻數(shù) 字編碼器與視頻服務(wù)器連接，通過數(shù)字編碼器則把模擬的視頻信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。為了能將多臺(tái)攝像機(jī)拍攝的法庭內(nèi)不同位置的視頻圖像合并為一個(gè)全景視頻，視 頻服務(wù)器需要具備如下功能模塊視頻流校正模塊、視頻幀拼接模塊、全景視頻圖像后處理 模塊、音頻信號(hào)合成模塊以及視頻流輸出模塊。下面分別對(duì)各模塊的原理和功能進(jìn)行介紹。 視頻流校正模塊多個(gè)攝像機(jī)從不同的方向拍攝的多個(gè)視頻流分別輸入視頻流校正模塊后，視頻流 校正模塊對(duì)各視頻流圖像分別進(jìn)行圖像校正，消除由鏡頭所帶來的畸變。這種校正技術(shù)一 般在視頻流輸入之前對(duì)各攝像機(jī)進(jìn)行標(biāo)定，將標(biāo)定參數(shù)保存在視頻流校正模塊中，視頻流 輸入后，利用標(biāo)定參數(shù)對(duì)視頻中的每一圖像幀進(jìn)行校正。然后，視頻流校正模塊針對(duì)每個(gè)圖 像視頻流，對(duì)不同時(shí)刻的每個(gè)視頻幀的音頻軌道加入不同的標(biāo)記，來源于不同攝像機(jī)的視 頻流的同一時(shí)刻的視頻幀的標(biāo)記相同，以便后續(xù)的圖像拼接定位使用。標(biāo)記完成后，以幀序 列的形式對(duì)多個(gè)校正后的圖像視頻流進(jìn)行輸出。 視頻幀拼接模塊多個(gè)視頻流的幀序列同時(shí)輸入視頻幀拼接模塊后，在視頻幀拼接模塊里實(shí)現(xiàn)同一 時(shí)刻多幅圖像的整體拼接。此時(shí)的關(guān)鍵技術(shù)是將各個(gè)視頻流的同一時(shí)刻的幀一一對(duì)應(yīng)起 來。由于視頻流校正模塊已經(jīng)對(duì)每個(gè)圖像視頻流的不同時(shí)刻的每個(gè)視頻幀的音頻軌道加入 了不同的標(biāo)記，而且各視頻流同一時(shí)刻的視頻幀的標(biāo)記是相同的，因此，可以據(jù)此判斷哪些 圖像幀是同一時(shí)刻的圖像，從而將同一時(shí)刻的一組同步視頻幀進(jìn)行全景拼接。視頻幀拼接模塊在進(jìn)行圖像拼接時(shí)，主要是根據(jù)各臺(tái)攝像機(jī)的排序?qū)ο噜彽膬蓚€(gè) 攝像機(jī)所提供的視頻幀進(jìn)行依次配準(zhǔn)和拼接，這樣，就形成了一個(gè)能夠反映整個(gè)法庭庭審 現(xiàn)場的全景圖像。拼接后的全景圖像視頻幀按照原來的幀序列順序輸入到全景視頻圖像后 處理模塊。 全景視頻圖像后處理模塊 全景視頻圖像后處理模塊是對(duì)拼接后的全景圖像幀進(jìn)行后續(xù)加工的單元。由于每 一幀完整的全景圖像是由不同的攝像機(jī)針對(duì)不同方向的場景拍攝的圖像拼接而成的，而每 一臺(tái)攝像機(jī)所拍攝的光線可能都不盡相同，因此，拼接后的全景圖像的拼接邊界重疊處往 往會(huì)由于不同的光線效果而呈現(xiàn)明顯的不協(xié)調(diào)，影響視頻的整體效果。全景視頻圖像后處理模塊主要就是對(duì)拼接后的每幀全景圖像進(jìn)行左、右重疊區(qū)域 的光線一致性調(diào)整，這種一致性調(diào)節(jié)的具體方法很多，可以以某一邊界一側(cè)的光線強(qiáng)度為 基準(zhǔn)，然后進(jìn)行順次的一致性修訂，也可以以某個(gè)固定的光線參數(shù)為標(biāo)準(zhǔn)進(jìn)行統(tǒng)一的調(diào)整， 其目的都是最終實(shí)現(xiàn)視覺效果的統(tǒng)一。拼接后的全景圖像就要按照時(shí)間順序進(jìn)行排列，以備輸出。 音頻信號(hào)合成模塊目前普遍使用的數(shù)字?jǐn)z像機(jī)的視頻信號(hào)中一般都帶有專門的音頻軌道，用以傳輸 音頻數(shù)據(jù)。本發(fā)明的多個(gè)攝像機(jī)是同時(shí)采集法庭內(nèi)的音頻信號(hào)，聲音的內(nèi)容應(yīng)該基本一致， 但由于攝像機(jī)針對(duì)的拍攝區(qū)域不同，所以捕捉的音頻信號(hào)內(nèi)容往往會(huì)存在一些差異。音頻 信號(hào)合成模塊將各個(gè)視頻流中的音頻軌道信息的數(shù)據(jù)進(jìn)行提取并進(jìn)行整合，整合時(shí)可以采 用保留最大音頻信號(hào)原則，即將同一時(shí)刻幾個(gè)視頻流的音頻軌道信號(hào)的強(qiáng)度值進(jìn)行比較， 將強(qiáng)度最大的音頻信號(hào)作為輸出結(jié)果，以體現(xiàn)當(dāng)前時(shí)刻法庭上主要的聲音信息。 視頻流輸出模塊視頻流輸出模塊將排列后的各全景圖像幀形成視頻流，并同時(shí)將整合后的音頻信 號(hào)加入音頻軌道，然后進(jìn)行視頻流的輸出。輸出的視頻流文件可以存入網(wǎng)絡(luò)系統(tǒng)所提供的 存儲(chǔ)器中，一方面作為視頻文件的備份，并可以同時(shí)供網(wǎng)絡(luò)用戶隨時(shí)讀取，以全景的角度觀 看法庭庭審的全過程。網(wǎng)絡(luò)用戶所采用的視頻終端設(shè)備可以為PC終端或網(wǎng)絡(luò)電視設(shè)備。網(wǎng)絡(luò)電視一般 不設(shè)置操作系統(tǒng)，只是為觀眾提供大視角的全景圖像，與傳統(tǒng)的遠(yuǎn)景圖像相比視覺效果更 加清晰，法庭庭審的細(xì)節(jié)表現(xiàn)的更加全面生動(dòng)，而且不需要畫面的切換，實(shí)時(shí)性更強(qiáng)，使觀 者有身臨其境的感覺。如果視頻終端設(shè)備采用PC終端，則PC終端上設(shè)有專門的庭審視頻 播放軟件系統(tǒng)，軟件系統(tǒng)支持屏幕滾動(dòng)功能，這樣，用戶就可以通過鼠標(biāo)的簡單操作，使轉(zhuǎn) 播的庭審畫面進(jìn)行滑動(dòng)，實(shí)現(xiàn)真正意義上的360度旋轉(zhuǎn)全景圖像，從而隨時(shí)清晰的捕捉法 庭上的每一個(gè)庭審細(xì)節(jié)，體會(huì)真實(shí)的庭審旁聽感受。本發(fā)明所述的系統(tǒng)并不限于具體實(shí)施方式
中所述的實(shí)施例，本領(lǐng)域技術(shù)人員根據(jù) 本發(fā)明的技術(shù)方案得出其他的實(shí)施方式，同樣屬于本發(fā)明的技術(shù)創(chuàng)新范圍。
權(quán)利要求
一種全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，包括多臺(tái)不同視角方向的攝像裝置，多臺(tái)攝像裝置分別與視頻服務(wù)器的不同端口連接，視頻終端設(shè)備通過網(wǎng)絡(luò)系統(tǒng)與視頻服務(wù)器相連接，其特征在于所述的多臺(tái)攝像裝置分別對(duì)準(zhǔn)法庭庭審現(xiàn)場的幾處固定席位進(jìn)行連續(xù)拍攝，所述的視頻服務(wù)器包括，-視頻流校正模塊，用于對(duì)各臺(tái)攝像裝置輸入的視頻流進(jìn)行圖像校正，消除由鏡頭所帶來的畸變，并輸出校正后的多個(gè)圖像視頻流的幀序列；-視頻幀拼接模塊，用于將各個(gè)視頻流的同一時(shí)刻的幀一一對(duì)應(yīng)，將同一時(shí)刻的一組同步視頻幀進(jìn)行全景拼接；-全景視頻圖像后處理模塊，用于對(duì)拼接后的每幀全景圖像進(jìn)行左、右重疊區(qū)域的光線一致性調(diào)整，并將拼接后的全景圖像按照時(shí)間順序進(jìn)行排列；-音頻信號(hào)合成模塊，用于對(duì)同一時(shí)刻的每個(gè)視頻幀的音頻軌道所包含的音頻數(shù)據(jù)進(jìn)行合成，生成統(tǒng)一的音頻信號(hào)數(shù)據(jù)；-視頻流輸出模塊，用于將排列后的各全景圖像幀形成視頻流，進(jìn)行視頻流的輸出。
2.如權(quán)利要求1所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其特征在于所述的攝像 裝置為數(shù)字?jǐn)z像裝置或模擬攝像裝置。
3.如權(quán)利要求2所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其特征在于所述的攝像 裝置設(shè)置在法庭中央偏上方的位置，為具有多個(gè)不同角度攝像頭的數(shù)字?jǐn)z像機(jī)，每個(gè)攝像 頭對(duì)準(zhǔn)法庭的一個(gè)固定席位。
4.如權(quán)利要求2所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其特征在于采用模擬攝 像裝置時(shí)，模擬攝像裝置通過視頻數(shù)字編碼器與視頻服務(wù)器連接。
5.如權(quán)利要求1或2或3或4所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其特征在于 所述的視頻流校正模塊對(duì)不同時(shí)刻的每個(gè)視頻幀的音頻軌道加入不同的標(biāo)記；所述的視頻 幀拼接模塊根據(jù)各視頻流中每個(gè)視頻幀的音頻軌道的標(biāo)記，來確定同一時(shí)刻的一組同步視 頻幀。
6.如權(quán)利要求1或2或3或4所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其特征在于 視頻幀拼接模塊根據(jù)各臺(tái)攝像裝置的排序?qū)ο噜彽膬蓚€(gè)視頻幀進(jìn)行依次配準(zhǔn)和拼接。
7.如權(quán)利要求1或2或3或4所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其特征在于 所述的視頻終端設(shè)備為PC終端或網(wǎng)絡(luò)電視設(shè)備。
8.如權(quán)利要求7所述的全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)，其特征在于當(dāng)視頻終端 設(shè)備為PC終端時(shí)，PC終端上設(shè)有庭審視頻播放軟件系統(tǒng)，軟件系統(tǒng)支持屏幕滾動(dòng)功能，可 隨鼠標(biāo)操作進(jìn)行360度旋轉(zhuǎn)。
全文摘要
本發(fā)明屬于信息通訊和視頻處理技術(shù)領(lǐng)域，具體涉及一種全景視頻的法庭庭審轉(zhuǎn)播監(jiān)督系統(tǒng)。該系統(tǒng)包括多臺(tái)不同視角方向的攝像裝置，多臺(tái)攝像裝置分別與視頻服務(wù)器的不同端口連接，視頻終端設(shè)備通過網(wǎng)絡(luò)系統(tǒng)與視頻服務(wù)器相連接，其中，所述的視頻服務(wù)器包括視頻流校正模塊、視頻幀拼接模塊、全景視頻圖像后處理模塊、音頻信號(hào)合成模塊以及視頻流輸出模塊。本發(fā)明通過多臺(tái)不同視角方向的攝像機(jī)分別拍攝法庭內(nèi)各位置的視頻圖像，然后對(duì)同一時(shí)刻的視頻圖像幀進(jìn)行依次拼接和調(diào)整，并對(duì)音頻數(shù)據(jù)進(jìn)行合成，生成法庭的全景視頻流，通過網(wǎng)絡(luò)系統(tǒng)實(shí)時(shí)的進(jìn)行輸出，供公眾進(jìn)行觀看，實(shí)現(xiàn)了異地旁聽法庭庭審的效果，最大限度的保證了案件審理的公開性和透明度。
文檔編號(hào)H04N5/262GK101841695SQ20091008036
公開日2010年9月22日 申請(qǐng)日期2009年3月19日 優(yōu)先權(quán)日2009年3月19日
發(fā)明者商文彬, 楊勁松, 蔡常軍, 黃瓊 申請(qǐng)人:新奧特硅谷視頻技術(shù)有限責(zé)任公司