媒體處理方法、媒體處理程序的制作方法

文檔序號：6568682閱讀：222來源：國知局

專利名稱：媒體處理方法、媒體處理程序的制作方法
技術領域：
本發(fā)明涉及使計算機執(zhí)行包括AV數據的解碼處理或編碼處理的媒體處理的媒體處理方法、媒體處理程序。
背景技術：
近年來，執(zhí)行包括AV數據的解碼處理或編碼處理的媒體處理的各種數字家電設備被產品化。有一種將控制用于迸行媒體處理的DSP的軟件模塊做成庫 (library)來利用的技術(例如非專利文獻l)。圖l是表示控制現有技術中的DSP的媒體處理用軟件的結構的框圖。在該圖中，該軟件包括時間管理模塊501、媒體處理控制模塊502、數據變換處理庫504。數據變換處理庫504包括多個庫模塊。各庫模塊以預定的數據單位來處理音頻編碼/解碼、音頻濾波處理、圖像編碼/解碼等。媒體處理控制模塊502通過數據變換API組合需要的庫模塊并調出，從而執(zhí)行各種媒體處理。為了確保實時性，時間管理模塊501管理由媒體處理控制模塊502進行的庫模塊的調出時刻。由此，通過將通用的媒體處理的單位庫模塊化，從而可以再利用軟件。非專利文獻l: Texas Instruments Incorporated, "TMS320 DSP Algorithm Standard Rules and Guidelines (Rev.E) ，，， 17 Oct 2002但是，根據上述現有技術，對于數字電視、便攜終端、數字攝像機、數字電影、DVD錄像機、家庭服務器等不同的產品，需要對每個產品單獨開發(fā)庫模塊的上位軟件模塊，存在開發(fā)效率差的問題。此外，即使對于規(guī)格變更，也需要單獨對應于產品，所以存在難以保證軟件的品質的問題。各產品中的規(guī)格變更考慮如下的因素。(a)根據用戶的愿望，變更再現/停止那樣的宏觀級(level)的控制、l幀/l圖像解碼那樣的微觀級控制那樣的控制粒度的情況，(b) 根據應用程序功能或AV系統結構，追加/變更功能(特殊再現、AV再現中攝像等)的情況、或變更系統控制方式(AV同步、外部輸入輸出控制等)的情況，(c)基于標準版本升級或算法改善等的信號處理方式的變更/追加的情況，(d)通過低成本化、處理效率化、其它硬件沿用等，將一部分功能硬件化的情況。發(fā)明內容本發(fā)明的目的在于，提供一種提高軟件的開發(fā)效率及軟件的品質的媒體處理方法及媒體處理程序。為了解決上述課題，本發(fā)明的媒體處理方法，通過使處理器執(zhí)行多個程序模塊，進行媒體處理，包括第一步驟，通過執(zhí)行第一階層的第一程序模塊，來控制媒體數據的輸入輸出，決定一個以上的調出時刻，并在該時刻調出第一階層之下的第二階層的一個以上的第二程序模塊；第二步驟，通過執(zhí)行第二階層的第二程序模塊，來調出第二階層之下的第三階層的一個以上的第三程序模塊；及第三步驟，通過執(zhí)行第三階虔的第三程序模塊，來使處理器對上述媒體數據執(zhí)行作為媒體處理的最小構成要素的數據變換處理。根據該構成，能夠提高實現媒體處理方法的軟件的開發(fā)效率。艮P，在每個階層，將作用、功能、控制級、接口等標準化，從而擴大軟件模塊的沿用性，由此，提高開發(fā)出的軟件模塊的再利用性，廣泛地將從移動設備到服務器那樣的各種產品為對象，能夠提高軟件的開發(fā)效率。進而，能夠提高上述軟件的設計品質。即，基于階層化將軟件設計思想明確化、通用化，從而提高軟件的理解容易性。此外，通過再利用標準化的軟件結構，能夠提高設計品質。這里，可以是上述第一程序模塊包括第一程序段到第四程序段，上述第一步驟包括指令處理步驟，通過執(zhí)行第一程序段，分析從第一階層之上的階層的主機程序來的指令；定時決定步驟，通過執(zhí)行第二程序段，根據所分析的指令來決定第三程序段的動作定時和一個以上的上述調出時刻；輸入輸出控制步驟，通過執(zhí)行第三程序段，根據上述動作定時來控制媒體數據的輸入輸出；及第一調出步驟，通過執(zhí) 行第四程序段，在一個以上的調出時刻調出第二程序模塊。這里，可以是第一程序段通過第一應用程序接口來接收指示媒體處理的開始、停止或暫停的上述指令。這里，可以是上述第二程序模塊包括第五程序段到第七程序段，上述第二步驟包括通過執(zhí)行第五程序段，從第一程序模塊接收處理對象的數據的步驟；第二調出步驟，通過執(zhí)行第六程序段，對所接收的處理對象數據依次調出一個以上的第三程序模塊；及發(fā)送步驟，通過執(zhí)行第七程序段，從調出的第三程序模塊向第一程序模塊發(fā)送數據變換結果。這里，可以是在第二步驟中，通過執(zhí)行第二程序模塊，對于輸入數據依次調出一個以上的第三程序模塊，將其結果返回到第一程序模塊，在第一步驟中，通過執(zhí)行第一程序模塊，控制從第二程序模塊返回的數據的輸出。在此，在上述第一調出步驟中，可以指定上述一個以上的第三程序模塊。這里，在上述第一調出步驟中，可以指定上述一個以上的第三程序模塊的動作參數。在此，在上述第一調出步驟中，可以指定上述一個以上的第三程序模塊的執(zhí)行順序。根據上述構成，能夠靈活地對應各種產品中的變更，能夠提高程序模塊的通用性。例如，能夠容易地對應控制粒度的變更。即，能夠對于再現/停止那樣的宏觀級控制、或1幀/1圖像解碼那樣的微觀級控制那樣的每個控制粒度容易地進行變更。此外，能夠容易地對應依存于作為主機的應用程序的功能或系統構成的控制方式的變更。根據應用功能或系統構成，將追加/變更了功能(特殊再現、AV再現中攝像等)的情況或系統控制方式(AV同步、外部輸入輸出控制等)的情況的影響局部化。進而，能夠容易地對應于AV編碼的標準或AV信號處理方式的變更或追加。即，將基于標準版本升級或算法改善等的信號處理方式的變更和追加的影響局部化。此外，能夠容易地對應于一部分功能的硬件化。通過低成本化、處理效率化、向其它軟件的沿用等，能夠將與一部分功能硬件化的情況對應的軟件的影響局部化為與一部分功能對應的程序模塊，能夠最小限度地抑制軟件的變更。此外，本發(fā)明的程序，為了進行媒體處理而由處理器執(zhí)行，包括: 第一階層的第一程序模塊，控制媒體數據的輸入輸出，決定一個以上的調出時刻，并在該調出時刻調出屬于第一階層之下的第二階層的一個以上的第二程序模塊；第二階層的第二程序模塊，調出第二階層之下的第三階層的一個以上的第三程序模塊；及第三階層的一個以上的第三程序模塊，使處理器對上述媒體數據執(zhí)行作為媒體處理構成要素的數據變換。本發(fā)明的效果如下如上所述，根據本發(fā)明的媒體處理方法及程序，能夠提高實現媒體處理方法的軟件的開發(fā)效率。此外，能夠提高軟件的設計品質。能夠靈活對應各種產品中的變更，能夠提高程序模塊的沿用性。

圖1是表示現有技術中的控制DSP的媒體處理用媒體的構成的框圖。圖2是表示實施方式中的媒體處理用系統LSI的構成的框圖。圖3A是表示控制媒體處理器的軟件的構成的框圖。圖3B是表示控制媒體處理器的軟件的構成的一例的框圖。圖4是表示媒體模塊層的程序模塊的構成的框圖。圖5是表示媒體控制層的程序模塊的構成的框圖。圖6是表示媒體模塊層的程序模塊(音頻再現MM)的構成例的框圖。圖7是表示媒體控制層的程序模塊(音頻再現MC)的構成例的框圖。圖8是表示媒體模塊層的程序模塊(音頻錄音MM)的構成例的框圖。圖9是表示媒體控制層的程序模塊(音頻錄音MC)的構成例的框圖。圖10表示媒體控制層的程序模塊(復用MC)的構成例的框圖。圖ll表示媒體控制層的程序模塊(復用分離MC)的構成例的框圖。圖12表示媒體模塊層的程序模塊(視頻再現MM)的構成例的框圖。圖13表示媒體控制層的程序模塊(視頻再現MC)的構成例的框圖。圖14表示媒體模塊層的程序模塊(視頻錄像MM)的構成例的框圖。圖15表示媒體控制層的程序模塊(視頻錄像MC)的構成例的框圖。圖16是表示應用了本發(fā)明的媒體處理方法的家電產品的具體例子的圖。圖17是表示應用了本發(fā)明的媒體處理方法的音頻再現裝置的構成的框圖。圖18是表示應用了本發(fā)明的媒體處理方法的音頻錄音裝置的構成的框圖。圖19是表示應用了本發(fā)明的媒體處理方法的視頻再現裝置的構成的框圖。圖20是表示應用了本發(fā)明的媒體處理方法的視頻錄像裝置的構成的框圖。圖21是表示應用了本發(fā)明的媒體處理方法的視頻再現裝置的構成的框圖符號說明11CPU12媒體處理器13數據流i/o部14存儲器控制部15AV 1/0部16存儲器21調諧器22光盤23硬盤24存儲卡25顯示器26攝像機30主機100設備控制級API101MM層程序模塊101a音頻再現MM101b音頻錄音MM101d視頻再現MM101e視頻錄像MM102指令處理部103時間管理部104數據輸入輸出控制部105媒體數據變換控制部200媒體數據變換API201MC層程序模塊201c音頻再現MC201d音頻錄音MC201e復用MC201f復用分離MC201i視頻再現MC201j視頻錄像MC202數據接收部203數據發(fā)送部204參數接收部205媒體數據變換部300單純數字變換API301ML層程序模塊具體實施方式
對本發(fā)明的實施方式的媒體處理方法、裝置及程序進行說明。首先，對進行媒體處理的硬件結構進行說明。圖2是表示實施方式中的媒體處理用系統LSI的構成的框圖。在該圖中，系統LSI 10具備CPU 11、媒體處理器12、數據流I/O部13、存儲器控制部14、 AV I/O部15。CPU ll對系統LSI IO與外部的指令收發(fā)、媒體處理器12的控制等系統LSI 10整體進行控制。媒體處理器12在CPU 11的控制下進行媒體處理。媒體處理包括聲音的編碼處理、聲音的解碼處理、動圖像的編碼處理、動圖像的解碼處理、可視電話處理等。數據流I/0 部13輸入輸出數據流數據。數據流數據的輸入輸出例如是來自外部的調諧器21的數據流數據輸入、與光盤22、硬盤23或存儲卡24之間的數據流輸入輸出等。存儲器控制部14控制對存儲器16的存取。 AV 1/0部15輸入輸出AV (Audio、 Video)數據。AV數據的輸入輸出例如是對顯示器25的AV數據輸出、來自攝像機26的AV數據輸入等。存儲器16存儲CPUU及媒體處理器12的軟件、AV數據、數據流數據、或媒體處理中的中間數據等。圖3A是表示控制媒體處理器12的軟件的構成的框圖。該軟件是實現媒體處理器12中的媒體處理的程序，分為媒體模塊層、媒體控制層、媒體庫層這3個階層。這里，"階層"是實現某種功能并向上層提供其接口的程序模塊的集合體。階層之間由明確的API (Application Programming Interface:應用程序設計接口)分離。將該圖中的階層之間的API稱為設備控制級API100、媒體數據變換API200、單純數據變換API300。該圖中的媒體模塊層包括MM(MediaModule:媒體模塊) 層程序模塊101a。媒體控制層包括MC (Media Controller:媒體控制) 層程序模塊201a、 202b。媒體庫層包括ML (Media Library)層程序模塊301a 301f。媒體模塊層利用媒體控制層實現AV再現、TV電話、音頻錄音等獨立的媒體處理功能。媒體模塊層包括一個以上的MM層程序模塊(簡稱為媒體模塊(MM))。MM層程序模塊101a實現與CPU ll的接口、基于媒體控制層的啟動定時控制的實時處理保證、外部輸入輸出等的功能。在MM層程序模塊中，例如如圖3B所示，有用于音頻再現的MM層程序模塊(稱為音頻再現媒體模塊)、用于AV數據的再現的MM層程序模塊(稱為AV 再現媒體模塊。)、用于聲音通話的MM層程序模塊(稱為聲音通話媒體模塊)等。媒體控制層利用媒體庫層向媒體模塊層提供對音頻、視頻等每個域定義的基本媒體處理功能。媒體控制層包括一個以上的MC層程序模塊(簡稱為媒體控制器(MC))。MC層程序模塊201a、 202b分別進行媒體庫之間的序列控制、排他控制、資源管理等。此外，吸收每個媒體庫的不同，向媒體模塊層提供統一的接口。在MC層程序模塊中，例如如圖3B所示，有用于音頻再現的MC層程序控制器(稱為音頻再現媒體控制器)、用于AV數據的再現的MC層程序控制器(稱為AV再現媒體控制器。)、用于聲音通話的MC層程序控制器(稱為聲音通話媒體控制器)等。媒體庫層以其本身實現編碼解碼、過濾等獨立的最小限度的媒體處理功能。ML層程序模塊301a 301傳，通過媒體處理器實現該最小限度的媒體處理功能。該最小限度的媒體處理功能是本實施方式中的媒體處理功能的最小單位。在ML層程序模塊中，例如如圖3B所示，有AAM音頻解碼用的ML層庫(稱為AAC解碼媒體庫)、MPEG2的AV 數據的再現用的ML層庫(稱為MPEG2解碼媒體庫)、用于聲音通話的ML層程序控制器(稱為G.726媒體庫)等。圖4是表示媒體模塊層的程序模塊的構成的框圖。MM層的所有程序模塊的控制粒度及API被統一，所以在該圖中表示多個種類的MM層程序模塊101的代表性的構成。MM層程序模塊101包括指令處理部 102、時間管理部103、數據輸入輸出控制部104、媒體數據變換控制部105。指令處理部102提供主機用于利用媒體處理功能的接口。具體地，進行與主機CPU應用之間的指令數據的收發(fā)處理、指令分析、媒體模塊的狀態(tài)管理、主機CPU—媒體處理器之間的控制參數管理。此外，如上所述，MM層程序模塊101將媒體處理的開始、停止、或暫停等的粗粒度的非實時控制作為基本。指令處理部102處理非實時的與主機的通信，與下層的實時處理進行分離。由此，由指令處理部102吸收來自主機的指令、控制定時的變更產生時的影響，能夠降低向下層的影響。換言之，從主機向指令處理部102的API，能夠依存于安裝了系統LSI的系統而變化。這時，即使從指令處理部102向時間管理部103的接口，其系統要件相同，也不變化。時間管理部103根據由指令處理部102分析的指令來決定數據輸入輸出控制部104的動作定時，對于來自媒體數據變換控制部105的 MC層程序模塊201的調出，決定其調出時刻。該調出時刻是幀的每個周期的時刻。這里，所謂"幀"，在視頻數據中是構成動畫的l張圖像，在音頻數據中指預定數量(例如1024)的采樣數據的集合。由此，時間管理部103控制數據輸入輸出控制部104及媒體數據變換控制部 105的動作定時來保證實時性。此外，在如AV再現等那樣所請求的媒體處理功能跨越音頻、視頻等多個領域時，時間管理部103使這些多個領域之間同步。數據輸入輸出控制部104根據由時間管理部103決定的動作定時，控制對MC層程序模塊201的媒體數據的輸入輸出。例如，在MM層程序模塊101是音頻再現媒體模塊的情況下，數據輸入輸出控制部104控制從數據流I/0部13向音頻再現媒體模塊輸入編碼音頻數據、和從音頻再現媒體模塊向AVI/0部15輸出解碼音頻數據。媒體數據變換控制部105在由時間管理部103決定的調出時刻，調出MC層程序模塊2(H。例如，在MM層程序模塊101是AV數據再現媒體模塊的情況下，如圖12所示，媒體數據變換控制部105調出用于從數據流中分離音頻數據和視頻數據的分離用MC層程序模塊201e、音頻再現用的MC層程序模塊201f、視頻再現MC程序模塊201g。圖5是表示媒體控制層的程序模塊的結構的框圖。MC層的所有程序模塊，其控制粒度及API被統一，所以在該圖中表示多種MC層程序模塊201的代表性的構成。該MC層程序模塊201具備數據接收部202、數據發(fā)送部203、參數接收部204、媒體數據變換部205。數據接收部202從MM層程序模塊101接收處理對象的輸入數據。數據發(fā)送部203將來自ML層程序模塊301的數據變換結果，作為輸出數據向MM層程序模塊101發(fā)送。參數接收部204從MM層程序模塊101，接收多個ML層程序模塊 301的指定、該調出順序的指定、各ML層程序模塊301的動作參數的指定等。媒體數據變換部205為了處理由數據接收部202接收的輸入數據，依次調出多種ML層程序模塊301g 301i等，并向數據發(fā)送部203移交最終的數據處理結果。這時，各ML程序模塊301的處理結果被移送到下一個被調出的ML程序模塊301。例如，MC層程序模塊201是音頻再現媒體控制器201c的情況下，如圖7所示地依次調出音頻解碼處理模塊庫 301j、音頻濾波模塊庫301k、音頻濾波模塊模塊庫3011。并且，參數接收部204接收的上述指定內容可以省略其一部分或全部。省略的情況下，媒體數據變換部205c可以使用預先設定的默認數據。圖6是表示媒體模塊層的程序模塊(音頻再現MM)的構成例的框圖。該圖的音頻再現MM101b是與圖4所示的MM層程序模塊101相同的構成，被設計成音頻再現用。指令處理部102b接收、分析與音頻再現有關的指令。時間管理部 103b決定音頻數據輸入輸出控制部104b的動作定時、及每個音頻幀周期的調出時刻。接收該決定，音頻數據輸入輸出控制部104b控制來自數據流I/0部13的編碼音頻數據的輸入和向AV 1/0部15輸出解碼音頻數據。媒體數據變換控制部105b在調出時刻調出音頻再現MC201c。根據該構成，音頻再現MM101b從主機接收再現、停止、設定等動作指令，使狀態(tài)轉移的同時，基于狀態(tài)進行向音頻再現媒體控制器的指示。在再現狀態(tài)中，以一定時間間隔對音頻再現媒體控制器進行幀再現指示(自律動作)。一并向音頻再現媒體控制器供給來自主機的編碼數據。圖7是表示媒體控制層的程序模塊(音頻再現MC)的構成例的框圖。該圖的音頻再現MC201c的結構與圖5所示的MC層程序模塊201相同，被設計成用于音頻再現。在該圖中，數據接收部202c從音頻再現 MM101b接收編碼音頻數據(音頻編碼數據)。數據發(fā)送部203c發(fā)送音頻數據(音頻再現數據)。參數接收部204c從音頻再現MM101b，接收多個ML層程序模塊 301 (音頻解碼模塊301j、音頻濾波模塊301k、音頻濾波模塊3011)的指定、其調出順序的指定、它們的動作參數的指定等。媒體數據變換部205c具備音頻解碼處理模塊調出部205cl 、音頻濾波模塊調出部205c2。音頻解碼處理模塊調出部205cl調出對媒體庫層的編碼音頻數據進行解碼的音頻解碼模塊301j。音頻濾波模塊調出部 205c2調出對來自音頻解碼模塊301j的解碼音頻數據實施第一階段的濾波處理的音頻濾波模塊301k，接著調出對第一階段的濾波處理后的音頻數據實施第二階段的濾波處理的音頻濾波模塊3011。根據該構成，音頻再現MC201c當從音頻再現媒體模塊接收l幀再現指示時，取得編碼數據，進行解碼、濾波處理，輸出1幀的PCM數據并停止(l次動作)。實際的解碼、濾波處理分別調出執(zhí)行音頻解碼庫、音頻濾波庫。此外，音頻解碼庫通過從媒體控制器調出函數而同步啟動，進行MP3或AAC等的1幀的解碼處理。圖8是表示媒體模塊層的程序模塊(音頻錄音MM)的構成例的框圖。該圖的音頻錄音MM101c的結構與圖4所示的MM層程序模塊101相同，被設計成用于音頻錄音。指令處理部102接收與音頻錄音有關的指令進行分析。時間管理部103c決定音頻數據輸入輸出控制部104c的動作定時和音頻幀周期的調出時刻。接收該決定，音頻數據輸入輸出控制部104c控制來自AV 1/0部15的音頻數據的輸入和向數據流I/0部13的編碼音頻數據的輸出。媒體數據變換控制部105c在調出時刻調出音頻錄音MC201d。圖9是表示媒體控制層的程序模塊(音頻錄音MC)的構成例的框圖。該圖的音頻錄音MC201d的結構與圖5所示的MC層程序模塊201相同，被設計成用于音頻錄音。在該圖中，數據接收部202d從音頻錄音 MM101c接收音頻數據(音頻輸入數據)。數據發(fā)送部203d向音頻錄音MM101c發(fā)送編碼音頻數據(音頻編碼數據)。參數接收部204d從音頻錄音MM101c，接收多個ML層程序模塊 301 (音頻濾波模塊301m、音頻濾波模塊301m、音頻編碼模塊3(Uo)的指定、它們的調出順序的指定、它們的動作參數的指定等。媒體數據變換部205d具備音頻濾波模塊調出部205dl和音頻編碼處理模塊調出部205d2。音頻濾波模塊調出部205dl調出對音頻數據實施第一階段的濾波處理的音頻濾波模塊301m，接著調出對第一階段的濾波處理后的音頻數據實施第二階段的濾波處理的音頻濾波模塊 301m。音頻編碼處理模塊調出部205d2調出對第二階段的濾波處理之后的音頻數據進行編碼的媒體庫層的音頻編碼模塊301j。圖10表示媒體控制層的程序模塊(復用MC)的構成例的框圖。該圖的復用MC201e的結構與圖5所示的MC層程序模塊201相同，被設計成對多個數據進行復用的復用用。數據接收部202e從AV數據編碼 MM等接收編碼音頻數據、編碼視頻數據等多個輸入數據。數據接收部203e向AV數據編碼MM等發(fā)送復用數據。參數接收部204e從視頻錄像MM等接收ML層程序模塊301 (復用處理模塊301p)的指定、其動作參數的指定等。媒體數據變換部205e重復調出復用處理模塊301p。圖ll表示媒體控制層的程序模塊(復用分離MC)的構成例的框圖。該圖的復用分離MC201啲結構與圖5所示的MC層程序模塊201相同，被設計成分離復用數據的分離用。數據接收部202f從視頻再現 MM101d等接收復用數據。數據接收部203f向視頻再現MM101d等發(fā)送被分離的各個輸出數據。參數接收部204f從視頻再現MM等，接收ML 層程序模塊301 (分離處理模塊301q)的指定、其動作參數的指定等。媒體數據變換部205虔復調出分離處理模塊301q。圖12表示媒體模塊層的程序模塊(視頻再現MM)的構成例的框圖。該圖的視頻再現MM101d是與圖4所示的MM層程序模塊101相同的構成，被設計成視頻再現用。指令處理部102d接收、分析與視頻再現有關的指令。時間管理部103d決定AV數據輸入輸出控制部104d的動作定時、音頻幀周期的調出時刻及視頻幀周期的調出時刻。接收該決定，AV數據輸入輸出控制部104d控制來自數據流I/0部13的AV數據的輸入和向AVI/0部15輸出解碼音頻數據及解碼視頻數據。媒體數據變換控制部105d具備分離處理控制部105dl和AV再現數據生成控制部 105d2。分離處理控制部105dl周期性地調出分離處理MC201f。八V再現數據生成控制部105d2分別在調出時刻調出音頻再現MC201c和視頻再現MC201i。圖13表示媒體控制層的程序模塊(視頻再現MC)的構成例的框圖。該圖的視頻再現MC201i的結構與圖5所示的MC層程序模塊201相同，被設計成用于視頻再現。在該圖中，數據接收部202i從視頻再現 MM101d接收編碼視頻數據(視頻編碼數據)。數據發(fā)送部203i發(fā)送視頻數據(視頻再現數據)。參數接收部204i從視頻再現MM101d，接收多個ML層程序模塊 301 (視頻解碼模塊301r、視頻濾波模塊301s、視頻濾波模塊301t)的指定、其調出順序的指定、它們的動作參數的指定等。媒體數據變換部205i具備視頻解碼處理模塊調出部205il、視頻濾波模塊調出部205i2。視頻解碼處理模塊調出部205il調出對媒體庫層的編碼視頻數據進行解碼的視頻解碼模塊301r。視頻濾波模塊調出部 205i2調出對來自視頻解碼模塊301r的解碼視頻數據實施第一階段的濾波處理的視頻濾波模塊301s，接著調出對第一階段的濾波處理后的視頻數據實施第二階段的濾波處理的視頻濾波模塊301t。圖14表示媒體模塊層的程序模塊(視頻錄像MM)的構成例的框圖。該圖的視頻錄像MM101e的結構與圖4所示的MM層程序模塊101 相同，被設計成用于視頻錄像。指令處理部102e接收與視頻再現有關的指令迸行分析。時間管理部103e決定AV數據輸入輸出控制部104e的動作定時和音頻幀周期的調出時刻及視頻幀周期的調出時刻。接收該決定，AV數據輸入輸出控制部104e控制來自AVI/O部15的音頻數據及視頻數據的輸入和向數據流I/0部13的AV數據的輸出。媒體數據變換控制部05e具備AV編碼數據生成控制部105el和復用處理控制部 105e2。AV編碼數據生成控制部105el在各調出時刻調出音頻錄音 MC201h和視頻錄像MC201i。復用處理控制部105e2周期性地調出復用處理MC201j。圖15表示媒體控制層的程序模塊(視頻錄像MC)的構成例的框圖。該圖的視頻錄像MC201j的結構與圖5所示的MC層程序模塊201相同，被設計成用于視頻錄像。在該圖中，數據接收部202j從視頻錄像 MM101e接收視頻數據(視頻輸入數據)。數據發(fā)送部203j向視頻錄像MM101e發(fā)送編碼視頻數據(視頻編碼數據)。參數接收部204j從視頻錄像MM101e，接收多個ML層程序模塊 301 (視頻濾波模塊301u、視頻濾波模塊301v、視頻編碼模塊301w)的指定、它們的調出順序的指定、它們的動作參數的指定等。媒體數據變換部205j具備視頻濾波模塊調出部205jl和視頻編碼處理模塊調出部205j2 。視頻濾波模塊調出部205j 1調出對視頻數據實施第一階段的濾波處理的視頻濾波模塊301u，接著調出對第一階段的濾波處理后的視頻數據實施第二階段的濾波處理的視頻濾波模塊 301v。視頻編碼處理模塊調出部205j2調出對第二階段的濾波處理之后的視頻數據進行編碼的媒體庫層的視頻編碼模塊301w。接著，對圖3A所示的設備控制級API IOO進行說明。對主機的應用提供作為媒體處理系統的接口。主機的應用使用該接口來控制媒體模塊。設備控制級API100的主要功能是進行來自主機的控制指令、數據流數據的收發(fā)處理和媒體模塊層的控制。該處理內容是(a)來自主機的指令處理、數據流數據處理及其響應處理、(b)媒體模塊的狀態(tài)管理或控制參數管理。在MM層程序模塊101中，對(a)配合媒體模塊內部狀態(tài)來分析控制指令，進行控制，關于數據流數據僅進行收發(fā)處理。此外，對于(b)，作為媒體模塊的接口規(guī)格管理對主機應用程序提供的狀態(tài)轉移和控制參數。控制參數還進行變換為在參數接收部204中使用的內部參數的變換。設備控制級API IOO從主機以媒體模塊單位啟動，所以由至少一個以上的線程(thread)構成。構成媒體模塊的線程數量依存于系統。來自主機的指令作為事件通知。因此，設備控制級API IOO進行事件驅動型的動作。事件接收部進行考慮了內部狀態(tài)的事件分析和基于分析結果的下層的控制。這里所說的"事件"，有主機指令、流水線(pipeline) 通知、內部事件。主機指令是從主機CPU經由指令流水線通知的消息。流水線通知是在從主機CPU向數據流流水線發(fā)送了數據時通知的事件。內部事件有媒體處理器內部的線程間通信消息，中斷通知等。此外，所謂"事件分析"是指從事件種類、內部狀態(tài)來判斷應進行的處理的分析。如以上說明那樣，根據本發(fā)明的媒體處理方法，第一，可以提高軟件開發(fā)效率。即，對每個階層將作用、功能、控制級、接口標準化，從而擴大軟件模塊的沿用性。由此，提高所開發(fā)的軟件模塊的再利用性，實現廣泛地以從移動體到服務器的產品為目標的整個領域的開發(fā) 效率的提高。第二，能夠提高軟件的設計品質。即，通過使軟件設計思想明確、通用化，從而提高軟件的易理解性。此外，通過再利用標準化的軟件結構，提高設計品質。第三，對于媒體處理部分的階層結構的定義，特別地留意媒體處理器特有的變更因素，通過定義對這些因素的抗性較高的軟件階層，從而能夠提高軟件模塊的沿用性。主要的變更因素有控制粒度的變更、控制方式的變更、AV信號處理方式的變更、一部分功能的硬件化等。根據本發(fā)明的媒體處理方法，對于這些變更因素也能夠靈活地對應，能夠提高程序模塊的沿用性。例如，能夠容易地對應控制粒度的變更。即，能夠容易變更再現/停止那樣的宏觀級控制、l幀/l圖像解碼那樣的微觀級控制的每個控制粒度。并且，對依存于成為主機的應用的功能或系統構成的控制方式的變更也能夠容易地對應。根據應用功能或系統構成，能夠將追加/變更了功能(特殊再現、AV再現中攝像等)的情況或變更了系統控制方式(AV同步、外部輸入輸出控制等) 的情況下的影響局限化。進而，能夠容易地對應于基于AV編碼的標準或處理方式的AV信號處理方式的變更或追加。即，將基于標準版本升級或算法改善等的信號處理方式的變更、追加的影響局限化。此外，能夠容易地對應于一部分功能的硬件化。通過低本成化、處理高效化、其它硬件的沿用等，將與對一部分功能進行硬件化的情況對應的軟件的影響局限在對應于一部分功能的程序模塊中，能夠最小限度地抑制軟件的變更。以下，對應用了本發(fā)明的媒體處理方法的產品的具體例子進行說明。圖16是表示應用了本發(fā)明的媒體處理方法的家電產品的具體例子的圖。如該圖所示，本發(fā)明的媒體處理方法或媒體處理程序應用于小型音頻播放機41、便攜電話42、音響組合43、數字電視44、數字視頻錄像機45、車載導航系統46、數字電影47等。對于這些各種家電產品，圖3A所示的MM層程序模塊101、 MC程序模塊201、媒體庫301a 等的各程序模塊能夠靈活對應。這些程序模塊在各種家電產品之間具有較高的沿用性。圖17是表示應用了本發(fā)明的媒體處理方法的音頻再現裝置4a的構成的框圖。該圖的音頻再現裝置4a具備數據存儲部401a、數據讀取部 402a、數據輸出部403a、指示輸入部404a、設備控制部405a及音頻再現部406a。若比較該圖與圖2，數據存儲部401a對應于光盤22、硬盤23 或存儲卡24。數據讀取部402a對應于數據流I/O部13。數據輸出部403a 對應于AVI/0部15。設備控制部405a對應于CPU11。音頻再現部406a 的硬件構成與媒體處理器12對應。音頻再現部406a的軟件構成與圖6 的音頻再現MM101b、圖7的音頻再現MC201c及媒體庫301j 3011對應。數據存儲部401a存儲有編碼音頻數據。數據讀取部402a從數據存儲部401a讀取編碼音頻數據，供給音頻再現部406a。數據輸出部403a向外部裝置輸出由音頻再現部406a生成的解碼音頻數據。指示輸入部404a接收來自用戶的指示。設備控制部405a基于由指示輸入部404a接收的指示，對音頻再現部406a指示音頻再現的開始、結束或暫停。音頻再現部406a通過如下的(a) (c)，進行將編碼音頻數據變換成解碼音頻數據的媒體處理。(a)音頻再現部406a執(zhí)行第一階層的第一程序模塊(這里，圖6的音頻再現MM101b)。由此，音頻再現部 406a控制通過數據讀取部402a讀取出的編碼音頻數據的輸入和向數據輸出部403a的解碼音頻數據的輸出，決定第二程序模塊(這里是圖7 的音頻再現MC201c)的調出時刻，在該時刻調出第二階層的第二程序模塊。(b)音頻再現部406a通過執(zhí)行調出的第二程序模塊，從而調出第三階層的第三程序模塊(這里，媒體庫301h3011等)。(c)音頻再現部406a執(zhí)行調出的第三程序模塊，從而進行將所輸入的編碼音頻數據變換成解碼音頻數據的媒體處理。這樣，通過音頻再現部406a執(zhí)行圖3A所示的3階層的程序模塊，為了音頻再現，進行將編碼音頻數據解碼的媒體處理。圖18是表示應用了本發(fā)明的媒體處理方法的音頻錄音裝置4b的構成的框圖。該圖的音頻錄音裝置4b具備數據存儲部401b、數據寫入部402b、數據輸入部403b、指示輸入部404b、設備控制部405b及音頻錄音部406b。若比較該圖與圖2，數據存儲部401b對應于光盤22、硬盤 23或存儲卡24。數據寫入部402b對應于數據流I/O部13。數據輸入部 403b對應于AVI/0部15。設備控制部405b對應于CPU 11。音頻錄音部 406b的硬件構成與媒體處理器12對應。音頻錄音部406b的軟件構成與圖8的音頻錄音MM101c、圖9的音頻錄音MC201d及媒體庫301m 3(Ho 對應。數據存儲部401b用于存儲編碼音頻數據。數據寫入部402b將從音頻錄音部406b輸出的編碼音頻數據，寫入數據存儲部401b。數據輸入部403b從外部裝置取得音頻數據，向音頻錄音部406b輸出。指示輸入部404b接收來自用戶的指示。設備控制部405b基于由指示輸入部404b接收的指示，對音頻錄音部406b指示音頻錄音的開始、結束或暫停。音頻錄音部406b通過如下的(a) ~ (c)，進行將音頻數據變換成編碼音頻數據的媒體處理。(a)音頻錄音部406b執(zhí)行第一階層的第一程序模塊(這里，圖8的音頻錄音MM101c)。由此，音頻錄音部406b 控制來自數據輸入部403b的音頻數據的輸入和向數據寫入部402b的編碼音頻數據的輸出，決定第二程序模塊(這里是圖9的音頻錄音 MC201d)的調出時刻，調出第二階層的第二程序模塊。(b)音頻錄音部406b通過執(zhí)行調出的第二程序模塊，調出第三階層的第三程序模塊(這里，媒體庫301j 3011等)。(c)音頻錄音部406b執(zhí)行調出的第三程序模塊，從而進行將所輸入的音頻數據變換成編碼音頻數據的媒體處理。這樣，通過音頻錄音部406b執(zhí)行圖3A所示的3階層的程序模塊，為了音頻錄音，進行將音頻數據編碼的媒體處理。圖19是表示應用了本發(fā)明的媒體處理方法的視頻再現裝置4c的構成的框圖。該圖的視頻再現裝置4c具備數據存儲部401c、數據讀取部 402c、數據輸出部403c、指示輸入部404c、設備控制部405c及視頻再現部406c。若比較該圖與圖2，數據存儲部401c對應于光盤22、硬盤23 或存儲卡24。數據讀取部402c對應于數據流I/O部13。數據輸出部403c 對應于AVI/0部15。設備控制部405c對應于CPU11。視頻再現部406c 的硬件構成與媒體處理器12對應。視頻再現部406c的軟件構成與圖12 的視頻再現MM101d、圖13的視頻再現MC201i及媒體庫301r 301t對應。數據存儲部401c存儲有編碼視頻數據。數據讀取部402c從數據存儲部401c讀取編碼視頻數據，供給視頻再現部406c。數據輸出部403c向外部裝置輸出由視頻再現部406c生成的解碼視頻數據。指示輸入部404c接收來自用戶的指示。設備控制部405c基于由指示輸入部404c接收的指示，對視頻再現部406c指示視頻再現的開始、結束或暫停。視頻再現部406c通過如下的(a) ~ (c)，進行將編碼視頻數據變換成解碼視頻數據的媒體處理。(a)視頻再現部406c執(zhí)行第一階層的第一程序模塊(這里，圖12的視頻再現MM101d)。由此，視頻再現部406c控制通過數據讀取部402c讀取出的編碼視頻數據的輸入和向數據輸出部403c的解碼視頻數據的輸出，決定第二程序模塊(這里是圖 13的視頻再現MC201i)的調出時刻，在該時刻調出第二階層的第二程序模塊。(b)視頻再現部406c通過執(zhí)行調出的第二程序模塊，從而調出第三階層的第三程序模塊(這里，媒體庫301r 301t等)。(c)視頻再現部406c執(zhí)行調出的第三程序模塊，從而進行將所輸入的編碼視頻數據變換成解碼視頻數據的媒體處理。這樣，通過視頻再現部406c執(zhí)行圖3A所示的3階層的程序模塊，為了視頻再現，進行將編碼視頻數據解碼的媒體處理。圖20是表示應用了本發(fā)明的媒體處理方法的視頻錄像裝置4d的構成的框圖。該圖的視頻錄像裝置4d具備數據存儲部401d、數據寫入部402d、數據輸入部403d、指示輸入部404d、設備控制部405d及視頻錄像部406d。若比較該圖與圖2，數據存儲部401d對應于光盤22、硬盤 23或存儲卡24。數據寫入部402d對應于數據流I/O部13。數據輸入部 403d對應于AVI/0部15。設備控制部405d對應于CPU11。視頻錄像部 406d的硬件構成與媒體處理器12對應。視頻錄像部406d的軟件構成與圖14的視頻錄像MM101e、圖15的視頻錄像MC201j及媒體庫 301u 301w對應。數據存儲部401d用于存儲編碼視頻數據。數據寫入部402d將從視頻錄像部406d輸出的編碼視頻數據，寫入數據存儲部401d。數據輸入部403d從外部裝置取得視頻數據，向視頻錄像部406d輸出。指示輸入部404d接收來自用戶的指示。設備控制部405d基于由指示輸入部404d接收的指示對視頻錄像部406d指示視頻錄像的開始、結束或暫停。視頻錄像部406d通過如下的(a) (c)，進行將視頻數據變換成編碼視頻數據的媒體處理。(a)視頻錄像部406d執(zhí)行第一階層的第一程序模塊(哮里，圖14的視頻錄像MM101e)。由此，視頻錄像部406d 控制來自數據輸入部403d的視頻數據的輸入和向數據寫入部40d的編碼視頻數據的輸出，決定第二程序模塊(這里是圖15的視頻錄像 MC201j)的調出時刻，調出第二階層的第二程序模塊。(b)視頻錄像部406d通過執(zhí)行調出的第二程序模塊，調出第三階層的第三程序模塊(這里，媒體庫301u 301w等)。(c)視頻錄像部406d執(zhí)行調出的第三程序模塊，從而進行將所輸入的視頻數據變換成編碼視頻數據的媒體處理。這樣，通過視頻錄像部406d執(zhí)行圖3A所示的3階層的程序模塊，為了視頻錄像，進行將視頻數據編碼的媒體處理。圖21是表示應用了本發(fā)明的媒體處理方法的視頻再現裝置4e的構成的框圖。該圖的視頻再現裝置4e具備數據存儲部401e、數據讀取部 402e、數據輸出部403e、指示輸入部404e、設備控制部405e、數據統合部406e及視頻再現部407e、 408e，同時再現不同的兩種編碼視頻數據。該圖與圖19比較，不同點在于，取代視頻再現部406c而具備視頻再現部407e、 408e這一點，新具備數據統合部406e這一點。除此以外的對應的構成要素相同，所以省略說明，以不同點為中心進行說明。視頻再現部407e及408e分別對不同的2種編碼視頻數據(稱為第一及第二編碼視頻數據)進行解碼，輸出2種解碼視頻數據(稱為第一及第二解碼視頻數據)。視頻再現部407e和408e在一個媒體處理器上實現。視頻再現部407e及408e的軟件構成分別與上述視頻再現部406c 相同。數據統合部406e對第一及第二解碼視頻數據進行統合，以便顯示在1個畫面上。例如，數據統合部406e將從第一及第二解碼視頻數據得到的2個視頻的尺寸縮小為相同的大小，將縮小的視頻在左右排列2 個?；蛘?，將l個縮小為比另一個大地進行排列。并且，數據統合部 406e可以通過圖2的媒體處理器實現，也可以做成與媒體處理器不同的單元。并且，數據讀取部402e從數據存儲部401e讀取第一及第二編碼視頻數據，供給視頻再現部406e。這時，也可以將第二編碼視頻數據依次變更為不同的編碼視頻數據。這樣，視頻再現部407e、 408e通過分別執(zhí)行圖3A所示的3階層的程序模塊，從而為了視頻再現，進行將編碼視頻數據解碼的媒體處理。并且，可以同時執(zhí)行音頻再現、音頻錄音、視頻再現及視頻錄像的錄像再現裝置也能夠通過與上述的圖17 21相同的構成實現。此外，取代上述數據存儲部可以具備接收數字廣播的調諧器。工業(yè)可利用性本發(fā)明適合于進行媒體處理的各種裝置，例如，適合于動畫發(fā)行的網頁服務器、接收它的網絡終端、可記錄再現動畫的數字攝像機、帶攝像機的便攜電話、DVD錄像/再現機、PDA、個人計算機等。
權利要求
1.一種媒體處理方法，通過使處理器執(zhí)行多個程序模塊來進行媒體處理，其特征在于，包括第一步驟，通過執(zhí)行第一階層的第一程序模塊，來控制媒體數據的輸入輸出，決定一個以上的調出時刻，并在該時刻調出第一階層之下的第二階層的一個以上的第二程序模塊；第二步驟，通過執(zhí)行第二階層的第二程序模塊，來調出第二階層之下的第三階層的一個以上的第三程序模塊；及第三步驟，通過執(zhí)行第三階層的第三程序模塊，來使處理器對上述媒體數據執(zhí)行作為媒體處理構成要素的數據變換。
2. 如權利要求l所述的媒體處理方法，其特征在于，上述第一程序模塊包括第一程序段到第四程序段，上述第一步驟包括指令處理步驟，通過執(zhí)行第一程序段，分析從第一階層之上的階層的主機程序來的指令；定時決定步驟，通過執(zhí)行第二程序段，根據所分析的指令來決定第三程序段的動作定時和一個以上的上述調出時刻；輸入輸出控制步驟，通過執(zhí)行第三程序段，根據上述動作定時來控制媒體數據的輸入輸出；及第一調出步驟，通過執(zhí)行第四程序段，在一個以上的調出時刻調出第二程序模塊。
3. 如權利要求2所述的媒體處理方法，其特征在于，第一程序段通過第一應用程序接口來接收指示媒體處理的開始、停止或暫停的上述指令。
4. 如權利要求l所述的媒體處理方法，其特征在于，上述第二程序模塊包括第五程序段到第七程序段，上述第二步驟包括-通過執(zhí)行第五程序段，從第一程序模塊接收處理對象的數據的步驟；第二調出步驟，通過執(zhí)行第六程序段，對所接收的處理對象數據依次調出一個以上的第三程序模塊；及發(fā)送步驟，通過執(zhí)行第七程序段，從調出的第三程序模塊向第一程序模塊發(fā)送數據變換結果。
5. 如權利要求4所述的媒體處理方法，其特征在于，在第二步驟中，通過執(zhí)行第二程序模塊，對于輸入數據依次調出一個以上的第三程序模塊，將其結果返回到第一程序模塊，在第一步驟中，通過執(zhí)行第一程序模塊，控制從第二程序模塊返回的數據的輸出。
6. 如權利要求5所述的媒體處理方法，其特征在于，在上述第一調出步驟中，指定上述一個以上的第三程序模塊。
7. 如權利要求5所述的媒體處理方法，其特征在于，在上述第一調出步驟中，指定上述一個以上的第三程序模塊的動作參數。
8. 如權利要求5所述的媒體處理方法，其特征在于，在上述第一調出步驟中，指定上述一個以上的第三程序模塊的執(zhí)行順序。
9. 如權利要求l所述的媒體處理方法，其特征在于，上述第一程序模塊包括第一程序段到第四程序段，上述第一步驟包括指令處理步驟，通過執(zhí)行第一程序段，分析從第一階層之上的階層的主機程序來的指令；定時決定步驟，通過執(zhí)行第二程序段，在所分析的指令指示音頻再現時，決定第三程序段的動作定時和一個以上的上述調出時刻；輸入輸出控制步驟，通過執(zhí)行第三程序段，根據上述動作定時來控制編碼音頻數據的輸入和解碼音頻數據的輸出；及第一調出步驟，通過執(zhí)行第四程序段，在一個以上的調出時刻調出第二程序模塊。
10. 如權利要求l所述的媒體處理方法，其特征在于，上述第一程序模塊包括第一程序段到第四程序段，上述第一步驟包括指令處理步驟，通過執(zhí)行第一程序段，分析從第一階層之上的階層的主機程序來的指令；定時決定步驟，通過執(zhí)行第二程序段，在所分析的指令指示音頻錄音時，決定第三程序段的動作定時和一個以上的上述調出時刻；輸入輸出控制步驟，通過執(zhí)行第三程序段，根據上述動作定時來控制音頻數據的輸入和編碼音頻數據的輸出；及第一調出步驟，通過執(zhí)行第四程序段，在一個以上的調出時刻調出第二程序模塊。
11. 如權利要求2所述的媒體處理方法，其特征在于，上述第二程序模塊包括第五程序段到第七程序段，上述第二步驟包括-通過執(zhí)行第五程序段，從第一程序模塊接收多個種類的數據的步驟；第二調出步驟，通過執(zhí)行第六程序段，對所接收的多個種類的數據調出用于復用的第三程序模塊；及發(fā)送步驤，通過執(zhí)行第七程序段，從調出的第三程序模塊向第一程序模塊發(fā)送復用數據。
12. 如權利要求2所述的媒體處理方法，其特征在于，上述第二程序模塊包括第五程序段到第七程序段，上述第二步驟包括通過執(zhí)行第五程序段，從第一程序模塊接收復用數據的步驟；第二調出步驟，通過執(zhí)行第六程序段，對所接收的復用數據調出分離用的第三程序模塊；及發(fā)送步驟，通過執(zhí)行第七程序段，從調出的第三程序模塊向第一程序模塊發(fā)送多個種類的數據。
13. 如權利要求l所述的媒體處理方法，其特征在于，上述第一程序模塊包括第一程序段到第四程序段，上述第一步驟包括指令處理步驟，通過執(zhí)行第一程序段，分析從第一階層之上的階層的主機程序來的指令；定時決定步驟，通過執(zhí)行第二程序段，在所分析的指令指示視頻再現時，決定第三程序段的動作定時和一個以上的上述調出時刻；輸入輸出控制步驟，通過執(zhí)行第三程序段，根據上述動作定時來控制復用數據的輸入和音頻數據及視頻數據的輸出；及第一調出步驟，通過執(zhí)行第四程序段，基于一個以上的調出時刻，調出復用數據的分離用的第二程序模塊、視頻再現用的第二程序模塊及音頻再現用的第二程序模塊。
14. 如權利要求l所述的媒體處理方法，其特征在于，上述第一程序模塊包括第一程序段到第四程序段，上述第一步驟包括指令處理步驟，通過執(zhí)行第一程序段，分析從第一階層之上的階層的主機程序來的指令；定時決定步驟，通過執(zhí)行第二程序段，在所分析的指令指示視頻錄像時，決定第三程序段的動作定時和一個以上的上述調出時刻；輸入輸出控制步驟，通過執(zhí)行第三程序段，根據上述動作定時來控制音頻數據及視頻數據的輸入和復用數據的輸出；及第一調出步驟，通過執(zhí)行第四程序段，根據上述一個以上的調出時刻，調出視頻錄像用的第二程序模塊、音頻再現用的第二程序模塊及復用用的第二程序模塊。
15. —種計算機可讀取的程序，為了進行媒體處理而由處理器執(zhí)行，其特征在于，包括第一階層的第一程序模塊，控制媒體數據的輸入輸出，決定一個以上的調出時刻，并在該調出時刻調出屬于第一階層之下的第二階層的一個以上的第二程序模塊；第二階層的第二程序模塊，調出第二階層之下的第三階層的一個以上的第三程序模塊；及第三階層的一個以上的第三程序模塊，使處理器對上述媒體數據執(zhí)行作為媒體處理構成要素的數據變換。
16. 如權利要求15所述的計算機可讀取的程序，其特征在于，上述第一程序模塊包括第一程序段到第四程序段，第一程序段分析從第一階層之上的階層的主機程序來的指令；第二程序段決定第三程序段及第四程序段的動作定時；第三程序段根據上述動作定時來控制媒體數據的輸入輸出；及第四程序段根據上述動作定時調出第二程序模塊。
17，如權利要求16所述的計算機可讀取的程序，其特征在于，第一程序段通過第一應用程序接口來接收指示媒體處理的開始、停止或暫停的上述指令。
18.如權利要求17所述的計算機可讀取的程序，其特征在于，上述第二程序模塊包括第五程序段到第七程序段，第五程序段從第一程序模塊接收處理對象的數據的步驟；第六程序段，對所接收的處理對象數據依次調出一個以上的第三程序模塊；及第七程序段，將從調出的第三程序模塊來的數據變換結果向第一程序模塊發(fā)送。
19. 一種音頻再現裝置，其特征在于，具備進行媒體處理的媒體處理器，存儲編碼音頻數據的存儲部，從上述存儲部讀取編碼音頻數據的讀取部，從用戶接收指示的接收部，基于由上述接收部接收的指示對上述媒體處理器指示音頻再現的開始的控制部，及將由上述媒體處理器生成的解碼音頻數據向外部輸出的輸出部；上述媒體處理器執(zhí)行如下的媒體處理a) 通過執(zhí)行第一階層的第一程序模塊，來控制由上述讀取部讀取出的編碼音頻數據的輸入和向上述輸出部的解碼音頻數據的輸出，決定一個以上的調出時刻，并在該時刻調出第一階層之下的第二階層的一個以上的第二程序模塊；b) 通過執(zhí)行調出的第二程序模塊，調出第二階層之下的第三階層的一個以上的第三程序模塊；及c) 通過執(zhí)行調出的第三程序模塊，將所輸入的編碼音頻數據變換成解碼音頻數據。
20. —種音頻錄音裝置，其特征在于，具備進行媒體處理的媒體處理器，存儲編碼音頻數據的存儲部，從外部取得音頻數據的取得部，從用戶接收指示的接收部，基于由上述接收部接收的指示對上述媒體處理器指示音頻錄音的開始的控剁部，及將由媒體處理器生成的編碼音頻數據向上述存儲部寫入的寫入部；上述媒體處理器執(zhí)行如下的媒體處理a) 通過執(zhí)行第一階層的第一程序模塊，來控制由上述取得部取得的音頻數據的輸入和向上述寫入部的編碼音頻數據的輸出，決定一個以上的調出時刻，并在該時刻調出第一階層之下的第二階層的一個以上的第二程序模塊；b) 通過執(zhí)行調出的第二程序模塊，調出第二階層之下的第三階層的一個以上的第三程序模塊；及c) 通過執(zhí)行調出的第三程序模塊，將所輸入的音頻數據變換成編碼音頻數據。
21. —種視頻再現裝置，其特征在于，具備進行媒體處理的媒體處理器，存儲編碼視頻數據的存儲部，從上述存儲部讀取編碼視頻數據的讀取部，從用戶接收指示的接收部，基于由上述接收部接收的指示對上述媒體處理器指示視頻再現的開始的控制部，及將由上述媒體處理器生成的解碼視頻數據向外部輸出的輸出部；上述媒體處理器執(zhí)行如下的媒體處理a) 通過執(zhí)行第一階層的第一程序模塊，來控制由上述讀取部讀取出的編碼視頻數據的輸入和向上述輸出部的解碼視頻數據的輸出，決定一個以上的調出時刻，并在該時刻調出第一階層之下的第二階層的一個以上的第二程序模塊；b) 通過執(zhí)行調出的第二程序模塊，調出第二階層之下的第三階層的一個以上的第三程序模塊；及c) 通過執(zhí)行調出的第三程序模塊，將所輸入的編碼視頻數據變換成解碼視頻數據。
22. —種視頻錄像裝置，其特征在于，具備-進行媒體處理的媒體處理器，存儲編碼視頻數據的存儲部，從外部取得視頻數據的取得部，從用戶接收指示的接收部，基于由上述接收部接收的指示對上述媒體處理器指示視頻錄像的開始的控制部，及將由媒伴處理器生成的編碼視頻數據向上述存儲部寫入的寫入部；上述媒體處理器執(zhí)行如下的媒體處理a) 通過執(zhí)行第一階層的第一程序模塊，來控制由上述取得部取得的視頻數據的輸入和向上述寫入部的編碼視頻數據的輸出，決定一個以上的調出時刻，并在該時刻調出第一階層之下的第二階層的一個以上的第二程序模塊；b) 通過執(zhí)行調出的第二程序模塊，調出第二階層之下的第三階層的一個以上的第三程序模塊；及c) 通過執(zhí)行調出的第三程序模塊，將所輸入的視頻數據變換成編碼視頻數據。
23. —種視頻再現裝置，其特征在于，具備進行媒體處理的媒體處理器，存儲第一及第二編碼視頻數據的存儲部，從上述存儲部讀取第一及第二編碼視頻數據的讀取部，從用戶接收指示的接收部，基于由上述接收部接收的指示對上述媒體處理器指示開始第一及第二編碼視頻數據的再現的控制部，及將由上述媒體處理器生成的第一及第二解碼視頻數據向外部輸出的輸出部；上述媒體處理器執(zhí)行如下的媒體處理a)通過執(zhí)行第一階層的第一程序模塊，來控制由上述讀取部讀取出的第一編碼視頻數據的輸入和向上述輸出部的第一解碼視頻數據的輸出，決定一個以上的調出時刻，并在該時刻調出第一階層之下的第二階層的一個以上的第二程序模塊；b) 通過執(zhí)行調出的第二程序模塊，調出第二階層之下的第三階層的一個以上的第三程序模塊；c) 通過執(zhí)行調出的第三程序模塊，將上述第一編碼視頻數據變換成第一解碼視頻數據；d) 通過執(zhí)行第一階層的第四程序模塊，來控制由上述讀取部讀取出的第二編碼視頻數據的輸入和向上述輸出部的第二解碼視頻數據的輸出，決定一個以上的調出時刻，并在該時刻調出第一階層之下的第二階層的一個以上的第五程序模塊；e) 通過執(zhí)行調出的第五程序模塊，調出第二階層之下的第三階層的一個以上的第六程序模塊；f) 通過執(zhí)行調出的第六程序模塊，將上述第二編碼視頻數據變換成第二解碼視頻數據。
全文摘要
本發(fā)明的媒體處理方法，通過使處理器執(zhí)行多個程序模塊來進行媒體處理，具有第一步驟，通過執(zhí)行第一階層的第一程序模塊，來控制媒體數據的輸入輸出，決定一個以上的調出時刻，并在該時刻調出第二階層的一個以上的第二程序模塊；第二步驟，通過執(zhí)行第二階層的第二程序模塊，來調出第二階層之下的第三階層的一個以上的第三程序模塊；及第三步驟，通過執(zhí)行第三階層的第三程序模塊，來使處理器對上述媒體數據執(zhí)行作為媒體處理構成要素的數據變換。
文檔編號G06F9/44GK101248417SQ200680030758
公開日2008年8月20日申請日期2006年8月10日優(yōu)先權日2005年8月24日
發(fā)明者古賀義宏, 小谷謙介, 諸橋隆治, 隅田清彥申請人:松下電器產業(yè)株式會社

完整全部詳細技術資料下載