本發(fā)明涉及圖像處理裝置、圖像處理方法和記錄介質(zhì)。

背景技術(shù)：

以往，公知有測定被攝體的三維位置的技術(shù)。例如，在專利文獻1中公開了運算拍攝畫面上的飛翔體的三維位置的技術(shù)。在該技術(shù)中，根據(jù)從測定位置原點到飛翔體的距離、相對高度仰角和相對方位，運算從畫面中心位置起的高度和水平距離，使用該運算結(jié)果運算飛翔體的三維位置的坐標。

現(xiàn)有技術(shù)文獻

專利文獻

專利文獻1：日本特開2011-95112號公報

技術(shù)實現(xiàn)要素：

發(fā)明要解決的課題

但是，上述現(xiàn)有技術(shù)的目的在于，使用通過運算而得到的三維位置的坐標生成飛翔圖等圖并進行顯示，所以，在對圖像進行再現(xiàn)時觀察圖像的人很難直觀地捕捉作為拍攝對象的被攝體的特征。

本發(fā)明是鑒于上述情況而完成的，其目的在于，提供在對圖像進行再現(xiàn)時觀察該圖像的人能夠直觀地捕捉被攝體的特征的圖像處理裝置、圖像處理方法和記錄介質(zhì)。

用于解決課題的手段

為了解決上述課題并實現(xiàn)目的，本發(fā)明的圖像處理裝置的特征在于，所述圖像處理裝置具有：變化判定部，其使用連續(xù)拍攝的多個圖像的數(shù)據(jù)判定該多個圖像的拍攝方向有無變化；變化量計算部，其根據(jù)所述拍攝方向有無變化來計算所述多個圖像中拍攝出的被攝體的位置的變化量；以及輔助圖像生成部，其生成輔助圖像的數(shù)據(jù)，該輔助圖像顯示與所述變化量相關(guān)聯(lián)的所述被攝體的信息。

本發(fā)明的圖像處理方法的特征在于，所述圖像處理方法包括以下步驟：變化判定步驟，使用連續(xù)拍攝的多個圖像的數(shù)據(jù)判定該多個圖像的拍攝方向有無變化；變化量計算步驟，根據(jù)所述拍攝方向有無變化來計算所述多個圖像中拍攝出的被攝體的位置的變化量；以及輔助圖像生成步驟，生成輔助圖像的數(shù)據(jù)，該輔助圖像顯示與所述變化量相關(guān)聯(lián)的所述被攝體的信息。

本發(fā)明的記錄圖像處理程序的記錄介質(zhì)的特征在于，所述圖像處理程序使計算機執(zhí)行以下步驟：變化判定步驟，使用連續(xù)拍攝的多個圖像的數(shù)據(jù)判定該多個圖像的拍攝方向有無變化；變化量計算步驟，根據(jù)所述拍攝方向有無變化來計算所述多個圖像中拍攝出的被攝體的位置的變化量；以及輔助圖像生成步驟，生成輔助圖像的數(shù)據(jù)，該輔助圖像顯示與所述變化量相關(guān)聯(lián)的所述被攝體的信息。

發(fā)明效果

根據(jù)本發(fā)明，在再現(xiàn)中的圖像中插入顯示被攝體的信息的輔助圖像并進行顯示，所以，在對圖像進行再現(xiàn)時觀察該圖像的人能夠直觀地捕捉被攝體的特征。

附圖說明

圖1是示出本發(fā)明的一個實施方式的攝像裝置的功能結(jié)構(gòu)的框圖。

圖2是示意地示出變化判定部判定為拍攝方向存在變化的情況下的狀況的圖。

圖3是示意地示出用戶追隨于被攝體的運動而對攝像裝置進行操作的情況下的不同的2幀的圖像的圖。

圖4是示意地示出用戶無法追隨于被攝體的運動而對攝像裝置進行操作的情況下的不同的2幀的圖像的圖。

圖5是示意地說明攝像裝置的拍攝方向沒有變化、用戶無法追隨于被攝體的運動而對攝像裝置進行操作的情況下的變化量的圖。

圖6是重疊且示意地示出顯示部顯示的輔助圖像及其前后的圖像的圖。

圖7是示出歷史圖像的顯示部中的顯示例的圖。

圖8是示出攝像裝置進行的處理的概要的流程圖(其一)。

圖9是示出攝像裝置進行的處理的概要的流程圖(其二)。

圖10是示出歷史圖像生成部進行的歷史圖像的數(shù)據(jù)生成處理的概要的流程圖。

具體實施方式

下面，參照附圖對用于實施本發(fā)明的方式(以下稱為“實施方式”)進行說明。另外，以下說明中參照的附圖是示意性的，在利用不同附圖示出相同物體的情況下，尺寸和比例尺等有時也不同。

圖1是示出本發(fā)明的一個實施方式的包含圖像處理裝置的攝像裝置的功能結(jié)構(gòu)的框圖。該圖所示的攝像裝置1具有根據(jù)攝像參數(shù)對被攝體進行攝像并生成圖像數(shù)據(jù)的攝像部2、收集外部聲音并生成聲音數(shù)據(jù)的由麥克風(fēng)等構(gòu)成的聲音輸入部3、受理各種操作指示信號的輸入的輸入部4、檢測攝像裝置1的姿勢的姿勢檢測部5、顯示包含攝像部2進行攝像而得到的圖像的各種信息的顯示部6、輸出聲音的由揚聲器等構(gòu)成的聲音輸出部7、對攝像裝置1的動作進行總括控制的控制部8、存儲與攝像裝置1的動作等有關(guān)的信息的存儲部9。

攝像部2具有使用一個或多個鏡頭構(gòu)成并使來自被攝體的光會聚的光學(xué)系統(tǒng)、以及對經(jīng)由光學(xué)系統(tǒng)成像的光進行光電轉(zhuǎn)換并生成電氣的攝像信號的攝像元件。光學(xué)系統(tǒng)使用一個或多個各種光學(xué)元件構(gòu)成。攝像元件使用cmos(complementarymetaloxidesemiconducter)或ccd(chargecoupleddevice)等圖像傳感器構(gòu)成。

輸入部4使用層疊設(shè)置在顯示部6的畫面顯示區(qū)域內(nèi)的觸摸面板、設(shè)置在攝像裝置1的主體表面的包含受理靜態(tài)圖像拍攝的指示輸入的釋放開關(guān)和受理動態(tài)圖像拍攝的開始和結(jié)束的指示輸入的動態(tài)圖像開關(guān)在內(nèi)的各種開關(guān)或各種按鈕等用戶接口構(gòu)成。輸入部4也可以具有聲音輸入用的麥克風(fēng)。

姿勢檢測部5例如由相互正交的三軸方向的加速度傳感器構(gòu)成。姿勢檢測部5通過檢測攝像裝置1的三軸方向的加速度，檢測攝像裝置1的姿勢。

顯示部6使用由液晶或有機el(electroluminescence)等構(gòu)成的顯示面板構(gòu)成。顯示部6能夠進行以規(guī)定時間(例如3秒鐘)顯示與輸入部4受理了輸入的釋放信號對應(yīng)的圖像數(shù)據(jù)的記錄瀏覽顯示、對存儲部9存儲的圖像數(shù)據(jù)進行再現(xiàn)的再現(xiàn)顯示、以及沿著時間序列依次顯示與攝像部2連續(xù)生成的圖像數(shù)據(jù)對應(yīng)的實時取景圖像的實時取景顯示等。并且，顯示部6能夠顯示攝像裝置1的操作信息和與攝像動作有關(guān)的信息。

控制部8具有本實施方式的圖像處理裝置的功能?？刂撇?具有圖像處理部81、姿勢/運動判定部82、變化判定部83、變化量計算部84、時機判定部85、輔助圖像生成部86、歷史圖像生成部87、顯示控制部88。

圖像處理部81對攝像部2生成的圖像數(shù)據(jù)(raw數(shù)據(jù))進行各種圖像處理，生成已處理的圖像數(shù)據(jù)。圖像處理部81進行的圖像處理包括光學(xué)黑體減法處理、白平衡(wb)調(diào)整處理、同時化處理(攝像部2的攝像元件具有拜耳排列的濾色器的情況)、彩色矩陣運算處理、伽馬校正處理、顏色再現(xiàn)處理和邊緣強調(diào)處理等中的至少一部分。圖像處理部81根據(jù)規(guī)定的靜態(tài)圖像或動態(tài)圖像格式對上述各種處理后的圖像數(shù)據(jù)進行壓縮并輸出。作為靜態(tài)圖像格式，例如能夠舉出jpeg、exif等，作為動態(tài)圖像格式，例如能夠舉出mpeg-4avc/h.264、avchd等。

姿勢/運動判定部82使用姿勢檢測部5的檢測結(jié)果判定攝像裝置1的姿勢，另一方面，使用攝像部2生成的圖像數(shù)據(jù)判定被攝體的運動。在判定運動的情況下，例如，圖像處理部81生成表示兩張圖像間的被攝體的代表點的運動的運動向量，使用該運動向量判定被攝體的運動。

變化判定部83根據(jù)姿勢/運動判定部82的判定結(jié)果，判定攝像部2的拍攝方向是否變化，并且判定畫面內(nèi)的被攝體的位置是否變化。變化判定部83例如對規(guī)定的2幀(例如相鄰的2幀)進行比較來判定背景的運動，由此判定攝像部2的拍攝方向有無變化。另外，在使攝像裝置1具有手抖判定用的振動傳感器的情況下，變化判定部83也可以根據(jù)振動傳感器的檢測結(jié)果來判定攝像部2的拍攝方向有無變化。

圖2是示意地示出變化判定部83判定為拍攝方向存在變化的情況下的狀況的圖。在圖2中，示意地示出攝像裝置1的用戶101將滑雪板sb上的滑雪者102作為拍攝對象、對滑雪者102在滑行中跳躍的狀況進行動態(tài)圖像拍攝的狀況。在圖2所示的狀況下，需要根據(jù)用戶101是否改變了拍攝方向、換言之是否追隨于滑雪者102的運動而對攝像裝置1進行操作來改變處理。下面，舉出具體例對這點進行說明。

圖3是示意地示出用戶追隨于被攝體的運動而對攝像裝置1進行操作的情況下的不同的2幀的圖像的圖。在圖3中，圖像201中的滑雪者102-1的位置和此后拍攝的圖像202中的滑雪者102-2的位置均是畫面的大致中央部。因此，在圖3所示的情況下，滑雪者102的位置在2幀之間幾乎沒有變化。

與此相對，圖4是示意地示出用戶無法追隨于被攝體的運動而對攝像裝置1進行操作的情況下的不同的2幀的圖像的圖。在圖4中，圖像203中的滑雪者102-3的位置是畫面的大致中央部，與此相對，圖像204中的滑雪者102-4的位置是畫面的右上部。因此，在圖4所示的情況下，滑雪者102的位置在幀間大幅變化。

變化判定部83將圖3所示的狀況判定為拍攝方向變化，另一方面，將圖4所示的狀況判定為拍攝方向沒有變化。

變化量計算部84計算被攝體的位置的變化量。例如，如圖3所示，在用戶追隨于被攝體的運動而對攝像裝置1進行操作的情況下，變化量計算部84使用攝像部2的光軸方向相對于水平方向的角度(仰角)的變化δθ，通過下式計算鉛直方向的變化量δy。

δy＝d1·sinδθ…(1)

下面，將該變化量δy稱為第1變化量。這里，右邊的d1是從攝像裝置1到被攝體的距離，是根據(jù)對焦結(jié)果等求出的量，δθ是根據(jù)姿勢檢測部5的檢測結(jié)果求出的。

圖5是示意地說明攝像裝置1的拍攝方向沒有變化、用戶無法追隨于被攝體的運動而對攝像裝置1進行操作的情況下的變化量的圖。在圖5中，當(dāng)設(shè)攝像元件21的檢測范圍為s1、設(shè)光學(xué)系統(tǒng)22的焦距為f1時，在攝像部2幾乎沒有移動、位于點p的被攝體的代表點的y坐標移動了δy而到達點p’的情況下，在與該被攝體之間的距離為d1時，變化量計算部84使用攝像元件21上的像的位置變化δs、距離d1和焦距f1，通過下式計算移動距離δy。

δy＝δs·d1/f1…(2)

下面，將該變化量稱為第2變化量。另外，在式(2)中，其前提在于在時間上連續(xù)拍攝時，不怎么引起畫面的進深方向的變化。并且，這里說明了鉛直方向的變化量，但是，還可以同樣計算水平方向的變化量。進而，在以攝像裝置1的高度為基準來求出被攝體的高度的情況下，在對位于點p的被攝體的代表點進行拍攝的時點，在攝像部2的光軸方向相對于水平方向具有角度時，除了式(2)的δy的以外求出該角度量即可。

另外，這里說明的變化量計算部84的變化量計算處理只不過是一例，除此之外，例如還可以進行被攝體的面部檢測，計算規(guī)定幀間的面部的旋轉(zhuǎn)量作為變化量。

時機判定部85判定是否是在圖像再現(xiàn)時生成并插入輔助圖像的數(shù)據(jù)的時機。作為該時機，例如可以舉出被攝體在畫面上剛剛停止運動之后的時機、高度剛剛到達最高點或最低點之后的時機等。更具體而言，例如在對圖2所示的滑雪板上的人正在滑行的狀況進行動態(tài)圖像拍攝的情況下，作為進行跳躍來決定技巧的時機或停止運動的時機，可以舉出剛剛到達最高點之后的時機。并且，在對棒球投手投球的狀況進行動態(tài)圖像拍攝的情況下，可以舉出手臂伸長的狀態(tài)或指尖剛剛到達最高點之后的時機。并且，在對高爾夫球手擺動的狀況進行動態(tài)圖像拍攝的情況下，可以舉出高爾夫球棍的前端剛剛到達最下點之后的時機。這樣，關(guān)于在運動競技的動態(tài)圖像中插入輔助圖像的時機，也可以將要插入的時機的動作的模板預(yù)先存儲在存儲部9中，時機判定部85通過進行模板匹配來判定要插入的時機。

輔助圖像生成部86生成輔助圖像的數(shù)據(jù)。圖6是重疊且示意地示出顯示部6顯示的輔助圖像及其前后的圖像的圖。在圖6中，顯示輔助圖像301、該輔助圖像301之前依次顯示的圖像205、206以及輔助圖像301之后顯示的圖像207，圖像的位置對應(yīng)于拍攝方向(高度)。在圖6中，示出用戶追隨于被攝體的運動而對攝像裝置1進行操作的情況下的輔助圖像，圖像20n(n＝5、6、7)中的滑雪者102-n的位置全部是畫面的大致中央部。在輔助圖像301中，除了最高點的高度信息311(顯示為○○(m))以外，還顯示示意性地施加網(wǎng)格顯示之前幀的被攝體的虛擬圖像dm、以及表示被攝體正在跳躍的“jump”這樣的文字。也可以還在輔助圖像301中顯示被攝體的速度信息。在圖6所示的情況下，在被攝體到達了最高點的圖像206之后的時機插入輔助圖像301。以圖像的視聽者能夠視覺辨認的程度的時間(例如2～3秒左右)顯示輔助圖像301。另外，在圖6中，為了能夠識別輔助圖像301而利用粗框記載了其外緣，但是，這只不過是用于明確說明的簡化方式。并且，虛擬圖像也可以不使用之前幀的圖像。

代替虛擬圖像dm，輔助圖像生成部86也可以僅重疊一幀前的圖像206中的被攝體的圖像而生成輔助圖像的數(shù)據(jù)，還可以重疊針對一幀前的被攝體的圖像實施了特殊效果處理的圖像的數(shù)據(jù)。這里所說的特殊效果處理是指組合多個圖像處理而產(chǎn)生視覺效果的處理。多個圖像處理例如是軟對焦處理、著色處理、合成處理、hdr處理和彩度強調(diào)處理等。

例如如將在滑雪板的u池中滑行的人作為被攝體的情況那樣，在能夠視為往復(fù)運動的情況下，歷史圖像生成部87生成隨著時間而變化的歷史圖像的數(shù)據(jù)。關(guān)于水平方向，歷史圖像生成部87例如也可以使用水平方向的加速度傳感器的檢測結(jié)果進行兩次積分，由此取得位置信息。并且，歷史圖像生成部87也可以將圖像中的被攝體的水平方向的運動的變化換算成速度，使用該速度取得各時刻的位置信息。另外，歷史圖像生成部87生成的歷史圖像中顯示的歷史不限于往復(fù)運動，也可以生成描繪規(guī)定軌跡的歷史。例如，歷史圖像生成部87也可以生成如高爾夫球手打球時描繪的軌道那樣、顯示沿著大致圓軌道旋轉(zhuǎn)的歷史的歷史圖像。

圖7是示出歷史圖像的顯示部6中的顯示例的圖。該圖所示的歷史圖像401表示將在滑雪板的u池中滑行的滑雪者作為被攝體的情況下的歷史411。在歷史圖像401中還顯示虛擬圖像dm。但是，不是必須顯示虛擬圖像dm。在本實施方式中，設(shè)為在動態(tài)圖像再現(xiàn)結(jié)束時顯示歷史圖像來進行說明，但是，也可以在剛要開始動態(tài)圖像再現(xiàn)之前顯示歷史圖像，還可以在動態(tài)圖像再現(xiàn)中的適當(dāng)時機插入歷史圖像進行顯示。

顯示控制部88對顯示部6中的圖像等的顯示進行控制。顯示控制部88適當(dāng)插入輔助圖像或歷史圖像進行顯示。顯示控制部88例如也可以進行如下控制：在插入輔助圖像進行顯示時，在輔助圖像顯示前逐漸降低再現(xiàn)圖像的幀率進行顯示，另一方面，在輔助圖像插入后逐漸提高再現(xiàn)圖像的幀率進行顯示。

具有以上功能結(jié)構(gòu)的控制部8使用cpu(centralprocessingunit)等通用處理器構(gòu)成。

存儲部9具有存儲各種圖像的數(shù)據(jù)的圖像數(shù)據(jù)存儲部91、以及存儲包含用于執(zhí)行本實施方式的攝像方法的攝像程序在內(nèi)的各種程序的程序存儲部92。

存儲部9使用ram(randomaccessmemory)等易失性存儲器和rom(readonlymemory)等非易失性存儲器構(gòu)成。其中，ram具有作為暫時存儲從圖像處理部81輸入的已處理的圖像數(shù)據(jù)和攝像裝置1的處理中的信息的暫時存儲部的功能。另外，也可以使用能夠從外部進行拆裝的存儲卡等計算機可讀取的記錄介質(zhì)構(gòu)成存儲部9。

圖8和圖9是示出攝像裝置1進行的處理的概要的流程圖。首先，參照圖8進行說明。在攝像裝置1設(shè)定為拍攝模式的情況下(步驟s101：是)，顯示控制部88使顯示部6顯示與攝像部2連續(xù)生成的實時取景圖像數(shù)據(jù)對應(yīng)的實時取景圖像(步驟s102)。

接著，姿勢/運動判定部82根據(jù)姿勢檢測部5的檢測結(jié)果判定攝像裝置1的姿勢，將判定結(jié)果記錄在存儲部9中(步驟s103)。并且，姿勢/運動判定部82使用攝像部2生成的圖像數(shù)據(jù)判定被攝體的運動，將判定結(jié)果寫入存儲部9中進行存儲(步驟s104)。另外，姿勢/運動判定部82也可以在其他時機進行姿勢/運動判定。

然后，在輸入部4的釋放開關(guān)受理了靜態(tài)圖像拍攝的指示輸入的情況下(步驟s105：是)，控制部8使攝像部2執(zhí)行靜態(tài)圖像拍攝(步驟s106)。該情況下，圖像處理部81對攝像部2生成的圖像數(shù)據(jù)(raw數(shù)據(jù))進行規(guī)定的圖像處理。

然后，圖像處理部81將靜態(tài)圖像的圖像數(shù)據(jù)寫入圖像數(shù)據(jù)存儲部91中進行存儲(步驟s107)。此時，圖像處理部81對攝像部2生成的圖像數(shù)據(jù)進行尺寸調(diào)整處理而生成靜態(tài)圖像的縮略圖，和與該縮略圖對應(yīng)的已處理的圖像數(shù)據(jù)對應(yīng)起來存儲在圖像數(shù)據(jù)存儲部91中。

接著，顯示控制部88使顯示部6以規(guī)定時間(例如3秒)顯示與攝像部2生成的靜態(tài)圖像的圖像數(shù)據(jù)對應(yīng)的靜態(tài)圖像(步驟s108)。

然后，在經(jīng)由輸入部4斷開攝像裝置1的電源的情況下(步驟s109：是)，攝像裝置1結(jié)束一連串的處理。與此相對，在未經(jīng)由輸入部4斷開攝像裝置1的電源的情況下(步驟s109：否)，攝像裝置1返回步驟s101。

在步驟s105中輸入部4的釋放開關(guān)未受理靜態(tài)圖像拍攝的指示輸入的情況下(步驟s105：否)，攝像裝置1轉(zhuǎn)移到步驟s110。

接著，在輸入部4的動態(tài)圖像開關(guān)受理了動態(tài)圖像拍攝的開始指示信號的輸入的情況下(步驟s110：是)，控制部8進行開始動態(tài)圖像拍攝的控制(步驟s111)。具體而言，控制部8開始使攝像部2根據(jù)規(guī)定的動態(tài)圖像格式執(zhí)行動態(tài)圖像拍攝，并且，圖像處理部81對由攝像部2連續(xù)生成的圖像數(shù)據(jù)執(zhí)行圖像處理，除了聲音輸入部3生成的聲音數(shù)據(jù)以外，還生成動態(tài)圖像文件。另外，關(guān)于拍攝動態(tài)圖像時的幀率，用戶能夠操作輸入部4來選擇設(shè)定期望的幀率。

然后，在動態(tài)圖像開關(guān)受理了動態(tài)圖像拍攝的結(jié)束指示信號的輸入的情況下(步驟s112：是)，控制部8進行結(jié)束動態(tài)圖像拍攝的控制(步驟s113)。在未受理動態(tài)圖像拍攝的結(jié)束指示信號的輸入的情況下(步驟s112：否)，攝像裝置1反復(fù)進行步驟s112。

接著，圖像處理部81將動態(tài)圖像的圖像數(shù)據(jù)寫入圖像數(shù)據(jù)存儲部91中進行存儲(步驟s114)。此時，圖像處理部81使用構(gòu)成動態(tài)圖像數(shù)據(jù)的最初幀的圖像數(shù)據(jù)生成動態(tài)圖像的縮略圖，和與該縮略圖對應(yīng)的動態(tài)圖像文件對應(yīng)起來寫入圖像數(shù)據(jù)存儲部91中進行存儲。然后，攝像裝置1轉(zhuǎn)移到步驟s109。

在步驟s110中不存在動態(tài)圖像拍攝操作的情況下(步驟s110：否)，攝像裝置1轉(zhuǎn)移到步驟s109。

接著，對攝像裝置1未設(shè)定為拍攝模式(步驟s101：否)、攝像裝置1設(shè)定為再現(xiàn)模式的情況(步驟s115：是)進行說明。該情況下，顯示控制部88進行在顯示部6中依次顯示圖像數(shù)據(jù)存儲部91存儲的靜態(tài)圖像或動態(tài)圖像的縮略圖的縮略圖顯示(步驟s116)。

接著，在輸入部4受理了顯示部6顯示的多個縮略圖中的任意一個縮略圖的選擇輸入的情況下(步驟s117：是)，如果選擇出的圖像是動態(tài)圖像(步驟s118：是)，則顯示控制部88開始在顯示部6中再現(xiàn)選擇出的動態(tài)圖像(步驟s119)。另外，在輸入部4未受理顯示部6顯示的多個縮略圖中的任意一個縮略圖的選擇輸入的情況下(步驟s117：否)，攝像裝置1轉(zhuǎn)移到步驟s109。

參照圖9對接著步驟s119的處理進行說明。在步驟s120中，變化判定部83判定攝像部的拍攝方向是否變化(步驟s120)。在拍攝方向變化的情況下(步驟s120：是)，在被攝體的畫面內(nèi)的位置沒有變化時(步驟s121：否)，變化量計算部84根據(jù)式(1)計算第1變化量(步驟s122)。如圖4所示，該狀況相當(dāng)于用戶追隨于被攝體的運動而對攝像裝置1進行操作的狀況。然后，攝像裝置1轉(zhuǎn)移到后述步驟s125。在步驟s121中被攝體的畫面內(nèi)的位置變化時(步驟s121：是)，攝像裝置1轉(zhuǎn)移到后述步驟s129。

另一方面，在步驟s120中拍攝方向沒有變化的情況下(步驟s120：否)，在被攝體的畫面內(nèi)的位置變化時(步驟s123：是)，變化量計算部84根據(jù)式(2)計算第2變化量(步驟s124)。如圖5所示，該狀況相當(dāng)于用戶無法追隨于被攝體的運動而對攝像裝置1進行操作的狀況。在步驟s124之后，攝像裝置1轉(zhuǎn)移到步驟s125。在步驟s123中被攝體的畫面內(nèi)的位置沒有變化時(步驟s123：否)，攝像裝置1轉(zhuǎn)移到后述步驟s129。

在步驟s122或s124之后進行的步驟s125中，時機判定部85根據(jù)步驟s122中計算出的第1變化量或步驟s124中計算出的第2變化量，判定插入輔助圖像進行顯示的時機(步驟s125)。

在時機判定部85判定為是顯示輔助圖像的時機的情況下(步驟s126：是)，輔助圖像生成部86使用在該時機顯示的圖像的信息生成輔助圖像的數(shù)據(jù)(步驟s127)。這里所說的圖像的信息例如是與被攝體的高度、速度或朝向有關(guān)的信息中的至少任意一個信息。另外，時機判定部85也可以在動態(tài)圖像剛剛拍攝之后判定顯示輔助圖像的時機，輔助圖像生成部86根據(jù)該判定結(jié)果生成輔助圖像的數(shù)據(jù)。并且，也可以設(shè)圖像的信息為利用被攝體的高度、速度或朝向等的實測值進行預(yù)測的結(jié)果。另外，在步驟s126中時機判定部85判定為不是顯示輔助圖像的時機的情況下(步驟s126：否)，攝像裝置1轉(zhuǎn)移到步驟s129。該時機當(dāng)然可以是再現(xiàn)顯示的中途，也可以是再現(xiàn)顯示的前后。如果在再現(xiàn)前進行顯示，則期待感提高，能夠引起鑒賞者、觀察者的注意。并且，當(dāng)在再現(xiàn)后進行顯示時，能夠享受結(jié)局和預(yù)測，成為結(jié)尾或返場的效果。

然后，顯示控制部88使顯示部6顯示輔助圖像(步驟s128)。圖6所示的輔助圖像301是輔助圖像的顯示部6中的一個顯示例。

然后，在輸入部4受理了結(jié)束再現(xiàn)的指示輸入的情況下(步驟s129：是)，歷史圖像生成部87生成歷史圖像的數(shù)據(jù)(步驟s130)。在輸入部4未受理結(jié)束再現(xiàn)的指示輸入的情況下(步驟s129：否)，攝像裝置1返回步驟s121。另外，歷史圖像生成部87也可以與再現(xiàn)結(jié)束指示無關(guān)，在生成了動態(tài)圖像數(shù)據(jù)的時點預(yù)先生成歷史圖像的數(shù)據(jù)，并將其存儲在圖像數(shù)據(jù)存儲部91中。

圖10是示出歷史圖像生成部87進行的歷史圖像的數(shù)據(jù)生成處理(步驟s130)的概要的流程圖。首先，歷史圖像生成部87進行有效數(shù)據(jù)判定(步驟s201)。這里所說的有效數(shù)據(jù)是指在表示與被攝體的運動有關(guān)的歷史的方面有效的數(shù)據(jù)，例如是能夠在多幀中跟蹤的被攝體的代表點等。

接著，歷史圖像生成部87判定被攝體的大小的變化(步驟s202)。在判定為被攝體的大小的變化較小的情況下(步驟s202：是)，歷史圖像生成部87轉(zhuǎn)移到步驟s203。另一方面，在判定為被攝體的大小的變化較大的情況下(步驟s202：否)，歷史圖像生成部87結(jié)束歷史圖像生成處理。例如根據(jù)多個代表點之間的距離的幀間的變化量是否超過閾值來判定這里的被攝體的大小的變化量。

在步驟s203中，歷史圖像生成部87判定被攝體的反復(fù)動作的起點和終點(步驟s203)。在能夠判定被攝體的反復(fù)動作的起點和終點的情況下(步驟s203：是)，歷史圖像生成部87轉(zhuǎn)移到步驟s204。另一方面，在無法判定被攝體的反復(fù)動作的起點和終點的情況下(步驟s203：否)，歷史圖像生成部87結(jié)束歷史圖像生成處理。

在步驟s204中，歷史圖像生成部87描繪有效數(shù)據(jù)(步驟s204)。然后，歷史圖像生成部87進行對描繪出的有效數(shù)據(jù)進行插值來描繪被攝體的歷史的處理(步驟s205)。由此，歷史圖像的數(shù)據(jù)完成，歷史圖像生成部87結(jié)束一連串的處理。圖7所示的歷史圖像401是該步驟s205中顯示的歷史圖像的一個顯示例。觀察到這種歷史圖像的人能夠預(yù)測被攝體的時間上的推移，并且能夠計測與運動對應(yīng)的速度和高度等的量。另外，不僅能夠如圖7所示一次性顯示全部歷史，還能夠進行隨著時間經(jīng)過而逐漸描繪歷史這樣的顯示。并且，也可以根據(jù)歷史圖像進行與將來的被攝體的移動(時間推移)有關(guān)的預(yù)測，顯示該預(yù)測結(jié)果。

再次返回圖9，對攝像裝置1在步驟s130之后進行的處理進行說明。在存在歷史圖像的數(shù)據(jù)的情況下(步驟s131：是)，顯示控制部88使顯示部6顯示該歷史圖像(步驟s132)。然后，攝像裝置1轉(zhuǎn)移到上述步驟s109(參照圖8)。另一方面，在步驟s131中不存在歷史圖像的數(shù)據(jù)的情況下(步驟s131：否)，攝像裝置1轉(zhuǎn)移到步驟s109。

再次參照圖8對步驟s118中選擇了靜態(tài)圖像縮略圖的情況(步驟s118：否)進行說明。該情況下，顯示控制部88使顯示部6顯示選擇出的靜態(tài)圖像(步驟s133)。

接著，在輸入部4受理了對再現(xiàn)圖像進行變更的指示輸入的情況下(步驟s134：是)，顯示控制部88使顯示部6再現(xiàn)顯示根據(jù)指示進行變更后的圖像(步驟s135)。具體而言，當(dāng)輸入部4受理圖像變更的指示輸入后，首先，顯示控制部88使顯示部6以縮略圖的方式顯示可選擇的圖像，向用戶提示要變更的圖像的選擇輸入。然后，在以縮略圖的方式顯示的畫面上，當(dāng)輸入部4受理縮略圖的選擇輸入后，顯示控制部88使顯示部6放大并再現(xiàn)顯示與選擇出的縮略圖對應(yīng)的靜態(tài)圖像。然后，攝像裝置1轉(zhuǎn)移到步驟s109。

在步驟s134中輸入部4未受理對再現(xiàn)圖像進行變更的指示輸入的情況下(步驟s134：否)，顯示控制部88轉(zhuǎn)移到步驟s109。

最后，對步驟s115中攝像裝置1未設(shè)定為再現(xiàn)模式的情況(步驟s115：否)進行說明。該情況下，攝像裝置1轉(zhuǎn)移到其他可設(shè)定的模式。省略與其他可設(shè)定的模式有關(guān)的記載。

根據(jù)以上說明的本發(fā)明的一個實施方式，使用連續(xù)拍攝的多個圖像的數(shù)據(jù)判定該多個圖像的拍攝方向有無變化，根據(jù)拍攝方向有無變化來計算多個圖像中拍攝出的被攝體的位置的變化量，生成顯示與變化量相關(guān)聯(lián)的被攝體的信息的輔助圖像的數(shù)據(jù)，所以，觀察再現(xiàn)圖像的人能夠通過輔助圖像直觀地掌握被攝體的特征。

并且，根據(jù)本實施方式，通過在動態(tài)圖像再現(xiàn)中插入輔助圖像，能夠?qū)崿F(xiàn)具有變化的動態(tài)圖像再現(xiàn)。

并且，根據(jù)本實施方式，在再現(xiàn)圖像中附帶顯示被攝體的歷史圖像，所以，觀察再現(xiàn)圖像的人能夠直觀地掌握被攝體中的特征的歷史。

另外，上述攝像裝置1也可以使用包含攝像部2且具有攝像功能的鏡頭型照相機和能夠與該照相機進行通信的智能手機等便攜設(shè)備構(gòu)成。該情況下，本實施方式的圖像處理裝置的功能既可以在照相機側(cè)實現(xiàn)，也可以在便攜設(shè)備側(cè)實現(xiàn)。

攝像裝置1只要具有與被攝體的運動有關(guān)的計測功能和預(yù)測功能即可，也可以應(yīng)用于監(jiān)視照相機或車載照相機等。該情況下，根據(jù)固定攝像裝置1的位置和可動范圍，包含從gps(globalpositioningsystem)取得的位置信息、仰角信息和方位信息等在內(nèi)，能夠增多用于計測或預(yù)測被攝體的運動和位置變化的各種信息的數(shù)量，并且能夠提高各種信息的精度。在能夠增多各種信息的數(shù)量并取得高精度的信息的情況下，能夠生成具有多個信息的豐富多彩的輔助圖像。

并且，上述攝像裝置1例如可以是如醫(yī)療用和工業(yè)用的內(nèi)窺鏡那樣具有攝像功能的裝置整體。該情況下，使處理器側(cè)具有本實施方式的圖像處理裝置的功能即可。

并且，還可以將上述攝像裝置1應(yīng)用于顯微鏡和測定用觀察設(shè)備。該情況下，能夠通過輔助圖像對用戶的視覺辨認性進行輔助。另外，不僅是被攝體的運動，還可以對裝置自身的運動進行可視化，對用戶的操作進行輔助。

在本說明書的流程圖的說明中，使用“首先”、“然后”、“接著”等表現(xiàn)明示了步驟間的處理的前后關(guān)系，但是，實施上述實施方式所需要的處理的順序不由這些表現(xiàn)唯一決定。即，能夠在不矛盾的范圍內(nèi)對本說明書中記載的流程圖中的處理的順序進行變更。

并且，本說明書中使用流程圖說明的處理的算法可以記述為程序。這種程序可以記錄在計算機內(nèi)部的存儲部中，也可以記錄在計算機可讀取的記錄介質(zhì)中，例如存儲在存儲卡(rom卡、ram卡等)、磁盤(硬盤等)、光盤(cd-rom、dvd等)、半導(dǎo)體存儲器等外部存儲裝置的存儲介質(zhì)中進行發(fā)布。關(guān)于程序針對存儲部或記錄介質(zhì)的記錄，可以在將計算機或記錄介質(zhì)作為產(chǎn)品進行出廠時進行記錄，也可以通過經(jīng)由通信網(wǎng)絡(luò)的下載進行記錄。

這樣，本發(fā)明可以包括這里未記載的各種實施方式，能夠在由權(quán)利要求書確定的技術(shù)思想范圍內(nèi)進行各種設(shè)計變更等。

標號說明

1：攝像裝置；2：攝像部；3：聲音輸入部；4：輸入部；5：姿勢檢測部；6：顯示部；7：聲音輸出部；8：控制部；9：存儲部；21：攝像元件；22：光學(xué)系統(tǒng)；81：圖像處理部；82：姿勢/運動判定部；83：變化判定部；84：變化量計算部；85：時機判定部；86：輔助圖像生成部；87：歷史圖像生成部；88：顯示控制部；91：圖像數(shù)據(jù)存儲部；92：程序存儲部；101：用戶；102：滑雪者；201～207：圖像；301：輔助圖像；311：信息；401：歷史圖像；411：歷史；dm：虛擬圖像；sb：滑雪板。