專利名稱：遠程指示系統(tǒng)、遠程指示方法和用于遠程指示的程序產品的制作方法
技術領域：
本發(fā)明總體上涉及遠程指示系統(tǒng)和遠程指示方法。
背景技術：
在遠程會議系統(tǒng)中，必須從遠程側向實物側給出各種指示。作為其中可以從遠程側向實物側給出指示的遠程指示系統(tǒng)的示例，已經知道如下的技術在通過攝像機捕獲現(xiàn)實世界側存在的目標對象并且將這樣捕獲的圖像傳送到遠程終端的同時，從實物側的投影儀將在遠程終端上基于所捕獲圖像而確定的注釋圖像(annotation image)投影到目標對象上(參見美國專利公報第2004/0070674號)。
在遠程終端上，必須將遠程站中的攝像機捕獲的圖像顯示在顯示畫面上，并且必須將注釋圖像繪制在捕獲的圖像上，同時觀察所顯示的捕獲圖像。然而，存在如下問題當投影注釋圖像時，無法在顯示裝置上適當?shù)刂付ㄗ⑨寛D像，尤其是相對于對象的細節(jié)部分無法適當?shù)刂付ㄗ⑨寛D像。

發(fā)明內容
鑒于上述情況提出了本發(fā)明，并且本發(fā)明提供了一種遠程指示系統(tǒng)和遠程指示方法，其中即使當將注釋圖像投影到對象的細節(jié)部分上時，也可以容易地給出對繪制的指示。
本發(fā)明的一個方面提供了一種包括控制部的遠程指示系統(tǒng)。所述控制部向遠程終端發(fā)送第一圖像，并且根據(jù)從遠程終端基于第一圖像而發(fā)布的指示來控制投影部以將第一注釋圖像投影到對象上。所述控制部向遠程終端發(fā)送第二圖像，并且根據(jù)從遠程終端基于第二圖像而發(fā)布的指示來控制投影部以將第二注釋圖像投影到對象上，由為捕獲對象的第一圖像而設置的第一圖像捕獲部來捕獲第一圖像，當從遠程終端選擇了第一圖像中的給定區(qū)域時由為放大對象的所述給定區(qū)域以捕獲第二圖像而設置的第二圖像捕獲部來捕獲第二圖像。根據(jù)本發(fā)明的一個方面，可以在第二圖像捕獲部捕獲的圖像上指示注釋圖像，由此即使當將注釋圖像投影到對象的細節(jié)部分上時，也可以容易地給出繪制指示。
在上述遠程指示系統(tǒng)中，控制部可以將選擇的給定區(qū)域的坐標變換為使用第二圖像捕獲部進行放大時使用的值，以控制對第二圖像捕獲部捕獲的第二圖像的放大?？刂撇靠梢詫⑷缦碌牡诙⑨寛D像變換為具有第一圖像捕獲部的坐標系，并且隨后控制投影部以將經變換的注釋圖像投影到對象上，所述第二注釋圖像依照的是基于第二圖像捕獲部捕獲的第二圖像的指示。所述遠程指示系統(tǒng)可以進一步包括相對位置改變部，所述相對位置改變部改變對象相對于投影部、第一圖像捕獲部、以及第二圖像捕獲部的相對位置關系?？刂撇靠梢愿鶕?jù)由相對位置改變部進行了移動的對象，改變如下的第二注釋圖像的投影位置，所述第二注釋圖像依照的是基于第二圖像捕獲部捕獲的第二圖像的指示。所述相對位置改變部可以包括可以使對象旋轉的旋轉臺。
本發(fā)明的另一方面提供了一種遠程指示方法，所述遠程指示方法包括以下步驟向遠程終端發(fā)送第一圖像；根據(jù)從遠程終端基于第一圖像而發(fā)布的指示進行控制以將第一注釋圖像投影到對象上；向遠程終端發(fā)送第二圖像；以及根據(jù)從遠程終端基于第二圖像而發(fā)布的指示進行控制以將第二注釋圖像投影到對象上，由為捕獲對象的第一圖像而設置的第一圖像捕獲部來捕獲第一圖像，在從遠程終端選擇了第一圖像中的給定區(qū)域時由為放大對象的所述給定區(qū)域以捕獲第二圖像而設置的第二圖像捕獲部來捕獲第二圖像。根據(jù)本發(fā)明的一個方面，可以在第二圖像捕獲部捕獲的圖像上指示注釋圖像，由此即使當將注釋圖像投影到對象的細節(jié)部分上時，也可以容易地給出繪制指示。
上述方法可以進一步包括以下步驟依照基于第二圖像捕獲部捕獲的第二圖像的指示將第二注釋圖像變換為具有第一圖像捕獲部的坐標系。
本發(fā)明的另一方面提供了一種計算機可讀介質，所述計算機可讀介質存儲有使得計算機執(zhí)行遠程指示處理的程序，所述處理包括以下步驟向遠程終端發(fā)送第一圖像；根據(jù)從遠程終端基于第一圖像而發(fā)布的指示進行控制以將第一注釋圖像投影到對象上；向遠程終端發(fā)送第二圖像；以及根據(jù)從遠程終端基于第二圖像而發(fā)布的指示進行控制以將第二注釋圖像投影到對象上，由為捕獲對象的第一圖像而設置的第一圖像捕獲部來捕獲第一圖像，在從遠程終端選擇了第一圖像中的給定區(qū)域時由為放大對象的所述給定區(qū)域以捕獲第二圖像而設置的第二圖像捕獲部來捕獲第二圖像。


根據(jù)下列附圖來詳細描述本發(fā)明的實施例，在附圖中圖1是例示出遠程指示系統(tǒng)的示例性實施例的配置圖；圖2是示出使用對象側裝置的攝像機的服務器上的示例處理的流程圖；圖3是示出在遠程終端的計算機上形成圖像的示例處理的流程圖；圖4是例示出遠程終端側的示例操作的圖；圖5是遠程指示系統(tǒng)的操作流程圖；圖6A是例示出在攝像機的捕獲圖像中指定的縮放指定區(qū)域的圖；圖6B是例示出PTZ攝像機的捕獲圖像的圖；圖6C是例示出在PTZ攝像機的捕獲圖像中繪制的注釋圖像的圖；圖6D是例示出其上投影了注釋圖像的對象的圖；圖6E是示出攝像機捕獲的其上投影了注釋圖像的對象的捕獲圖像的圖；圖7A和圖7B是例示出縮放指定區(qū)域的坐標與PTZ攝像機的搖攝俯仰變焦(pan tilt zoom)值的變換的圖；圖8示出遠程終端上的用戶接口的示例；圖9示出遠程終端上的用戶接口的變型例；圖10示出遠程終端上的用戶接口的另一變型例；以及圖11示出關于在PTZ攝像機的捕獲圖像上繪制注釋圖像的變型例。
具體實施例方式
現(xiàn)在參照附圖給出對本發(fā)明實施例的說明。圖1是例示出遠程指示系統(tǒng)1的示例性實施例的配置圖。遠程指示系統(tǒng)1包括對象側裝置10和遠程終端100。對象側裝置10和遠程終端100通過網絡300彼此連接以能夠相互通信。在圖1中，僅示出了一個遠程終端100，然而，可以有多個遠程終端100通過網絡300連接到對象側裝置10的服務器50(如稍后所述)。
對象側裝置10包括用作第一圖像捕獲部的攝像機20、用作第二圖像捕獲部的PTZ攝像機30、用作投影部的投影器40、用作控制部的服務器50、半反射鏡(halfmirror)60、以及用作相對位置改變部的旋轉臺70。攝像機20例如包括CCD攝像器以捕獲設置在旋轉臺70上的對象(目標對象)200，同時將這種捕獲圖像的信息取入服務器50中。PTZ攝像機30是能夠對對象200進行搖攝、俯仰以及變焦的攝像器，并且在遠程終端100選擇了捕獲圖像中的給定區(qū)域時放大對象200中的選擇的給定區(qū)域以捕獲其圖像。攝像機20與PTZ攝像機30之間的位置關系是預先校準的。攝像機20捕獲透過半反射鏡60的圖像。
投影器40包括液晶投影器等，并且根據(jù)從遠程終端100基于所捕獲的圖像而給出的指示將注釋圖像201投影到對象200上。此外，投影器40排列為如下方式其光學系統(tǒng)通過半反射鏡60而與攝像機20的光學主點基本對準。投影器40通過其光學系統(tǒng)和半反射鏡60將從服務器50發(fā)送的注釋圖像投影到對象200上。從投影器40投影的注釋圖像被半反射鏡60反射并且投影到對象200上。注釋圖像包括任何類型的圖像，例如線條、字符、圖畫等等。
旋轉臺70受服務器50控制，使得放置在旋轉臺70上表面的對象200旋轉，從而改變對象200相對于攝像機20、PTZ攝像機30以及投影器40的位置。服務器50控制攝像機20、PTZ攝像機30、投影器40以及旋轉臺70的操作，同時通過網絡300向遠程終端100發(fā)送并且從其接收各種信息。此外，服務器50將攝像機20捕獲的圖像發(fā)送給遠程終端100，并且根據(jù)遠程終端100基于此捕獲圖像而發(fā)布的指示將注釋圖像投影到對象200上。此外，服務器50向遠程終端100發(fā)送PTZ攝像機30捕獲的圖像，并且根據(jù)遠程終端100基于PTZ攝像機30捕獲的圖像而發(fā)布的指示來通過PTZ攝像機30將注釋圖像投影到對象200上。
服務器50根據(jù)放置在旋轉臺70上的對象200的旋轉(移動)進行控制，以改變投影器40投影的注釋圖像的投影位置。
遠程終端100包括顯示裝置110、計算機120和定點裝置(鼠標)130等。顯示裝置110包括液晶顯示器或CRT等。計算機120連接到網絡300。定點裝置130連接到計算機120。顯示裝置110在其顯示畫面上顯示從對象側裝置10發(fā)送的、由攝像機20和PTZ攝像機30捕獲的圖像。定點裝置130用于通過正顯示有所捕獲圖像的顯示畫面上的指示器來操作各種按鈕，從而創(chuàng)建關于要投影到對象200上的注釋圖像的指示。定點裝置130也用于給出指示以利用旋轉臺70的旋轉來使得對象200旋轉。
接下來，參照圖2到圖4描述具有上述配置的遠程指示系統(tǒng)的操作。圖2是示出使用對象側裝置10的攝像機20的服務器50上的示例處理的流程圖。圖3是示出在遠程終端100的計算機120上形成圖像的示例處理的流程圖。圖4是例示出遠程終端100側上的示例操作的圖。
現(xiàn)在參照圖2，對象側裝置10的服務器50通過攝像機20開始捕獲圖像(步驟S11)，并且確定是否存在來自遠程終端100的計算機120的連接請求(步驟S12)。如果存在來自計算機120的連接請求，則服務器50通過網絡300將攝像機20捕獲的圖像發(fā)送到遠程終端100的計算機120(步驟S13)。
隨后，服務器50確定是否從計算機120發(fā)送了控制信號(步驟S14)?？刂菩盘柊ɡL制信號和位置控制信號，繪制信號是關于繪制注釋圖像的信息，位置控制信號是為了使旋轉臺70旋轉而提供的。如果服務器50接收到前述控制信號，則服務器50根據(jù)該控制信號的內容來執(zhí)行控制信號處理(步驟S15)。
同時，如果服務器50沒有接收到前述控制信號，則服務器50確定是否存在斷開請求(步驟S16)。如果不存在斷開請求，則服務器50返回步驟S13，并且通過網絡300向遠程終端100的計算機120發(fā)送新捕獲的圖像。如果存在斷開請求，則服務器50停止發(fā)送攝像機20捕獲的圖像(步驟S17)。接下來，服務器50確定是否存在處理結束請求(步驟S18)。如果不存在結束請求，則處理返回步驟S12以重復上述處理。如果存在處理結束請求，則處理結束。
接下來，對遠程終端100的操作給出描述。首先，如圖3所示，遠程終端100的計算機120向服務器50發(fā)布連接請求(步驟S21)。接著，在建立連接之后，例如，如圖4所示，計算機120在顯示裝置110的顯示畫面111上顯示從對象側裝置10的服務器50發(fā)送的捕獲圖像(步驟S22)。
隨后，計算機120確定操作員是否給出了關于在所捕獲圖像中的關注區(qū)域的指示(步驟S23)。如果存在關于關注區(qū)域的指示，則執(zhí)行根據(jù)該指示的處理(步驟S26)。具體地，如圖4所示，如果在顯示的圖像中存在操作員希望將注釋圖像201a投影于其上的區(qū)域，則遠程終端100的操作員在觀看顯示裝置110的顯示畫面111上的圖像的同時，對定點裝置130進行操作以在顯示畫面111上移動指示器Pt并且發(fā)布關于關注區(qū)域DR的指示。關注區(qū)域是對要將注釋圖像201a投影于其上的投影位置進行限定的區(qū)域。此時，操作員同時發(fā)布關于要投影到關注區(qū)域上的注釋圖像201a的信息的指示。
例如，可以通過使用定點裝置130來操作形成在顯示畫面111上的各種按鈕BT等，從而指示圖形信息(例如繪制矩形還是圓形)、預先準備的位像、從鍵盤輸入的文本信息。計算機120將在步驟S26指定的各種類型的信息發(fā)送給服務器50作為繪制信息(步驟S27)。
接下來，計算機120確定是否已經完成了操作員從遠程終端100基于攝像機20捕獲的圖像而發(fā)布的指示(步驟S28)。如果完成了指示，則向服務器50發(fā)布斷開請求(步驟S29)，并且結束處理。如果遠程終端100的操作員發(fā)布的指示尚未完成，則處理返回到步驟S22以重復上述處理。
在此，如果遠程終端100的操作員希望使得對象200旋轉，則操作員在觀看如圖4所示的顯示在顯示畫面111上的圖像的同時操作旋轉按鈕R1和R2以指示旋轉臺70的旋轉方向和旋轉量，以使得可以顯示捕獲圖像中的對象200中的操作員希望將注釋圖像投影于其上的區(qū)域，或者使得對象200的觀察位置最適當。旋轉按鈕R1和R2設置在顯示畫面111上，用于使得旋轉臺70旋轉。在步驟S23，如果不存在關于關注區(qū)域的指示(不存在關于注釋圖像的指示)，則計算機120確定應給出關于對象200的旋轉的指示，并且執(zhí)行與對象200的旋轉相關的處理(步驟S24)。
隨后，計算機120向對象側裝置10的服務器50發(fā)送關于旋轉量的信息(移動量信息)(步驟S25)，該信息是通過與對象200的旋轉相關的處理而獲得的。這使得旋轉臺70旋轉，改變了對象側裝置10上的對象200的旋轉位置。在遠程終端100的顯示裝置110上顯示新捕獲的圖像(步驟S22)。
接下來，對遠程指示系統(tǒng)1使用攝像機20和PTZ攝像機30執(zhí)行的處理給出描述。圖5是遠程指示系統(tǒng)1的操作流程圖。圖6A是例示出在攝像機20的捕獲圖像21中指定的縮放指定區(qū)域400的圖。圖6B是例示出PTZ攝像機30的捕獲圖像31的圖。圖6C是例示出繪制在PTZ攝像機30的捕獲圖像31中的注釋圖像202a的圖。圖6D是例示出注釋圖像201和202投影于其上的對象200的圖。圖6E是示出攝像機20捕獲的對象200(注釋圖像201和202投影于其上)的捕獲圖像21的圖。圖7A和圖7B是例示出縮放指定區(qū)域400的坐標與PTZ攝像機30的搖攝俯仰變焦值之間的變換的圖。
圖8是示出遠程終端的畫面(用戶接口)的圖。遠程終端100的畫面500同時顯示攝像機20捕獲的圖像21和PTZ攝像機30捕獲的捕獲圖像31。用戶使用定點裝置130等來操作繪制選擇按鈕422，并且選擇繪制方法，以將注釋圖像201a繪制在攝像機20捕獲的圖像21上或者PTZ攝像機30捕獲的圖像31上。在繪制選擇按鈕422中設置有放大指定按鈕423。通過選擇放大指定按鈕423，可以在攝像機20捕獲的圖像21上繪制矩形(縮放指定區(qū)域400)。
參照圖5來對操作進行描述。攝像機20捕獲對象200。服務器50始終通過網絡300連續(xù)向遠程終端100發(fā)送通過攝像機20捕獲的圖像?，F(xiàn)在，假設用戶在遠程終端100上用顏色A在通過攝像機20捕獲的圖像21上繪制注釋圖像201a。當服務器50檢測到在通過攝像機20捕獲的圖像21上已繪制了注釋圖像201a時(步驟S31)，將從遠程終端100接收的注釋圖像從攝像機20的坐標系變換為具有投影器40的坐標系。從投影器40將此經變換的注釋圖像投影到對象200上(步驟S32)。因此將注釋圖像201實際投影到對象200上。
當用戶使用定點裝置130在遠程終端100上指定了縮放指定區(qū)域400時，遠程終端100向服務器50發(fā)送縮放指定區(qū)域的坐標(x0，y0，x1，y1)。在此，如圖7A和7B所示，(x0，y0)表示縮放指定區(qū)域400的左上坐標，(x1，y1)表示縮放指定區(qū)域400的右下坐標。
當在攝像機20捕獲的圖像上選擇了縮放指定區(qū)域400時(步驟S33)，服務器50將從遠程終端100接收的縮放指定區(qū)域(選擇的給定區(qū)域)400的坐標值變換成PTZ攝像機30的搖攝俯仰變焦值(放大所必需的值)，以控制PTZ攝像機30(步驟S34)。具體地，服務器50基于縮放指定區(qū)域400的坐標(x0，y0，x1，y1)來計算PTZ攝像機30的對應搖攝俯仰變焦值(p，t，z)，以將縮放指定區(qū)域400修改為PTZ攝像機30捕獲的圖像31的縱橫比。在此，式(1)是將縮放指定區(qū)域400的坐標(x0，y0，x1，y1)變換成PTZ攝像機30的搖攝俯仰變焦值(p，t，z)的變換公式。
(式(1))(p，t，z)＝f(x0，y0，x1，y1)… (1)函數(shù)“f”是對于攝像機20和PTZ攝像機30的固有函數(shù)，是預先測量的。使用函數(shù)“f”的變換可以在服務器50上執(zhí)行或者可以在遠程終端100上執(zhí)行，并且將PTZ攝像機30的搖攝俯仰變焦值(p，t，z)發(fā)送到服務器50以控制PTZ攝像機30。
隨后，服務器50將PTZ攝像機30的搖攝俯仰變焦值(p，t，z)發(fā)送到PTZ攝像機30以控制PTZ攝像機30。事實上，PTZ攝像機30可以控制的搖攝俯仰變焦值(p，t，z)存在局限性。因此，通過最接近搖攝俯仰變焦值(p，t，z)的搖攝俯仰變焦值(p’，t’，z’)來控制PTZ攝像機30。接下來，服務器50取入PTZ攝像機30捕獲的圖像31，并且通過網絡300連續(xù)發(fā)送到遠程終端100。在從服務器50接收到PTZ攝像機30捕獲的圖像時，遠程終端100在顯示裝置110上顯示所捕獲的圖像。用戶在攝像機30捕獲的圖像31上繪制注釋圖像202a，并且隨后遠程終端100將這樣繪制的注釋圖像202a的繪制信息發(fā)送到服務器50。根據(jù)搖攝俯仰變焦控制值(p’，t’，z’)，實際縮放區(qū)域對應于坐標(x’0，y’0，x’1，y’1)。這是通過式(2)計算的。
(式(2))(x′0，y′o，x′1，y′1)＝f-1(p′，t′，z′)…(2)當檢測到在PTZ攝像機30捕獲的圖像31上繪制了注釋圖像時(步驟S35)，服務器50將根據(jù)基于PTZ攝像機30捕獲的圖像的指示而繪制的注釋圖像202a變換為具有攝像機20基于縮放指定區(qū)域400而捕獲的圖像21的坐標系(步驟S36)。具體地，服務器50將PTZ攝像機30捕獲的圖像的坐標系(xb，yb)變換為攝像機20的捕獲圖像的坐標系(xa，ya)。式(3)是此時的變換公式。
(式(3))(xa，ya)＝g(xb，yb) …(3)在此，函數(shù)“g”是使用實際縮放區(qū)域的坐標(x0’，y0’，x1’，y1’)以及PTZ攝像機30捕獲的圖像的圖像大小(w，h)、通過式(4)和(5)中所示的仿射變換而獲得的。
(式(4))xa=(x′1-x′0)wxb+x′0...(4)]]>(式(5))ya=(y′1-y′0)hyb+y′0...(5)]]>通過上述處理，將PTZ攝像機30捕獲的圖像31上的注釋圖像變換為具有攝像機20捕獲的圖像的坐標系的注釋圖像。隨后，服務器50將基于PTZ攝像機30捕獲的圖像31的注釋圖像202a變換為投影器40的坐標系，并且將此經變換的注釋圖像投影到對象200上(步驟S37)。由此，將基于PTZ攝像機30捕獲的圖像31的注釋圖像202a投影到對象200上。在此，服務器50可以將(xb，yb)變換為(xa，ya)，或者可以在遠程終端100上進行變換并通過網絡發(fā)送到服務器50。以此方式，對應于攝像機20捕獲的圖像中的矩形的位置，測量PTZ攝像機30的搖攝俯仰變焦值。因此，通過針對由攝像機20捕獲的圖像中的矩形的位置來測量PTZ攝像機30的搖攝俯仰變焦值，可以基于該搖攝俯仰變焦值來控制PTZ攝像機30，并且可以從投影器40將在PTZ攝像機30捕獲的圖像31上指定的注釋圖像投影到對象200上。
圖9示出遠程終端100上的用戶接口的變型例。遠程終端100在其畫面600上僅顯示捕獲圖像21。用戶使用定點裝置130等對繪制選擇按鈕422進行操作以選擇繪制方法，并且將注釋圖像繪制在捕獲圖像21上。在繪制選擇按鈕422中設置有放大指定按鈕423。通過選擇放大指定按鈕423，可以在捕獲圖像21上繪制縮放指定區(qū)域400。隨后，當在捕獲圖像21中繪制了縮放指定區(qū)域400時，自動打開彈出窗口601。在彈出窗口601上顯示PTZ攝像機30捕獲的圖像31，由此通過使用繪制選擇按鈕422來選擇繪制方法以基于PTZ攝像機30繪制注釋圖像202a。彈出窗口601設置有關閉按鈕602。用戶能夠通過操作關閉按鈕602來關閉彈出窗口601，由此節(jié)約畫面上的區(qū)域。
圖10示出遠程終端100上的用戶接口的另一變型例。用戶接口700也包括設置在彈出窗口701上的繪制選擇按鈕702。使用繪制選擇按鈕702，可以設置或者選擇與繪制選擇按鈕422不同的按鈕。彈出窗口701也設置有PTZ攝像機控制按鈕703。用戶對PTZ攝像機控制按鈕703進行操作，以使得用戶能夠在彈出窗口701上將安裝在遠程站上的PTZ攝像機30上下和左右移動。當彈出窗口701打開時，遠程終端100開始發(fā)送和接收PTZ攝像機30捕獲的圖像31。當彈出窗口701關閉時，遠程終端100停止發(fā)送和接收捕獲圖像31。這使得在不顯示通過PTZ攝像機30捕獲的捕獲圖像31時可以防止通信頻帶被浪費。
圖11示出關于在PTZ攝像機30的捕獲圖像上繪制注釋圖像的變型例。當在PTZ攝像機30捕獲的圖像上繪制注釋圖像時，在遠程終端上放大所捕獲的圖像，隨著PTZ攝像機30的放大因子增大，精度下降并且投影器40可以顯示的分辨率受到限制。因此，根據(jù)PTZ攝像機30捕獲的圖像的放大因子，確定在PTZ攝像機30的捕獲圖像上可以繪制注釋圖像的最小單位。在此，將最小單位設置為半徑“r”?？梢詫⒆钚挝辉O置為r×r(像素)。半徑“r”根據(jù)放大因子而變化。半徑“r”隨著放大因子的增大而增大。
如圖11所示，如果用戶指定放大因子較小的縮放指定區(qū)域401，則在PTZ攝像機30捕獲的圖像32中可以繪制注釋圖像的最小單位是半徑r1。如果用戶指定放大因子較大的縮放指定區(qū)域402，則在PTZ攝像機30捕獲的圖像33中可以繪制注釋圖像的最小單位是大于半徑r1的半徑r2?？梢允褂肞TZ攝像機30的縮放參數(shù)“z”來計算半徑“r”?？梢栽谶h程終端100上或者在服務器50上計算半徑“r”。根據(jù)本發(fā)明的示例性實施例，從攝像機20捕獲的廣角圖像中選擇區(qū)域，以控制PTZ攝像機30并且放大圖像。然而，在不使用PTZ攝像機30的情況下，通過對攝像機20捕獲的圖像進行數(shù)字縮放來放大攝像機20的指定區(qū)域。
根據(jù)本發(fā)明的上述示例性實施例，描述了與在遠程終端上的圖像中繪制注釋圖像并將注釋圖像投影到對象上的技術(iLight)一起使用的通過從攝像機20捕獲的廣角圖像中選擇區(qū)域來控制PTZ攝像機30的技術(FlySPEC)，從而使用關于縮放指定區(qū)域的信息而知道PTZ攝像機30在攝像機20上顯示哪個區(qū)域。因此，可以通過投影器40將在PTZ攝像機30捕獲的圖像上繪制的注釋圖像投影到對象200上。此外，不必對搖攝俯仰變焦、或者PTZ攝像機30的圖像坐標與投影器40的圖像坐標的對應進行測量，這需要的計算量較小。
根據(jù)本發(fā)明的上述示例性實施例，描述了用作投影部的投影器。然而，投影部不限于投影器。例如，可以通過向對象例如輻射激光束等來形成圖像。
根據(jù)本發(fā)明的上述示例性實施例，描述了用作相對位置改變部的旋轉臺。然而，相對位置改變部不限于旋轉臺。例如，可以采用機械手等作為相對位置改變部。
根據(jù)本發(fā)明的上述示例性實施例，描述了使對象發(fā)生移動的情況。然而，可以構成為使得用作圖像捕獲部的攝像機和用作投影部的投影器發(fā)生移動。
根據(jù)本發(fā)明的上述示例性實施例，描述了在顯示畫面111上形成旋轉按鈕R1和R2以指示旋轉臺70的旋轉。然而，本發(fā)明不限于此，可以采用鍵盤或者其他各種方法。
根據(jù)本發(fā)明的上述示例性實施例，描述了遠程終端100通過網絡300連接到服務器50的情況。然而，本發(fā)明不限于此。遠程終端100可以通過其他方法連接到服務器，并且遠程終端100可以設置在對象200側。
根據(jù)本發(fā)明的上述示例性實施例，可以通過網絡300將攝像機20捕獲的圖像和PTZ攝像機30捕獲的圖像從另一種硬件而不是服務器50發(fā)送到遠程站。
根據(jù)本發(fā)明的示例性實施例的遠程指示方法是通過對象側裝置10實現(xiàn)的。服務器50是通過中央處理單元(CPU)、只讀存儲器(ROM)和隨機存取存儲器(RAM)等實現(xiàn)的。
對本發(fā)明示例性實施例的前述描述是為了例示和描述的目的而提供的。其并非旨在窮舉或者將本發(fā)明限于所公開的確切形式。顯然，許多修改和變型對于本領域技術人員是顯而易見的。選擇并描述示例性實施例是為了最好地說明本發(fā)明的原理及其實際應用，從而使得本領域其他技術人員能夠理解本發(fā)明的適用于所構想特定用途的各種實施例和各種變型例。旨在由所附權利要求及其等同物來限定本發(fā)明的范圍。
權利要求
1.一種包括控制部的遠程指示系統(tǒng)，控制部將第一圖像發(fā)送到遠程終端，并且根據(jù)從遠程終端基于第一圖像而發(fā)布的指示來控制投影部以將第一注釋圖像投影到對象上，控制部將第二圖像發(fā)送到遠程終端，并且根據(jù)從遠程終端基于第二圖像而發(fā)布的指示來控制投影部以將第二注釋圖像投影到對象上，通過為捕獲對象的第一圖像而設置的第一圖像捕獲部來捕獲第一圖像，當從遠程終端選擇了第一圖像中的給定區(qū)域時，通過為放大對象的所述給定區(qū)域以捕獲第二圖像而設置的第二圖像捕獲部來捕獲第二圖像。
2.根據(jù)權利要求1所述的遠程指示系統(tǒng)，其中，控制部將選擇的所述給定區(qū)域的坐標變換為使用第二圖像捕獲部進行放大時使用的值，從而控制對第二圖像捕獲部捕獲的第二圖像的放大。
3.根據(jù)權利要求1所述的遠程指示系統(tǒng)，其中，控制部將如下的第二注釋圖像變換為具有第一圖像捕獲部的坐標系，并且隨后控制投影部以將經變換的注釋圖像投影到對象上，所述第二注釋圖像依照的是基于第二圖像捕獲部捕獲的第二圖像的指示。
4.根據(jù)權利要求1所述的遠程指示系統(tǒng)，該遠程指示系統(tǒng)進一步包括相對位置改變部，所述相對位置改變部改變對象相對于投影部、第一圖像捕獲部、以及第二圖像捕獲部的相對位置關系，其中，控制部根據(jù)由相對位置改變部進行了移動的對象，改變如下的第二注釋圖像的投影位置，所述第二注釋圖像依照的是基于第二圖像捕獲部捕獲的第二圖像的指示。
5.根據(jù)權利要求4所述的遠程指示系統(tǒng)，其中，相對位置改變部包括能夠使對象旋轉的旋轉臺。
6.一種遠程指示方法，該遠程指示方法包括以下步驟向遠程終端發(fā)送第一圖像；根據(jù)從遠程終端基于第一圖像而發(fā)布的指示進行控制以將第一注釋圖像投影到對象上；向遠程終端發(fā)送第二圖像；以及根據(jù)從遠程終端基于第二圖像而發(fā)布的指示進行控制以將第二注釋圖像投影到對象上，通過為捕獲對象的第一圖像而設置的第一圖像捕獲部來捕獲第一圖像，在從遠程終端選擇了第一圖像中的給定區(qū)域時，通過為放大對象的所述給定區(qū)域以捕獲第二圖像而設置的第二圖像捕獲部來捕獲第二圖像。
7.根據(jù)權利要求6所述的遠程指示方法，該遠程指示方法進一步包括以下步驟依照基于第二圖像捕獲部捕獲的第二圖像的指示將第二注釋圖像變換為具有第一圖像捕獲部的坐標系。
8.一種計算機可讀介質，該計算機可讀介質存儲有使得計算機執(zhí)行遠程指示處理的程序，所述遠程指示處理包括以下步驟向遠程終端發(fā)送第一圖像；根據(jù)從遠程終端基于第一圖像而發(fā)布的指示進行控制以將第一注釋圖像投影到對象上；向遠程終端發(fā)送第二圖像；以及根據(jù)從遠程終端基于第二圖像而發(fā)布的指示進行控制以將第二注釋圖像投影到對象上，通過為捕獲對象的第一圖像而設置的第一圖像捕獲部來捕獲第一圖像，在從遠程終端選擇了第一圖像中的給定區(qū)域時，通過為放大對象的所述給定區(qū)域以捕獲第二圖像而設置的第二圖像捕獲部來捕獲第二圖像。
全文摘要
本發(fā)明提供遠程指示系統(tǒng)、遠程指示方法和用于遠程指示的程序產品。遠程指示系統(tǒng)包括控制部。控制部將第一圖像發(fā)送到遠程終端，并根據(jù)從遠程終端基于第一圖像而發(fā)布的指示來控制投影部以將第一注釋圖像投影到對象上，并且，控制部將第二圖像發(fā)送到遠程終端，并根據(jù)從遠程終端基于第二圖像而發(fā)布的指示來控制投影部以將第二注釋圖像投影到對象上，通過為捕獲對象的第一圖像而設置的第一圖像捕獲部來捕獲第一圖像，當從遠程終端選擇了第一圖像中的給定區(qū)域時通過為放大對象的所述給定區(qū)域以捕獲第二圖像而設置的第二圖像捕獲部來捕獲第二圖像。
文檔編號H04N7/15GK101014114SQ20061015381
公開日2007年8月8日 申請日期2006年9月12日 優(yōu)先權日2006年2月2日
發(fā)明者新宮淳 申請人:富士施樂株式會社