基于投影圖像的觸控定位控制方法
【專利摘要】本發(fā)明提供了一種基于投影圖像的觸控定位控制方法，通過計算機運行觸控操作應用程序，在投影儀投影的計算機顯示畫面投影影像區(qū)域內指定控制點位置，計算機根據(jù)畫面坐標-投影世界坐標轉換模型和投影世界坐標-視頻坐標轉換模型進行觸控定位控制的轉換，確定觸控操作畫面中執(zhí)行觸控操作的位置，進而控制觸控操作應用程序執(zhí)行相應的觸控操作任務，就好像在投影儀輸出的投影影像區(qū)域中實現(xiàn)了觸控操作一樣，從而達到了在投影畫面中直接對觸控操作應用程序進行控制操作的效果，并且確保了計算機執(zhí)行的觸控定位控制處理的高效性和準確性，解決了現(xiàn)有技術中人機交互受到電子設備屏幕大小限制的問題，為在投影平面上控制觸控操作應用程序提供了技術保證。
【專利說明】基于投影圖像的觸控定位控制方法
【技術領域】
[0001]本發(fā)明屬于圖像識別技術和計算機控制【技術領域】，尤其涉及一種基于投影圖像的觸控定位控制方法。
【背景技術】
[0002]目前大多數(shù)便攜式電子設備(例如手機、平板電腦等)都采用液晶顯示器([⑶)作為人機界面的主要輸出設備，并且越來越多的便攜式電子設備具備了全屏觸控功能，能夠通過觸控實現(xiàn)人機交互。但由于受到便攜式電子設備自身體積的限制，顯示屏幕都做得比較小，這不便于用戶在屏幕界面上進行人機交互。
[0003]隨著投影機行業(yè)的不斷發(fā)展及產(chǎn)品的不斷換代，越來越多的投影系統(tǒng)都具有交互功能，即通過一些在投影幕上的操作來完成原先需要在電子設備的屏幕界面上控制執(zhí)行的功能，這樣就解決人機交互受到電子設備屏幕大小限制的問題。近年來出現(xiàn)了一些關于交互式投影系統(tǒng)技術的相關研究。例如我國專利⑶102063618八以及⑶101881921八公開的交互式投影系統(tǒng)中，采用投影裝置顯示圖像，并采用攝像機對投影圖像進行攝像，然后通過投影平面上的手勢動作在交互式投影系統(tǒng)中定義若干手勢，每種手勢與指令相對應，存儲在指令數(shù)據(jù)庫中，從而利用可以手勢實現(xiàn)比如確認、取消、翻頁等操作。但該系統(tǒng)最大的缺陷是手勢定義的指令數(shù)量有限；一方面，指令數(shù)的增加必然會加大用戶的學習難度，很難被普通用戶接受；另外一方面，即使指令數(shù)量增加到一定程度，也很難實現(xiàn)虛擬鍵盤輸入操作、手勢控制目標位置等更為復雜的功能。
[0004]全屏觸控電子設備的普及，也帶動了觸控操作應用程序的發(fā)展。在交互式觸控投影系統(tǒng)中，如果能夠與觸控操作應用程序相結合，在投影平面上對觸控操作應用程序進行控制操作，那將意味著可以通過在投影平面上的操作實現(xiàn)確認、取消、翻頁以及虛擬鍵盤輸入操作、手勢控制目標位置等幾乎所有的控制功能，解決人機交互受到電子設備屏幕大小限制的問題。然而，目前還缺乏通過在投影平面上的操作對觸控操作應用程序進行控制的成熟技術。

【發(fā)明內容】

[0005]針對現(xiàn)有技術中存在的上述問題，為了解決現(xiàn)有技術中人機交互受到電子設備屏幕大小限制的問題，本發(fā)明提供了一種基于投影圖像的觸控定位控制方法，其結合觸控操作應用程序，使得能夠通過在投影畫面中指定控制點位置而直接實現(xiàn)對觸控操作應用程序的控制，從而為在投影平面上控制觸控操作應用程序提供技術保證。
[0006]為實現(xiàn)上述目的，本發(fā)明采用了如下技術手段:
[0007]基于投影圖像的觸控定位控制方法，采用交互式觸控投影系統(tǒng)進行控制；所述交互式觸控投影系統(tǒng)包括計算機、投影儀和攝像裝置；其中，投影儀連接計算機的顯示輸出端，用于對計算機的顯示畫面進行投影；攝像裝置連接計算機的數(shù)據(jù)輸入端，用于采集包含有計算機顯示畫面投影影像區(qū)域的視頻圖像，并將采集的視頻圖像實時傳輸給計算機；計算機用于運行觸控操作應用程序并顯示輸出觸控操作畫面，根據(jù)視頻圖像中指定的控制點位置，對觸控操作畫面中執(zhí)行觸控操作的位置進行控制；該方法具體包括如下步驟:
[0008]I)通過測量投影儀投影的計算機顯示畫面投影影像區(qū)域的實際尺寸，確定計算機顯示畫面投影影像區(qū)域的世界坐標區(qū)域，在計算機中建立計算機顯示輸出的顯示畫面坐標域與投影儀投影的計算機顯示畫面投影影像世界坐標區(qū)域之間的坐標對應轉換關系，作為顯示畫面坐標-投影世界坐標轉換模型記錄在計算機中；
[0009]2)控制計算機顯示由若干黑色、白色矩形塊交錯相鄰拼接形成的棋盤格圖案，由投影儀對計算機的顯示畫面進行投影；
[0010]3)將投影儀投影的棋盤格圖案作為棋盤格標定模板，利用攝像裝置從多個不同拍攝角度抓取棋盤格標定模板的圖像，采用基于OpenCV的攝像機標定方法對攝像裝置進行標定，得到攝像裝置的內部參數(shù)和畸變系數(shù)，并保存在計算機中；
[0011]4)保持計算機的顯示狀態(tài)和投影儀的投影狀態(tài)不變，將投影儀投影的棋盤格圖案作為棋盤格標定模板，設定攝像裝置的拍攝位置，抓取棋盤格標定模板的圖像，由計算機利用保存的畸變系數(shù)對抓取的棋盤格標定模板的圖像進行畸變校正；
[0012]5)利用畸變校 正后的棋盤格標定模板的圖像以及計算機保存的內部參數(shù)，再次采用基于OpenCV的攝像機標定方法對攝像裝置進行標定，得到攝像裝置在設定的拍攝位置狀態(tài)下的旋轉矩陣和平移矩陣；
[0013]6)計算機根據(jù)保存的內部參數(shù)以及設定的拍攝位置狀態(tài)下的旋轉矩陣和平移矩陣，得到設定的拍攝位置狀態(tài)下投影儀投影的計算機顯示畫面投影影像的世界坐標區(qū)域與畸變校正后的視頻圖像的像素坐標域之間的坐標對應轉換關系，作為投影世界坐標-視頻像素坐標轉換模型記錄在計算機中；
[0014]7)計算機運行觸控操作應用程序并顯示輸出觸控操作畫面，由投影儀對計算機的顯示畫面進行投影，由攝像裝置在設定的拍攝位置實時采集包含有計算機顯示畫面投影影像區(qū)域的視頻圖像并傳輸給計算機，由計算機利用保存的畸變系數(shù)對視頻圖像進行畸變校正；
[0015]8)在投影儀投影的計算機顯示畫面投影影像區(qū)域內指定控制點位置；
[0016]9)計算機根據(jù)投影世界坐標-視頻像素坐標轉換模型，計算出畸變校正后的視頻圖像中在計算機顯示畫面投影影像區(qū)域內指定的控制點位置的像素坐標所對應的投影影像世界坐標，再根據(jù)顯示畫面坐標-投影世界坐標轉換模型，計算出該投影影像世界坐標對應的顯示畫面坐標，并按照該顯示畫面坐標確定計算機顯示輸出的觸控操作畫面中執(zhí)行觸控操作的位置，控制觸控操作應用程序執(zhí)行相應的觸控操作任務。
[0017]上述基于投影圖像的觸控定位控制方法中，具體而言，所述投影世界坐標-視頻像素坐標轉換模型為:
【權利要求】
1.基于投影圖像的觸控定位控制方法，其特征在于，采用交互式觸控投影系統(tǒng)進行控制；所述交互式觸控投影系統(tǒng)包括計算機、投影儀和攝像裝置；其中，投影儀連接計算機的顯示輸出端，用于對計算機的顯示畫面進行投影；攝像裝置連接計算機的數(shù)據(jù)輸入端，用于采集包含有計算機顯示畫面投影影像區(qū)域的視頻圖像，并將采集的視頻圖像實時傳輸給計算機；計算機用于運行觸控操作應用程序并顯示輸出觸控操作畫面，根據(jù)視頻圖像中指定的控制點位置，對觸控操作畫面中執(zhí)行觸控操作的位置進行控制；該方法具體包括如下步驟: 1)通過測量投影儀投影的計算機顯示畫面投影影像區(qū)域的實際尺寸，確定計算機顯示畫面投影影像區(qū)域的世界坐標區(qū)域，在計算機中建立計算機顯示輸出的顯示畫面坐標域與投影儀投影的計算機顯示畫面投影影像世界坐標區(qū)域之間的坐標對應轉換關系，作為顯示畫面坐標-投影世界坐標轉換模型記錄在計算機中； 2)控制計算機顯示由若干黑色、白色矩形塊交錯相鄰拼接形成的棋盤格圖案，由投影儀對計算機的顯示畫面進行投影； 3)將投影儀投影的棋盤格圖案作為棋盤格標定模板，利用攝像裝置從多個不同拍攝角度抓取棋盤格標定模板的圖像，采用基于OpenCV的攝像機標定方法對攝像裝置進行標定，得到攝像裝置的內部參數(shù)和畸變系數(shù)，并保存在計算機中； 4)保持計算機的顯示狀態(tài)和投影儀的投影狀態(tài)不變，將投影儀投影的棋盤格圖案作為棋盤格標定模板，設定攝像裝置的拍攝位置，抓取棋盤格標定模板的圖像，由計算機利用保存的畸變系數(shù)對抓取的棋盤格標定模板的圖像進行畸變校正； 5)利用畸變校正后的棋盤格標定模板的圖像以及計算機保存的內部參數(shù)，再次采用基于OpenCV的攝像機標定方法對攝像裝置進行標定，得到攝像裝置在設定的拍攝位置狀態(tài)下的旋轉矩陣和平移矩陣； 6)計算機根據(jù)保存的內部參數(shù)以及設定的拍攝位置狀態(tài)下的旋轉矩陣和平移矩陣，得到設定的拍攝位置狀態(tài)下投影儀投影的計算機顯示畫面投影影像的世界坐標區(qū)域與畸變校正后的視頻圖像的像素坐標域之間的坐標對應轉換關系，作為投影世界坐標-視頻像素坐標轉換模型記錄在計算機中； 7)計算機運行觸控操作應用程序并顯示輸出觸控操作畫面，由投影儀對計算機的顯示畫面進行投影，由攝像裝置在設定的拍攝位置實時采集包含有計算機顯示畫面投影影像區(qū)域的視頻圖像并傳輸給計算機，由計算機利用保存的畸變系數(shù)對視頻圖像進行畸變校正； 8)在投影儀投影的計算機顯示畫面投影影像區(qū)域內指定控制點位置； 9)計算機根據(jù)投影世界坐標-視頻像素坐標轉換模型，計算出畸變校正后的視頻圖像中在計算機顯示畫面投影影像區(qū)域內指定的控制點位置的像素坐標所對應的投影影像世界坐標，再根據(jù)顯示畫面坐標-投影世界坐標轉換模型，計算出該投影影像世界坐標對應的顯示畫面坐標，并按照該顯示畫面坐標確定計算機顯示輸出的觸控操作畫面中執(zhí)行觸控操作的位置，控制觸控操作應用程序執(zhí)行相應的觸控操作任務。
2.根據(jù)權利要求1所述基于投影圖像的觸控定位控制方法，其特征在于，所述投影世界坐標-視頻像素坐標轉換模型為:
【文檔編號】G06F3/042GK103838437SQ201410097620
【公開日】2014年6月4日 申請日期:2014年3月14日 優(yōu)先權日:2014年3月14日
【發(fā)明者】張毅, 楊正益, 譚勇, 張紅杰, 柏景文 申請人:重慶大學