本技術(shù)屬于計(jì)算機(jī)，可涉及眼動(dòng)追蹤領(lǐng)域，具體而言，本技術(shù)涉及一種眼動(dòng)追蹤方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、眼動(dòng)追蹤，是一種用于分析和記錄人眼注視點(diǎn)和視線移動(dòng)的技術(shù)。在眼動(dòng)追蹤的過(guò)程中，常常需要從采集的人眼圖像中快速定位和追蹤瞳孔的位置，以基于瞳孔的位置計(jì)算注視點(diǎn)，形成眼動(dòng)軌跡。

2、目前市面上常見(jiàn)的眼動(dòng)儀使用的幀率常常為30fps、60fps、90fps或者120fps，最高能達(dá)到200fps。如果幀率較低往往無(wú)法準(zhǔn)確捕捉到眼動(dòng)的實(shí)際情況，比如幀率30fps、60fps或90fps無(wú)法追蹤到快速眼動(dòng)的情況（例如快速眼動(dòng)、眨眼、眼震等）；如果幀率達(dá)到120fps，只能勉強(qiáng)捕捉到一些快速的眼動(dòng)，但所捕捉的眼球數(shù)據(jù)不夠平滑細(xì)膩，往往會(huì)呈現(xiàn)較大的波動(dòng)；如果幀率達(dá)到200fps，則留給每一幀圖像的分析時(shí)間已經(jīng)不足5ms，如果使用更高的幀率（例如1000fps）將會(huì)對(duì)算法有更高的要求。

3、然而，目前相關(guān)的圖像分析算法（如opencv）通常每秒只能處理幾十幀或上百幀，無(wú)法滿足高幀率下眼動(dòng)數(shù)據(jù)的快速追蹤。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種眼動(dòng)追蹤方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)，能夠快速定位瞳孔，實(shí)現(xiàn)高幀率下眼動(dòng)數(shù)據(jù)的快速追蹤。為實(shí)現(xiàn)該目的，本技術(shù)實(shí)施例提供的技術(shù)方案如下：

2、一方面，本技術(shù)實(shí)施例提供了一種眼動(dòng)追蹤方法，該方法包括：

3、獲取目標(biāo)對(duì)象觀察目標(biāo)場(chǎng)景時(shí)的人眼圖像序列，所述人眼圖像序列包括多幀人眼圖像；

4、確定所述人眼圖像序列中首幀人眼圖像中人眼的瞳孔位置；

5、對(duì)于所述人眼圖像序列中每一非首幀人眼圖像，通過(guò)執(zhí)行第一操作，確定該幀人眼圖像中人眼的瞳孔位置；

6、對(duì)于所述多幀人眼圖像中的每幀人眼圖像，根據(jù)該幀人眼圖像中人眼的瞳孔位置，確定該幀人眼圖像中人眼的注視點(diǎn)位置；

7、其中，對(duì)于每一非首幀人眼圖像，所述第一操作包括以下步驟：

8、根據(jù)該幀人眼圖像的前序圖像中人眼的瞳孔位置，確定該幀人眼圖像中瞳孔候選區(qū)域的第一基準(zhǔn)位置，其中，所述前序圖像包括所述人眼圖像序列中在該幀人眼圖像之前采集的至少一幀人眼圖像；

9、根據(jù)所述第一基準(zhǔn)位置和第一區(qū)域范圍，確定該幀人眼圖像中的瞳孔候選區(qū)域，從所述瞳孔候選區(qū)域中，確定該幀人眼圖像中人眼的瞳孔位置；其中，所述第一區(qū)域范圍小于人眼圖像的區(qū)域大小。

10、另一方面，本技術(shù)實(shí)施例提供了一種眼動(dòng)追蹤裝置，該裝置包括：

11、圖像獲取模塊，用于獲取目標(biāo)對(duì)象觀察目標(biāo)場(chǎng)景時(shí)的人眼圖像序列，所述人眼圖像序列包括多幀人眼圖像；

12、第一瞳孔定位模塊，用于確定所述人眼圖像序列中首幀人眼圖像中人眼的瞳孔位置；

13、第二瞳孔定位模塊，用于針對(duì)所述人眼圖像序列中每一非首幀人眼圖像，通過(guò)執(zhí)行第一操作，確定該幀人眼圖像中人眼的瞳孔位置；其中，對(duì)于每一非首幀人眼圖像，用于根據(jù)該幀人眼圖像的前序圖像中人眼的瞳孔位置，確定該幀人眼圖像中瞳孔候選區(qū)域的第一基準(zhǔn)位置，其中，所述前序圖像包括所述人眼圖像序列中在該幀人眼圖像之前采集的至少一幀人眼圖像；根據(jù)所述第一基準(zhǔn)位置和第一區(qū)域范圍，確定該幀人眼圖像中的瞳孔候選區(qū)域，從所述瞳孔候選區(qū)域中，確定該幀人眼圖像中人眼的瞳孔位置；其中，所述第一區(qū)域范圍小于人眼圖像的區(qū)域大小；

14、注視點(diǎn)確定模塊，用于針對(duì)所述多幀人眼圖像中的每幀人眼圖像，根據(jù)該幀人眼圖像中人眼的瞳孔位置，確定該幀人眼圖像中人眼的注視點(diǎn)位置。

15、可選的，所述人眼圖像序列中的多幀人眼圖像是在人眼被紅外光照射的情況下采集到的；

16、所述注視點(diǎn)確定模塊還可以用于：

17、根據(jù)該幀人眼圖像中人眼的瞳孔位置和目標(biāo)反光點(diǎn)位置，確定該幀人眼圖像中人眼的注視點(diǎn)位置。

18、可選的，所述眼動(dòng)追蹤裝置還包括反光點(diǎn)定位模塊，所述反光點(diǎn)定位模塊可以用于：

19、確定所述人眼圖像序列中首幀人眼圖像中人眼的目標(biāo)反光點(diǎn)位置；

20、對(duì)于所述人眼圖像序列中每一非首幀人眼圖像，根據(jù)該幀人眼圖像的前序圖像中人眼的目標(biāo)反光點(diǎn)位置，確定該幀人眼圖像中反光點(diǎn)候選區(qū)域的第二基準(zhǔn)位置；根據(jù)所述第二基準(zhǔn)位置和第二區(qū)域范圍，確定該幀人眼圖像中的反光點(diǎn)候選區(qū)域，從所述反光點(diǎn)候選區(qū)域中，確定該幀人眼圖像中人眼的目標(biāo)反光點(diǎn)位置。

21、可選的，所述注視點(diǎn)確定模塊還可以用于：

22、根據(jù)該幀人眼圖像中人眼的瞳孔位置和目標(biāo)反光點(diǎn)位置，確定瞳孔位置和目標(biāo)反光點(diǎn)位置之間的偏移量；

23、根據(jù)所述瞳孔位置和所述目標(biāo)反光點(diǎn)位置之間的偏移量，確定該幀人眼圖像中人眼的注視點(diǎn)位置。

24、可選的，所述反光點(diǎn)定位模塊可以用于：

25、對(duì)所述反光點(diǎn)候選區(qū)域進(jìn)行反光點(diǎn)檢測(cè)；

26、若未檢測(cè)出反光點(diǎn)，根據(jù)該幀人眼圖像的前序圖像中人眼的目標(biāo)反光點(diǎn)位置，確定該幀人眼圖像中人眼的目標(biāo)反光點(diǎn)位置；

27、若檢測(cè)出一個(gè)反光點(diǎn)，將該反光點(diǎn)所在的位置，作為人眼的目標(biāo)反光點(diǎn)位置；

28、若檢測(cè)出多個(gè)反光點(diǎn)，根據(jù)各反光點(diǎn)的關(guān)聯(lián)屬性，從各反光點(diǎn)中確定目標(biāo)反光點(diǎn)，并確定所述目標(biāo)反光點(diǎn)的位置；

29、其中，反光點(diǎn)的關(guān)聯(lián)屬性包括以下至少一項(xiàng)：

30、反光點(diǎn)的大??；

31、反光點(diǎn)的灰度值；

32、反光點(diǎn)與瞳孔之間的相對(duì)位置

33、雙眼反光點(diǎn)之間的相對(duì)位置。

34、可選的，所述反光點(diǎn)定位模塊可以用于：

35、根據(jù)各反光點(diǎn)的關(guān)聯(lián)屬性，確定各反光點(diǎn)的權(quán)重；

36、將權(quán)重最大的反光點(diǎn)作為目標(biāo)反光點(diǎn)。

37、可選的，所述目標(biāo)場(chǎng)景包含若干校準(zhǔn)刺激點(diǎn)；

38、所述眼動(dòng)追蹤裝置還包括校準(zhǔn)模塊，所述校準(zhǔn)模塊可以用于：

39、對(duì)于每個(gè)校準(zhǔn)刺激點(diǎn)，根據(jù)所述目標(biāo)對(duì)象觀察該校準(zhǔn)刺激點(diǎn)時(shí)的人眼圖像中每只人眼的瞳孔位置和目標(biāo)反光點(diǎn)位置，分別確定所述目標(biāo)對(duì)象觀察該校準(zhǔn)刺激點(diǎn)時(shí)的左眼偏移量和右眼偏移量；

40、基于所述目標(biāo)對(duì)象觀察各校準(zhǔn)刺激點(diǎn)時(shí)的左眼偏移量和右眼偏移量，以及各校準(zhǔn)刺激點(diǎn)的位置，進(jìn)行眼動(dòng)追蹤校準(zhǔn)。

41、另一方面，本技術(shù)實(shí)施例還提供了一種眼動(dòng)追蹤方法，該方法包括

42、獲取目標(biāo)對(duì)象觀察目標(biāo)場(chǎng)景時(shí)的人眼圖像序列，所述人眼圖像序列包括多幀人眼圖像；

43、針對(duì)每幀人眼圖像，確定該幀人眼圖像中的瞳孔位置；

44、針對(duì)每幀人眼圖像，根據(jù)該幀人眼圖像的人眼區(qū)域中的多個(gè)反光點(diǎn)各自的關(guān)聯(lián)屬性，從所述多個(gè)反光點(diǎn)中確定目標(biāo)反光點(diǎn)，并確定所述目標(biāo)反光點(diǎn)的位置；

45、基于每幀人眼圖像中人眼的瞳孔位置和目標(biāo)反光點(diǎn)位置，確定每幀人眼圖像中人眼的注視點(diǎn)位置；

46、其中，反光點(diǎn)的關(guān)聯(lián)屬性包括以下至少一項(xiàng)：

47、反光點(diǎn)的大?。?/p>

48、反光點(diǎn)的灰度值；

49、反光點(diǎn)與瞳孔之間的相對(duì)位置；

50、雙眼反光點(diǎn)之間的相對(duì)位置。

51、另一方面，本技術(shù)實(shí)施例還提供了一種眼動(dòng)追蹤裝置，該裝置包括

52、圖像獲取模塊，用于獲取目標(biāo)對(duì)象觀察目標(biāo)場(chǎng)景時(shí)的人眼圖像序列，所述人眼圖像序列包括多幀人眼圖像；

53、瞳孔定位模塊，用于針對(duì)每幀人眼圖像，確定該幀人眼圖像中的瞳孔位置；

54、目標(biāo)反光點(diǎn)定位模塊，用于針對(duì)每幀人眼圖像，根據(jù)該幀人眼圖像的人眼區(qū)域中的多個(gè)反光點(diǎn)各自的關(guān)聯(lián)屬性，從所述多個(gè)反光點(diǎn)中確定目標(biāo)反光點(diǎn)，并確定所述目標(biāo)反光點(diǎn)的位置；其中，反光點(diǎn)的關(guān)聯(lián)屬性包括以下至少一項(xiàng)：反光點(diǎn)的大小、反光點(diǎn)的灰度值、反光點(diǎn)與瞳孔之間的相對(duì)位置、雙眼反光點(diǎn)之間的相對(duì)位置；

55、注視點(diǎn)定位模塊，基于每幀人眼圖像中人眼的瞳孔位置和目標(biāo)反光點(diǎn)位置，確定每幀人眼圖像中人眼的注視點(diǎn)位置。

56、另一方面，本技術(shù)實(shí)施例還提供了一種眼動(dòng)追蹤系統(tǒng)，該眼動(dòng)追蹤系統(tǒng)包括圖像采集器、存儲(chǔ)器和處理器，圖像采集器用于采集人眼圖像，存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，處理器執(zhí)行該計(jì)算機(jī)程序以實(shí)現(xiàn)本技術(shù)任一可選實(shí)施例中提供的方法。

57、另一方面，本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本技術(shù)任一可選實(shí)施例中提供的方法。

58、另一方面，本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)產(chǎn)品包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本技術(shù)任一可選實(shí)施例中提供的方法。

59、本技術(shù)實(shí)施例提供的技術(shù)方案帶來(lái)的有益效果如下：

60、本技術(shù)實(shí)施例提供的眼動(dòng)追蹤方法，在定位人眼圖像中的瞳孔位置時(shí)，基于該幀人眼圖像的前序圖像中人眼的瞳孔位置，確定第一基準(zhǔn)位置，基于第一基準(zhǔn)位置和第一區(qū)域范圍，確定該幀人眼圖像中的瞳孔候選區(qū)域，進(jìn)而以該瞳孔候選區(qū)域作為檢索范圍，快速定位瞳孔位置?；谠摲椒ǎ蟠罂s小了瞳孔的搜索范圍，縮短了搜索時(shí)間，達(dá)到了快速定位瞳孔的目的，實(shí)現(xiàn)了高幀率下的眼動(dòng)數(shù)據(jù)的快速追蹤。