本發(fā)明涉及數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備、可讀存儲介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、現(xiàn)有的光域神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)并行光速計算，相對電域神經(jīng)網(wǎng)絡(luò)大大提升了計算速度，同時降低了電域計算的計算量和能耗；但是目前的光域神經(jīng)網(wǎng)絡(luò)只能實現(xiàn)2d(二維)卷積運算，無法同時提取視頻數(shù)據(jù)的時域和空域特征，在視頻類任務(wù)的效果較差。

2、由上，現(xiàn)有技術(shù)中的光域神經(jīng)網(wǎng)絡(luò)無法支持提取三維視頻數(shù)據(jù)的時域和空域特征。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種數(shù)據(jù)處理方法、裝置、設(shè)備、可讀存儲介質(zhì)及程序產(chǎn)品，以解決現(xiàn)有技術(shù)中光域神經(jīng)網(wǎng)絡(luò)無法支持提取三維視頻數(shù)據(jù)的時域和空域特征的問題。

2、為了解決上述技術(shù)問題，本發(fā)明實施例提供一種數(shù)據(jù)處理方法，包括：

3、利用第一光卷積神經(jīng)網(wǎng)絡(luò)中的第一空間光調(diào)制器，根據(jù)三維視頻數(shù)據(jù)的二維空域數(shù)據(jù)，得到二維空域卷積數(shù)據(jù)；

4、利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖；

5、其中，所述時域處理器包括：探測器，或者第二空間光調(diào)制器；

6、所述第一光卷積神經(jīng)網(wǎng)絡(luò)中還設(shè)有第一透鏡和第二透鏡；所述第一光卷積神經(jīng)網(wǎng)絡(luò)中用于輸入所述三維視頻數(shù)據(jù)的輸入層位于所述第一透鏡的前焦面上，所述第一空間光調(diào)制器位于所述第一透鏡的后焦面以及所述第二透鏡的前焦面上，所述時域處理器位于所述第二透鏡的后焦面上。

7、可選的，所述利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖，包括：

8、利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理中的相乘處理，得到第一中間數(shù)據(jù)；并針對所述第一中間數(shù)據(jù)進(jìn)行卷積處理中的相加處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖。

9、可選的，在所述時域處理器包括第二空間光調(diào)制器的情況下，所述利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理中的相乘處理，得到第一中間數(shù)據(jù)，包括：

10、利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理中的相乘處理，并利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的探測器進(jìn)行感應(yīng)，獲取所述相乘處理后得到的第一中間數(shù)據(jù)。

11、可選的，所述針對所述第一中間數(shù)據(jù)進(jìn)行卷積處理中的相加處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖，包括：

12、根據(jù)針對所述一維時域數(shù)據(jù)的卷積核的大小和步長，針對所述第一中間數(shù)據(jù)進(jìn)行卷積處理中的相加處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖。

13、可選的，所述時域處理器滿足以下至少一項設(shè)置：

14、所述三維視頻數(shù)據(jù)的輸入幀率與所述時域處理器包含的探測器的采集幀率是根據(jù)同一時鐘信號確定的；

15、所述時域處理器包含的探測器的曝光時間是根據(jù)針對所述一維時域數(shù)據(jù)的卷積核的不同位置的值確定的；

16、所述三維視頻數(shù)據(jù)的輸入控制時鐘信號和所述時域處理器包含的探測器的采集控制時鐘信號是根據(jù)針對所述一維時域數(shù)據(jù)的卷積核的不同位置的值、所述三維視頻數(shù)據(jù)的幀數(shù)以及所述三維視頻數(shù)據(jù)的輸入幀率確定的；

17、所述三維視頻數(shù)據(jù)的輸入采用時鐘信號的上升沿觸發(fā)；

18、所述時域處理器包含的探測器的采集采用時鐘信號的帶寬觸發(fā)；

19、所述三維視頻數(shù)據(jù)的輸入周期、所述時域處理器包含的第二空間光調(diào)制器的控制周期以及所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的探測器的采集周期是根據(jù)同一時鐘信號確定的。

20、本發(fā)明實施例還提供了一種數(shù)據(jù)處理裝置，包括：

21、第一處理模塊，用于利用第一光卷積神經(jīng)網(wǎng)絡(luò)中的第一空間光調(diào)制器，根據(jù)三維視頻數(shù)據(jù)的二維空域數(shù)據(jù)，得到二維空域卷積數(shù)據(jù)；

22、第二處理模塊，用于利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖；

23、其中，所述時域處理器包括：探測器，或者第二空間光調(diào)制器；

24、所述第一光卷積神經(jīng)網(wǎng)絡(luò)中還設(shè)有第一透鏡和第二透鏡；所述第一光卷積神經(jīng)網(wǎng)絡(luò)中用于輸入所述三維視頻數(shù)據(jù)的輸入層位于所述第一透鏡的前焦面上，所述第一空間光調(diào)制器位于所述第一透鏡的后焦面以及所述第二透鏡的前焦面上，所述時域處理器位于所述第二透鏡的后焦面上。

25、可選的，所述利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖，包括：

26、利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理中的相乘處理，得到第一中間數(shù)據(jù)；并針對所述第一中間數(shù)據(jù)進(jìn)行卷積處理中的相加處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖。

27、可選的，在所述時域處理器包括第二空間光調(diào)制器的情況下，所述利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理中的相乘處理，得到第一中間數(shù)據(jù)，包括：

28、利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理中的相乘處理，并利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的探測器進(jìn)行感應(yīng)，獲取所述相乘處理后得到的第一中間數(shù)據(jù)。

29、可選的，所述針對所述第一中間數(shù)據(jù)進(jìn)行卷積處理中的相加處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖，包括：

30、根據(jù)針對所述一維時域數(shù)據(jù)的卷積核的大小和步長，針對所述第一中間數(shù)據(jù)進(jìn)行卷積處理中的相加處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖。

31、可選的，所述時域處理器滿足以下至少一項設(shè)置：

32、所述三維視頻數(shù)據(jù)的輸入幀率與所述時域處理器包含的探測器的采集幀率是根據(jù)同一時鐘信號確定的；

33、所述時域處理器包含的探測器的曝光時間是根據(jù)針對所述一維時域數(shù)據(jù)的卷積核的不同位置的值確定的；

34、所述三維視頻數(shù)據(jù)的輸入控制時鐘信號和所述時域處理器包含的探測器的采集控制時鐘信號是根據(jù)針對所述一維時域數(shù)據(jù)的卷積核的不同位置的值、所述三維視頻數(shù)據(jù)的幀數(shù)以及所述三維視頻數(shù)據(jù)的輸入幀率確定的；

35、所述三維視頻數(shù)據(jù)的輸入采用時鐘信號的上升沿觸發(fā)；

36、所述時域處理器包含的探測器的采集采用時鐘信號的帶寬觸發(fā)；

37、所述三維視頻數(shù)據(jù)的輸入周期、所述時域處理器包含的第二空間光調(diào)制器的控制周期以及所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的探測器的采集周期是根據(jù)同一時鐘信號確定的。

38、本發(fā)明實施例還提供了一種數(shù)據(jù)處理設(shè)備，包括：處理器；

39、所述處理器，用于利用第一光卷積神經(jīng)網(wǎng)絡(luò)中的第一空間光調(diào)制器，根據(jù)三維視頻數(shù)據(jù)的二維空域數(shù)據(jù)，得到二維空域卷積數(shù)據(jù)；

40、利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖；

41、其中，所述時域處理器包括：探測器，或者第二空間光調(diào)制器；

42、所述第一光卷積神經(jīng)網(wǎng)絡(luò)中還設(shè)有第一透鏡和第二透鏡；所述第一光卷積神經(jīng)網(wǎng)絡(luò)中用于輸入所述三維視頻數(shù)據(jù)的輸入層位于所述第一透鏡的前焦面上，所述第一空間光調(diào)制器位于所述第一透鏡的后焦面以及所述第二透鏡的前焦面上，所述時域處理器位于所述第二透鏡的后焦面上。

43、可選的，所述利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖，包括：

44、利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理中的相乘處理，得到第一中間數(shù)據(jù)；并針對所述第一中間數(shù)據(jù)進(jìn)行卷積處理中的相加處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖。

45、可選的，在所述時域處理器包括第二空間光調(diào)制器的情況下，所述利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理中的相乘處理，得到第一中間數(shù)據(jù)，包括：

46、利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理中的相乘處理，并利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的探測器進(jìn)行感應(yīng)，獲取所述相乘處理后得到的第一中間數(shù)據(jù)。

47、可選的，所述針對所述第一中間數(shù)據(jù)進(jìn)行卷積處理中的相加處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖，包括：

48、根據(jù)針對所述一維時域數(shù)據(jù)的卷積核的大小和步長，針對所述第一中間數(shù)據(jù)進(jìn)行卷積處理中的相加處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖。

49、可選的，所述時域處理器滿足以下至少一項設(shè)置：

50、所述三維視頻數(shù)據(jù)的輸入幀率與所述時域處理器包含的探測器的采集幀率是根據(jù)同一時鐘信號確定的；

51、所述時域處理器包含的探測器的曝光時間是根據(jù)針對所述一維時域數(shù)據(jù)的卷積核的不同位置的值確定的；

52、所述三維視頻數(shù)據(jù)的輸入控制時鐘信號和所述時域處理器包含的探測器的采集控制時鐘信號是根據(jù)針對所述一維時域數(shù)據(jù)的卷積核的不同位置的值、所述三維視頻數(shù)據(jù)的幀數(shù)以及所述三維視頻數(shù)據(jù)的輸入幀率確定的；

53、所述三維視頻數(shù)據(jù)的輸入采用時鐘信號的上升沿觸發(fā)；

54、所述時域處理器包含的探測器的采集采用時鐘信號的帶寬觸發(fā)；

55、所述三維視頻數(shù)據(jù)的輸入周期、所述時域處理器包含的第二空間光調(diào)制器的控制周期以及所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的探測器的采集周期是根據(jù)同一時鐘信號確定的。

56、本發(fā)明實施例還提供了一種數(shù)據(jù)處理設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的程序；所述處理器執(zhí)行所述程序時實現(xiàn)上述的數(shù)據(jù)處理方法。

57、本發(fā)明實施例還提供了一種可讀存儲介質(zhì)，其上存儲有程序，該程序被處理器執(zhí)行時實現(xiàn)上述的數(shù)據(jù)處理方法中的步驟。

58、本發(fā)明實施例還提供了一種計算機程序產(chǎn)品，包括計算機指令，所述計算機指令被處理器執(zhí)行時實現(xiàn)上述的數(shù)據(jù)處理方法的步驟。

59、本發(fā)明的上述技術(shù)方案的有益效果如下：

60、上述方案中，所述數(shù)據(jù)處理方法通過利用第一光卷積神經(jīng)網(wǎng)絡(luò)中的第一空間光調(diào)制器，根據(jù)三維視頻數(shù)據(jù)的二維空域數(shù)據(jù)，得到二維空域卷積數(shù)據(jù)；利用所述第一光卷積神經(jīng)網(wǎng)絡(luò)中的時域處理器，針對所述二維空域卷積數(shù)據(jù)中所述三維視頻數(shù)據(jù)對應(yīng)的一維時域數(shù)據(jù)進(jìn)行卷積處理，得到所述三維視頻數(shù)據(jù)對應(yīng)的偽三維卷積特征圖；其中，所述時域處理器包括：探測器，或者第二空間光調(diào)制器；所述第一光卷積神經(jīng)網(wǎng)絡(luò)中還設(shè)有第一透鏡和第二透鏡；所述第一光卷積神經(jīng)網(wǎng)絡(luò)中用于輸入所述三維視頻數(shù)據(jù)的輸入層位于所述第一透鏡的前焦面上，所述第一空間光調(diào)制器位于所述第一透鏡的后焦面以及所述第二透鏡的前焦面上，所述時域處理器位于所述第二透鏡的后焦面上；能夠支持實現(xiàn)利用光域神經(jīng)網(wǎng)絡(luò)提取三維視頻數(shù)據(jù)的時域和空域特征，實現(xiàn)光域等效的三維卷積運算處理，降低網(wǎng)絡(luò)運算量，大大提升運算速度，降低處理能耗，很好的解決現(xiàn)有技術(shù)中光域神經(jīng)網(wǎng)絡(luò)無法支持提取三維視頻數(shù)據(jù)的時域和空域特征的問題。