本發(fā)明涉及車輛圖像處理，具體涉及一種艙駕融合攝像頭數(shù)據(jù)處理系統(tǒng)、方法、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、隨著感知技術(shù)的快速迭代發(fā)展，自動(dòng)駕駛受到越來越多的關(guān)注，越來越多的量產(chǎn)車型搭載智駕功能，視覺作為其中一個(gè)最重要的輸入，越來越多的高分辨率攝像頭成為車上的標(biāo)配。一般情況下，車輛具有座艙控制和智駕控制兩個(gè)主要控制功能，其中座艙控制通過座艙域控制器實(shí)現(xiàn)，主要用于對車輛內(nèi)部的乘客進(jìn)行健康檢測、動(dòng)作識(shí)別等；其中智駕控制通過智駕域控制器實(shí)現(xiàn)，主要用于道路檢測、畫線車位識(shí)別等。在車輛的大量攝像頭中，不乏智駕域控制器與座艙域控制器可以共用的共用攝像頭，例如360環(huán)視攝像頭和dvr行車記錄儀。目前共用攝像頭的數(shù)據(jù)主要通過兩種方式傳遞給智駕域控制器和座艙域控制器，一種是共用攝像頭直接通過硬件bypass的方式分別和智駕域控制器和座艙域控制器連接，智駕域控制器接收共用攝像頭的數(shù)據(jù)用于檢測障礙物、畫線車位識(shí)別等，座艙域控制器接收共用攝像頭數(shù)據(jù)用于人員動(dòng)作檢測等；另一種方式是智駕域控制器接收共用攝像頭的數(shù)據(jù)進(jìn)行處理，智駕域控制器再通過接口傳遞共用攝像頭的數(shù)據(jù)給座艙域控制器，如前視廣角攝像頭和后視攝像頭，可以給智駕提供車輛行駛的前后視角，同時(shí)可將智駕域輸出圖像作為座艙行車記錄儀的圖像源。如上兩種攝像頭數(shù)據(jù)共享的方式不僅硬件成本高，且整個(gè)圖像數(shù)據(jù)傳輸過程耗時(shí)長，這對時(shí)間敏感的智駕業(yè)務(wù)和座艙業(yè)務(wù)是難以接受。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種艙駕融合攝像頭數(shù)據(jù)處理系統(tǒng)、方法、介質(zhì)及產(chǎn)品，以解決共用攝像頭的圖像傳輸成本高的問題。

2、第一方面，本發(fā)明提供了一種艙駕融合攝像頭數(shù)據(jù)處理系統(tǒng)，包括：智駕攝像頭、座艙攝像頭、共用攝像頭和融合域控制器，智駕攝像頭用于采集只應(yīng)用在智駕控制的智駕攝像頭數(shù)據(jù)，座艙攝像頭用于采集只應(yīng)用在座艙控制的座艙攝像頭數(shù)據(jù)，共用攝像頭用于采集智駕控制和座艙控制均使用的共用攝像頭數(shù)據(jù)；融合域控制器中包括內(nèi)存模塊和多個(gè)處理核心，內(nèi)存模塊用于存儲(chǔ)智駕攝像頭數(shù)據(jù)、座艙攝像頭數(shù)據(jù)和共用攝像頭數(shù)據(jù)；融合域控制器中部署有座艙控制應(yīng)用和智駕控制應(yīng)用，座艙控制應(yīng)用用于調(diào)用若干處理核心從內(nèi)存模塊中讀取座艙攝像頭數(shù)據(jù)和共用攝像頭數(shù)據(jù)，并執(zhí)行座艙控制算法以對相應(yīng)的讀取數(shù)據(jù)進(jìn)行處理，智駕控制應(yīng)用用于調(diào)用若干處理核心從內(nèi)存模塊中讀取智駕攝像頭數(shù)據(jù)和共用攝像頭數(shù)據(jù)，并執(zhí)行智駕控制算法對相應(yīng)的讀取數(shù)據(jù)進(jìn)行處理。

3、根據(jù)上述技術(shù)手段，本發(fā)明提供了綜合智駕控制和座艙控制的融合域控制器，通過座艙控制應(yīng)用和智駕控制應(yīng)用的方式以不同進(jìn)程區(qū)分兩項(xiàng)功能，座艙控制應(yīng)用和智駕控制應(yīng)用根據(jù)需要從內(nèi)存模塊中讀取需要的數(shù)據(jù)。本發(fā)明以一個(gè)融合域控制器替代多個(gè)域控制器減少了多個(gè)攝像頭向多個(gè)域控制器的傳輸鏈路，座艙控制應(yīng)用和智駕控制應(yīng)用通過共享內(nèi)存的方式從內(nèi)存中讀取共享攝像頭的數(shù)據(jù)，同時(shí)座艙控制應(yīng)用和智駕控制應(yīng)用之間以進(jìn)程間通信進(jìn)行數(shù)據(jù)傳輸，無需設(shè)置跨芯片的通信鏈路，顯著降低了共用攝像頭的圖像傳輸成本。

4、在一種可選地實(shí)施方式中，內(nèi)存模塊被劃分了分別用于存儲(chǔ)智駕攝像頭數(shù)據(jù)、座艙攝像頭數(shù)據(jù)和共用攝像頭數(shù)據(jù)的存儲(chǔ)區(qū)域，座艙控制應(yīng)用用于從對應(yīng)的存儲(chǔ)區(qū)域中讀取座艙攝像頭數(shù)據(jù)和共用攝像頭數(shù)據(jù)，智駕控制應(yīng)用用于從對應(yīng)的存儲(chǔ)區(qū)域中讀取智駕攝像頭數(shù)據(jù)和共用攝像頭數(shù)據(jù)；座艙控制應(yīng)用調(diào)用的處理核心與智駕控制應(yīng)用調(diào)用的處理核心均不相同；融合域控制器中還部署有攝像頭代理應(yīng)用，攝像頭代理應(yīng)用基于面向服務(wù)架構(gòu)部署，攝像頭代理應(yīng)用用于通過不同的共用數(shù)據(jù)服務(wù)從共用攝像頭數(shù)據(jù)的存儲(chǔ)區(qū)域訂閱共用攝像頭數(shù)據(jù)并進(jìn)行發(fā)布；座艙控制應(yīng)用和智駕控制應(yīng)用分別訂閱攝像頭代理應(yīng)用中對應(yīng)的共用數(shù)據(jù)服務(wù)，以讀取共用攝像頭數(shù)據(jù)。

5、根據(jù)上述技術(shù)手段，針對三種攝像頭數(shù)據(jù)本發(fā)明為內(nèi)存模塊劃分了三種不同區(qū)域來對各類攝像頭數(shù)據(jù)進(jìn)行數(shù)據(jù)隔離，座艙控制應(yīng)用調(diào)用的處理核心與智駕控制應(yīng)用調(diào)用的處理核心均不相同，以使座艙控制應(yīng)用調(diào)用的處理核心只能直接訪問座艙攝像頭數(shù)據(jù)的存儲(chǔ)區(qū)域，智駕控制應(yīng)用調(diào)用的處理核心只能直接訪問智駕攝像頭數(shù)據(jù)，從而在軟硬件層面均進(jìn)行數(shù)據(jù)隔離，滿足asil的安全標(biāo)準(zhǔn)。本發(fā)明還基于面向服務(wù)架構(gòu)部署了攝像頭代理應(yīng)用在融合域控制器中，針對座艙控制應(yīng)用和智駕控制應(yīng)用各自不同的數(shù)據(jù)識(shí)別、讀取、修改邏輯，攝像頭代理應(yīng)用分別創(chuàng)建不同的共用數(shù)據(jù)服務(wù)，以訂閱發(fā)布模式為座艙控制應(yīng)用和智駕控制應(yīng)用提供數(shù)據(jù)，一方面將座艙控制應(yīng)用和智駕控制應(yīng)用與共用攝像頭數(shù)據(jù)的存儲(chǔ)區(qū)域隔離，不會(huì)因?yàn)樽摽刂茟?yīng)用或智駕控制應(yīng)用一方對共用攝像頭數(shù)據(jù)的存儲(chǔ)區(qū)域的數(shù)據(jù)造成改變從而導(dǎo)致另一方無法正確讀取數(shù)據(jù)，另一方面還便于對攝像頭代理應(yīng)用進(jìn)行迭代升級(jí)。

6、在一種可選地實(shí)施方式中，攝像頭代理應(yīng)用還包括艙駕傳遞服務(wù)，艙駕傳遞服務(wù)用于訂閱智駕控制應(yīng)用的處理后數(shù)據(jù)，并將智駕控制應(yīng)用的處理后數(shù)據(jù)發(fā)布給座艙控制應(yīng)用。

7、根據(jù)上述技術(shù)手段，攝像頭代理應(yīng)用還可以充當(dāng)智駕控制應(yīng)用和座艙控制應(yīng)用之間進(jìn)程通信的橋梁，以異步的方式傳遞智駕控制應(yīng)用的數(shù)據(jù)到座艙控制應(yīng)用，提高了數(shù)據(jù)傳輸?shù)撵`活性。

8、在一種可選地實(shí)施方式中，融合域控制器中還包括圖像信號(hào)處理模塊，用于對智駕攝像頭、座艙攝像頭和共用攝像頭采集的原始數(shù)據(jù)進(jìn)行處理，并將處理后的數(shù)據(jù)分別存入內(nèi)存模塊對應(yīng)的存儲(chǔ)區(qū)域中。

9、根據(jù)上述技術(shù)手段，本發(fā)明還在融合域控制器中部署了圖像信號(hào)處理模塊，能夠?qū)Ω鲾z像頭采集的數(shù)據(jù)進(jìn)行黑電平補(bǔ)償、鏡頭矯正、壞像素矯正、顏色插值、bayer噪聲去除、白平衡、色彩矯正、gamma矯正、色彩空間轉(zhuǎn)換等處理，提高了圖像數(shù)據(jù)的圖像質(zhì)量。

10、在一種可選地實(shí)施方式中，融合域控制器中還包括解串器，用于對智駕攝像頭、座艙攝像頭和共用攝像頭采集的串行后原始數(shù)據(jù)進(jìn)行解串，并將解串后的數(shù)據(jù)發(fā)送至圖像信號(hào)處理模塊。

11、根據(jù)上述技術(shù)手段，往往各個(gè)攝像頭的原始數(shù)據(jù)需要串行處理后再發(fā)送到融合域控制器，本實(shí)施例在融合域控制器中部署一個(gè)解串器，對各個(gè)攝像頭的數(shù)據(jù)統(tǒng)一解串，相比多個(gè)域控制器分別解串的方案還顯著降低了硬件部署成本。

12、第二方面，本發(fā)明提供了一種艙駕融合攝像頭數(shù)據(jù)處理方法，應(yīng)用于融合域控制器，方法包括：接收智駕攝像頭、座艙攝像頭和共用攝像頭采集的視覺數(shù)據(jù)，并將智駕攝像頭數(shù)據(jù)、座艙攝像頭數(shù)據(jù)和共用攝像頭數(shù)據(jù)存儲(chǔ)在內(nèi)存模塊中；通過座艙控制應(yīng)用調(diào)用若干處理核心從內(nèi)存模塊中讀取座艙攝像頭數(shù)據(jù)和共用攝像頭數(shù)據(jù)，并執(zhí)行座艙控制算法以對相應(yīng)的讀取數(shù)據(jù)進(jìn)行處理；通過智駕控制應(yīng)用調(diào)用若干處理核心從內(nèi)存模塊中讀取智駕攝像頭數(shù)據(jù)和共用攝像頭數(shù)據(jù)，并執(zhí)行智駕控制算法對相應(yīng)的讀取數(shù)據(jù)進(jìn)行處理。

13、在一種可選地實(shí)施方式中，通過座艙控制應(yīng)用調(diào)用若干處理核心從對應(yīng)的存儲(chǔ)區(qū)域中讀取座艙攝像頭數(shù)據(jù)和共用攝像頭數(shù)據(jù)，包括：通過座艙控制應(yīng)用調(diào)用第一處理核心從第一存儲(chǔ)區(qū)域中讀取座艙攝像頭數(shù)據(jù)；通過座艙控制應(yīng)用訂閱第一共用數(shù)據(jù)服務(wù)發(fā)布的共用攝像頭數(shù)據(jù)，第一共用數(shù)據(jù)服務(wù)是攝像頭代理應(yīng)用用于獲取第三存儲(chǔ)區(qū)域中共用攝像頭數(shù)據(jù)的服務(wù)。

14、在一種可選地實(shí)施方式中，通過智駕控制應(yīng)用調(diào)用若干處理核心從對應(yīng)的存儲(chǔ)區(qū)域中讀取智駕攝像頭數(shù)據(jù)和共用攝像頭數(shù)據(jù)，包括：通過智駕控制應(yīng)用調(diào)用第二處理核心從第二存儲(chǔ)區(qū)域中讀取智駕攝像頭數(shù)據(jù)，第二處理核心和第一處理核心無相同的處理核心；通過智駕控制應(yīng)用訂閱第二共用數(shù)據(jù)服務(wù)發(fā)布的共用攝像頭數(shù)據(jù)，第二共用數(shù)據(jù)服務(wù)是攝像頭代理應(yīng)用用于獲取第三存儲(chǔ)區(qū)域中共用攝像頭數(shù)據(jù)的服務(wù)。

15、在一種可選地實(shí)施方式中，方法還包括：通過攝像頭代理應(yīng)用中的艙駕傳遞服務(wù)訂閱智駕控制應(yīng)用的處理后數(shù)據(jù)，并將智駕控制應(yīng)用的處理后數(shù)據(jù)發(fā)布給座艙控制應(yīng)用。

16、第三方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面或其對應(yīng)的任一實(shí)施方式的方法。

17、第四方面，本發(fā)明提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面或其對應(yīng)的任一實(shí)施方式的方法。

18、本發(fā)明提供的技術(shù)方案，具有如下優(yōu)點(diǎn)：

19、(1)根據(jù)上述技術(shù)手段，本發(fā)明提供了綜合智駕控制和座艙控制的融合域控制器，通過座艙控制應(yīng)用和智駕控制應(yīng)用的方式以不同進(jìn)程區(qū)分兩項(xiàng)功能，座艙控制應(yīng)用和智駕控制應(yīng)用根據(jù)需要從內(nèi)存模塊中讀取需要的數(shù)據(jù)。本發(fā)明以一個(gè)融合域控制器替代多個(gè)域控制器減少了多個(gè)攝像頭向多個(gè)域控制器的傳輸鏈路，座艙控制應(yīng)用和智駕控制應(yīng)用通過共享內(nèi)存的方式從內(nèi)存中讀取共享攝像頭的數(shù)據(jù)，同時(shí)座艙控制應(yīng)用和智駕控制應(yīng)用之間以進(jìn)程間通信進(jìn)行數(shù)據(jù)傳輸，無需設(shè)置跨芯片的通信鏈路，顯著降低了共用攝像頭的圖像傳輸成本。

20、(2)根據(jù)上述技術(shù)手段，針對三種攝像頭數(shù)據(jù)本發(fā)明為內(nèi)存模塊劃分了三種不同區(qū)域來對各類攝像頭數(shù)據(jù)進(jìn)行數(shù)據(jù)隔離，座艙控制應(yīng)用調(diào)用的處理核心與智駕控制應(yīng)用調(diào)用的處理核心均不相同，以使座艙控制應(yīng)用調(diào)用的處理核心只能直接訪問座艙攝像頭數(shù)據(jù)的存儲(chǔ)區(qū)域，智駕控制應(yīng)用調(diào)用的處理核心只能直接訪問智駕攝像頭數(shù)據(jù)，從而在軟硬件層面均進(jìn)行數(shù)據(jù)隔離，滿足asil的安全標(biāo)準(zhǔn)。本發(fā)明還基于面向服務(wù)架構(gòu)部署了攝像頭代理應(yīng)用在融合域控制器中，針對座艙控制應(yīng)用和智駕控制應(yīng)用各自不同的數(shù)據(jù)識(shí)別、讀取、修改邏輯，攝像頭代理應(yīng)用分別創(chuàng)建不同的共用數(shù)據(jù)服務(wù)，以訂閱發(fā)布模式為座艙控制應(yīng)用和智駕控制應(yīng)用提供數(shù)據(jù)，一方面將座艙控制應(yīng)用和智駕控制應(yīng)用與共用攝像頭數(shù)據(jù)的存儲(chǔ)區(qū)域隔離，不會(huì)因?yàn)樽摽刂茟?yīng)用或智駕控制應(yīng)用一方對共用攝像頭數(shù)據(jù)的存儲(chǔ)區(qū)域的數(shù)據(jù)造成改變從而導(dǎo)致另一方無法正確讀取數(shù)據(jù)，另一方面還便于對攝像頭代理應(yīng)用進(jìn)行迭代升級(jí)。

21、(3)根據(jù)上述技術(shù)手段，攝像頭代理應(yīng)用還可以充當(dāng)智駕控制應(yīng)用和座艙控制應(yīng)用之間進(jìn)程通信的橋梁，以異步的方式傳遞智駕控制應(yīng)用的數(shù)據(jù)到座艙控制應(yīng)用，提高了數(shù)據(jù)傳輸?shù)撵`活性。

22、(4)根據(jù)上述技術(shù)手段，本發(fā)明還在融合域控制器中部署了圖像信號(hào)處理模塊，能夠?qū)Ω鲾z像頭采集的數(shù)據(jù)進(jìn)行黑電平補(bǔ)償、鏡頭矯正、壞像素矯正、顏色插值、bayer噪聲去除、白平衡、色彩矯正、gamma矯正、色彩空間轉(zhuǎn)換等處理，提高了圖像數(shù)據(jù)的圖像質(zhì)量。

23、(5)根據(jù)上述技術(shù)手段，往往各個(gè)攝像頭的原始數(shù)據(jù)需要串行處理后再發(fā)送到融合域控制器，本實(shí)施例在融合域控制器中部署一個(gè)解串器，對各個(gè)攝像頭的數(shù)據(jù)統(tǒng)一解串，相比多個(gè)域控制器分別解串的方案還顯著降低了硬件部署成本。