本發(fā)明涉及信息技術、嵌入式系統(tǒng)技術領域，尤其涉及一種多源GPS數(shù)據(jù)與單目圖像的車載采集系統(tǒng)。

背景技術：

車載采集系統(tǒng)是針對車輛、交通、自動化等相關學科用于針對車輛運行過程及搭載的傳感器運行過程中產生的數(shù)據(jù)的具有采集、記錄、運算等功能的一體化嵌入式系統(tǒng)。由于單目視覺具有結構簡單、成本低廉等優(yōu)勢，多源信息融合技術通過對相似或不同特征信息進行相關與集成，可實現(xiàn)多源信息的互補，提高環(huán)境感知的精度和可靠性。開展基于單目視覺環(huán)境感知和多源信息融合兩個方面的關鍵技術研發(fā)，通過對攝像頭、GPS(全球定位系統(tǒng))等多源信息進行融合，開發(fā)具有精度高、實時性強、成本低的環(huán)境綜合感知系統(tǒng)，提升自動駕駛系統(tǒng)的智能化水平和產品的市場競爭力，對自動駕駛車輛的發(fā)展和推廣具有重要意義。

現(xiàn)有采集系統(tǒng)，如中國發(fā)明專利“基于虛擬和數(shù)字技術的組合汽車儀表和車載多功能信息平臺”(公開號為1618647，公開日期為2005.05.25)，采用基于Windows2000操作系統(tǒng)的PC機和PCI(外設部件互連標準)總線的數(shù)據(jù)采集卡，僅能完成對汽車內部數(shù)據(jù)的采集，且普通PC機體積龐大，功耗高，硬盤在車載震動環(huán)境下很容易損壞。

另外一種相關的車載GPS采集系統(tǒng)，如中國發(fā)明專利“一種車載GPS系統(tǒng)”(公開號為104656102A，公開日期為2015.05.27)基于ARM9S2C2410芯片，這種芯片的處理能力較弱，不適合需要運行深度學習功能的軟件系統(tǒng)。且該系統(tǒng)僅采集單個GPS信號，未能同時采集多源GPS信號，包括通用GPS信號與差分GPS信號。該系統(tǒng)也不能同步接收單目圖像，更沒有多源GPS數(shù)據(jù)與單目圖像數(shù)據(jù)融合能力。

技術實現(xiàn)要素：

本發(fā)明的目的是針對目前多源信息融合的科研與市場需求，設計一種多源GPS數(shù)據(jù)與單目圖像的車載采集系統(tǒng)，開發(fā)硬件可靠且功能全面的針對多源GPS數(shù)據(jù)的車載采集系統(tǒng)，解決現(xiàn)有系統(tǒng)存在的問題。

本發(fā)明提供的一種多源GPS數(shù)據(jù)與單目圖像的車載采集系統(tǒng)，包括：多源GPS組合子系統(tǒng)、單目攝像頭模組、嵌入式計算機和存儲器。多源GPS組合子系統(tǒng)包括GPS與差分GPS。嵌入式計算機設置有USB3.0集線器。所述的USB3.0集線器上使用一組USB轉串口連接線，連接多源GPS組合子系統(tǒng)。嵌入式計算機通過USB3.0連接線接駁單目攝像頭模組。存儲器包括M.2接口固態(tài)硬盤和SATA3接口固態(tài)硬盤，兩個硬盤與嵌入式計算機連接，其中M.2接口固態(tài)硬盤為主存儲盤，SATA3接口固態(tài)硬盤為副存儲盤。所述的嵌入式計算機中安裝有數(shù)據(jù)采集的處理軟件，根據(jù)GPS與差分GPS的數(shù)量啟動對應個數(shù)的信號采集線程，并啟動單獨的相機圖像采集線程與用戶交互線程，各線程被并行處理。

所述的嵌入式計算機采用芯片型號為NVIDIA Jetson TX1的嵌入式開發(fā)板。

所述的存儲器還包括插接在嵌入式計算機上的TF/SD卡存儲卡，用于對嵌入式計算機操作系統(tǒng)進行升級。

所述的車載采集系統(tǒng)還包括車載交互組件，包括：插接在USB3.0集線器上的使用通用USB連接線接駁的鍵盤與鼠標；插接在嵌入式計算機上的使用HDMI接口的顯示屏。

所述的嵌入式計算機運行Ubuntu操作系統(tǒng)。

本發(fā)明所述的多源GPS數(shù)據(jù)與單目圖像的車載采集系統(tǒng)，具有以下優(yōu)點和效果：

(1)嵌入式計算機具有小型低功耗的優(yōu)勢，采用芯片型號為NVIDIA Jetson TX1的嵌入式開發(fā)板能作為深度學習、計算機視覺、圖像處理和GPU計算的優(yōu)選開發(fā)平臺。

(2)選用USB總線作為傳感器接駁口，采用USB接口具有優(yōu)秀的通用性與替換性，插接式的結構可以進行方便地系統(tǒng)功能擴展與硬件升級。

(3)本發(fā)明選用M.2接口固態(tài)硬盤作為主要存儲盤，SATA3接口固態(tài)硬盤作為副存儲盤，解決了嵌入式計算機存儲空間不足的問題，M.2接口固態(tài)硬盤具備足夠高的持續(xù)讀寫速度，使得多源GPS數(shù)據(jù)與單目圖像得以同步采集。同時，本發(fā)明設計的軟件使得雙固態(tài)硬盤可以進行冗余備份，使得車載采集系統(tǒng)的數(shù)據(jù)存儲得到保障。

(4)本發(fā)明可同時采集多源GPS信號，包括通用GPS信號與差分GPS信號，并同時同步接收單目圖像，具有多源GPS數(shù)據(jù)與單目圖像數(shù)據(jù)融合能力。本發(fā)明使用USB3.0接口的相機，而非傳統(tǒng)PCI接口，使得同一套單目攝像頭模組可以在嵌入式計算機端與桌面計算機端直接切換，無需轉換設備。

(5)本發(fā)明選用嵌入式計算機運行Ubuntu操作系統(tǒng)，使得嵌入式計算機端與桌面計算機端的開發(fā)環(huán)境一致，代碼可以直接在嵌入式計算機端編譯運行，避免了繁瑣低效的交叉編譯過程。

附圖說明

圖1為本發(fā)明所述車載采集系統(tǒng)的一個實施例的硬件原理框圖；

圖2為本發(fā)明所述車載采集系統(tǒng)的一個實施例的安裝方式；

圖3為本發(fā)明所述車載采集系統(tǒng)運行的處理軟件的處理流程圖。

圖2中標號說明：

1為安裝在車輛駕駛室方向盤上方后視鏡位置的單目攝像頭模組；

2為放置于車輛駕駛室副駕駛位置上的車載采集系統(tǒng)主要部件；

3為GPS/DGPS中的一種接收機的天線；

4為放置于車輛后排的用戶交互組件；

5為GPS/DGPS中的另一種接收機的天線。

具體實施方式

為了使本發(fā)明的所解決之技術方案、技術問題及有益效果更加清楚明白，以下結合附圖及具體實施方式，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施方式僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

圖1所示為本發(fā)明所述車載采集系統(tǒng)的一個實施例的硬件原理框圖，本發(fā)明的實施例包括嵌入式計算機、USB3.0集線器、存儲器、車載交互組件、多源GPS組合以及單目攝像頭模組。存儲器包括TF/SD卡存儲卡、SATA3接口的固態(tài)硬盤和M.2接口的固態(tài)硬盤，車載交互組件包括顯示屏、鍵盤與鼠標、以及一組USB轉串口連接線，多源GPS組合包含通用GPS與差分GPS。

本發(fā)明實施例中，所述嵌入式計算機采用芯片型號為NVIDIA Jetson TX1的嵌入式開發(fā)板，尺寸為170mm*170mm。該芯片CPU部分是四核64位ARM A57，GPU(圖像處理器)部分是256個CUDA核心的Maxwell，可以每秒進行一兆次浮點運算。該嵌入式計算機功能強大，能作為深度學習、計算機視覺、圖像處理和GPU計算的優(yōu)選開發(fā)平臺。

所述嵌入式計算機運行Ubuntu操作系統(tǒng)，該系統(tǒng)是免費的Linux操作系統(tǒng)的一個發(fā)行版本，社區(qū)支持完善，匹配本發(fā)明的開發(fā)平臺需求。

本發(fā)明實施例中，所述USB3.0集線器，又稱為USB3.0Hub，是基于GL3520芯片的多插接口擴展工具，讀取速度80-130MB/s，寫入速度80-110MB/s。本發(fā)明基于USB3.0接口作為傳感器輸入輸出接口，使得傳感器模組具備高度的可替換性與易用性。

本發(fā)明實施例中，所述TF/SD存儲卡通過NVIDIA Jetson TX1的嵌入式開發(fā)板的板載接口進行連接，基于TF/SD存儲卡可以快速的對嵌入式計算機操作系統(tǒng)進行升級。

本發(fā)明實施例中，所述SATA3固態(tài)硬盤選用三星公司的型號為MZ-75E1T0B/CN-850EVO的固態(tài)硬盤，2.5英寸標準規(guī)格，容量為1TB，電流為1.4A，滿載功耗大致在6-7瓦。經過CrystalDiskMark測試，該固態(tài)硬盤的讀取速度達到541.1MB/秒，寫入速度達到521.8MB/s。本發(fā)明選用固態(tài)硬盤有效滿足了1920x1080分辨率的攝像機圖像數(shù)據(jù)的讀寫要求。

本發(fā)明實施例中，所述M.2固態(tài)硬盤選用三星公司的型號為MZ-V5P512BW-950PRO的固態(tài)硬盤，該固態(tài)硬盤接口為M.2，支持NVMe規(guī)范，使用PCI-E 3.0x4系統(tǒng)總線，理論接口速度為32Gb/s，經過CrystalDiskMark測試，該SSD持續(xù)讀取速度達到2300MB/s，寫入速度達到951MB/s。

本發(fā)明選用M.2接口固態(tài)硬盤作為主要存儲盤，SATA3接口固態(tài)硬盤作為副存儲盤，解決了嵌入式計算機存儲空間不足的問題，M.2接口固態(tài)硬盤支持的穩(wěn)定讀寫速度使得多源GPS數(shù)據(jù)與單目圖像得以同步采集。同時，本發(fā)明使得雙固態(tài)硬盤進行冗余備份，使得車載采集系統(tǒng)的數(shù)據(jù)存儲得到保障。

本發(fā)明實施例中，所述通用GPS選用基于u-blox M8芯片的接收器。u-blox M8能并行捕獲和跟蹤兩個GNSS(全球衛(wèi)星導航)系統(tǒng)，默認設置是GPS和GLONASS(全球導航衛(wèi)星系統(tǒng))并行。使用時，可任意選擇GPS和北斗并行接收或GLONASS和北斗的并行接收。u-blox M8芯片的靈敏度為-165dBm，能在衛(wèi)星信號惡劣的環(huán)境下使用較多的衛(wèi)星數(shù)量。

所述差分GPS通過一個已知測站上架設GPS基準站接收機和無線網(wǎng)絡，連續(xù)跟蹤所有可見衛(wèi)星，并通過無線網(wǎng)絡或數(shù)據(jù)電臺向移動站發(fā)送差分改正數(shù)據(jù)。移動站接收機通過無線網(wǎng)絡或移動站數(shù)據(jù)電臺接收基準站發(fā)射來的差分改正數(shù)據(jù)，并在移動站接收機內部進行處理，從而實時得到移動站的高精度位置。差分GPS可分為偽距差分GPS和載波相位差分GPS。偽距差分也叫DGPS，精度為亞米級至米級，這種方式是基準站將基準站上測量得到的偽距改正數(shù)通過數(shù)據(jù)鏈傳輸?shù)揭苿诱?，移動站接收到改正?shù)后，自動進行解算，得到經差分改正以后的坐標。載波相位差分也叫RTK，它的工作思路與DGPS相似，只不過是基準站是將載波相位改正數(shù)發(fā)送到移動站，移動站接收到改正數(shù)后，自動進行解算，得到改正以后的比DGPS更高精度的測量結果。

本發(fā)明實施例中，所述單目攝像頭模組采用灰點公司型號為FL3-U3的工業(yè)相機模組，該相機可通過USB3.0接口直接連接USB3.0集線器，最大輸出分辨率為1920x1080，滿足目前車載采集系統(tǒng)所需圖像精度。

圖2所示為本發(fā)明所述車載采集系統(tǒng)的一個實施例的安裝方式。

圖2中標號1為安裝在車輛駕駛室方向盤上方后視鏡位置的單目攝像頭模組。該單目攝像頭模組的安裝位置的要保證攝像頭可讀取的視野范圍最遠端超過車頭前保險杠50米以上。

圖2中標號2為放置于車輛駕駛室副駕駛位置上的車載采集系統(tǒng)主要部件，其中包括嵌入式計算機、USB3.0集線器和存儲器等。該部件組裝在箱體中，該箱體在車輛數(shù)據(jù)采集過程中使用彈力綁帶固定在車輛駕駛室副駕駛座椅椅面之上，使得車輛數(shù)據(jù)采集過程中車載采集系統(tǒng)主要部件在穩(wěn)定的機械振動條件下正常工作。

圖2中標號3為GPS/差分GPS中的一種接收機的天線，圖2中標號5為GPS/DGPS中的另一種接收機的天線。通用GPS的無源天線體積較小，可以使用雙面膠粘貼在車頂外殼表面，差分GPS的無源天線底座為強性磁鐵，可以吸附在車頂外殼表面。

圖2中GPS/差分GPS的天線的安裝位置為車輛駕駛室前后排交界處對應的車頂外殼表面，通常設定汽車重心在汽車中心，安裝在該位置使得計算天線與汽車重心的位置偏移方便可行。

圖2中標號4為放置于車輛后排的用戶交互組件，具體包括顯示屏、鍵盤和鼠標。實施中可以選擇市場上通用的顯示屏，鍵盤，鼠標，由于本發(fā)明實施例使用通用的USB3.0接口，適配USB3.0接口與USB2.0接口，使得用戶交互組件中的設備可以使用通用設備替換，有效降低后期維護，購買備用件的成本。

圖3為本發(fā)明所述車載采集系統(tǒng)運行的整體流程圖，攝像頭安裝、校準與調試，GPS、差分GPS安裝與調試是系統(tǒng)正常工作的前提。攝像頭、GPS、差分GPS的安裝位置與要求如上述，攝像頭校準與調試方法使用平面靶標進行標定，GPS、差分GPS的調試使用器件供應商提供的上位機軟件進行。

攝像頭安裝、校準與調試，GPS、差分GPS安裝與調試完成后，接通圖2中標號2的車載采集系統(tǒng)主要部件的電源，安裝在嵌入式計算機中的處理軟件開始運行。

處理軟件首先對硬件模塊接口進行初始化，具體包括USB3.0集線器接口，顯示屏接口，鍵盤USB接口，鼠標USB接口，TF/SD存儲卡接口，SATA3固態(tài)硬盤接口，M.2固態(tài)硬盤接口，多源GPS組合子系統(tǒng)的多個USB轉串口接口，攝像頭USB接口。其中多源GPS組合子系統(tǒng)的多個USB轉串口接口使用軟件庫Qt5的串口庫調用打開，攝像頭USB接口使用軟件庫OpenCV的相機庫接口調用打開。

本發(fā)明設計的處理軟件在運行時并行進行多種操作，以下使用計算機術語“線程”命名。而對于具體的程序設計，該并發(fā)思想可以使用多進程(每進程單線程)，單進程單線程及單進程多線程方法設計完成硬件模塊接口進行初始化，處理軟件會根據(jù)傳感器數(shù)量啟動線程。所述的的傳感器包括多種以串口接口聯(lián)接嵌入式計算機的GPS，以USB接口聯(lián)接嵌入式計算機的相機，對于本發(fā)明所述車載采集系統(tǒng)，相機數(shù)量為一個，GPS數(shù)量為一個或多個，實踐中多個數(shù)量一般小于等于三個。圖3所示為接駁了一個GPS與一個差分GPS，以及一個單目攝像頭模組的車載采集系統(tǒng)。本發(fā)明所述車載采集系統(tǒng)運行的處理軟件能同時接駁多個GPS與差分GPS，以及1個單目攝像頭模組。具體接駁的GPS與差分GPS需要再程序運行前在程序中設定，然后處理軟件會根據(jù)GPS與差分GPS的數(shù)量啟動對應個數(shù)的線程，并啟動單獨的相機圖像采集線程與用戶交互線程。

處理軟件根據(jù)傳感器數(shù)量啟動線程后，進入主循環(huán)。主循環(huán)會并行處理所有啟動線程。

本發(fā)明使用并行編程技術，克服了傳統(tǒng)上使用一個主函數(shù)內循環(huán)查詢標志位處理各傳感器數(shù)據(jù)的缺點，如在數(shù)據(jù)大量輸入而處理模塊耗時較大時，某時間段數(shù)據(jù)將會漏收，后一時間段數(shù)據(jù)才會被接收處理。每一傳感器使用一個線程也避免了常用開源庫如Qt的信號槽機制不能同時響應數(shù)據(jù)的到達問題，本發(fā)明設計的處理軟件中對每個傳感器的采集線程設計了及時響應機制，使得同一時刻到達的數(shù)據(jù)能同時觸發(fā)對應線程的處理函數(shù)。

GPS信號采集線程處理由USB轉串口輸入的NMEA協(xié)議的報文信息，為了滿足系統(tǒng)設計的功能需要，常提取其中的RMC(Recommended Minimum Specific GNSS Data)數(shù)據(jù)。GPS信號采集線程讀取RMC數(shù)據(jù)后，會從中解析出所需信息存于GPS信號采集線程對應的數(shù)據(jù)存儲區(qū)。

差分GPS信號采集線程處理由差分GPS對應的USB轉串口輸入的報文信息，該報文信息可以為NMEA協(xié)議或者差分GPS供應商自定義的協(xié)議。不同的協(xié)議使用與切換需要再采集系統(tǒng)工作前就在軟件系統(tǒng)中設定。差分GPS信號采集線程讀取對應協(xié)議后，會從中解析出所需信息存于差分GPS信號采集線程對應的數(shù)據(jù)存儲區(qū)。

相機圖像采集線程處理由單目攝像頭模組經相機USB接口傳入的圖像，按照設定的圖片格式(如png格式)保存在相機圖像采集線程對應的數(shù)據(jù)存儲區(qū)。圖像的分辨率可以經由軟件參數(shù)設定，可設定的最大分辨率取決于單目攝像頭模組的最大分辨率。由于本發(fā)明使用M.2接口的固態(tài)硬盤，保證了數(shù)據(jù)的快速存儲。

本發(fā)明所述的數(shù)據(jù)存儲區(qū)在硬件上對應于嵌入式計算機的存儲器件，對于小型低速數(shù)據(jù)采集任務，數(shù)據(jù)保存在嵌入式計算機板載存儲器；對于中大型高速數(shù)據(jù)采集任務(如同時啟用一個GPS與一個差分GPS，以及一個單目攝像頭模組)，數(shù)據(jù)保存在M.2固態(tài)硬盤上。所述的數(shù)據(jù)存儲區(qū)在軟件中指為不同線程任務分配的存儲路徑，即根據(jù)特定時間段啟動的采集任務由程序自動生成的文件夾路徑。

用戶交互線程是用來處理用戶(指使用本發(fā)明設計的多源GPS數(shù)據(jù)與單目圖像的車載采集系統(tǒng)的車載非駕駛人員)對軟件系統(tǒng)的命令，并提供方便的交互形式。通過顯示屏顯示目前軟件的工作狀態(tài)與工作情況，并根據(jù)鼠標與鍵盤實時接收命令并給出相應響應。

數(shù)據(jù)融合區(qū)將GPS信號采集線程、差分GPS信號采集線程與相機圖像采集線程對應的三種數(shù)據(jù)存儲區(qū)的所存數(shù)據(jù)按照預先給定的格式進行圖像與GPS數(shù)據(jù)的融合。具體而言，在給定同步時刻獲取的圖像數(shù)據(jù)會與同一時刻或按照給定容忍誤差的接近時刻獲取的GPS數(shù)據(jù)匹配，記錄匹配后的圖像數(shù)據(jù)文件名與對應的GPS信號以及差分GPS信號并存儲于該融合區(qū)內的獨立存儲空間。

用戶交互線程在接受用戶的結束采集任務的程序指令，或根據(jù)設定的數(shù)據(jù)采集任務的達成標志來結束主處理循環(huán)。但結束程序的任務開始進行，數(shù)據(jù)融合區(qū)首先停止處理GPS信號采集線程、差分GPS信號采集線程與相機圖像采集線程對應的三種數(shù)據(jù)存儲區(qū)的數(shù)據(jù)，將打開的文件全部保存并關閉。接下來主處理將按照線程啟動順序依次關閉GPS信號采集線程、差分GPS信號采集線程與相機圖像采集線程，最后關閉用戶交互線程。用戶交互線程關閉后，整個程序結束，此時如果無需在車載采集系統(tǒng)的操作系統(tǒng)上運行其他任務，可關閉整個采集系統(tǒng)電源。

本發(fā)明的嵌入式計算機運行Ubuntu操作系統(tǒng)，使得嵌入式計算機端與桌面計算機端的開發(fā)環(huán)境一致，代碼可以直接在嵌入式計算機端編譯運行，避免了繁瑣低效的交叉編譯過程。

本發(fā)明提出的多源GPS數(shù)據(jù)與單目圖像的車載采集系統(tǒng)經過實車運行表明，系統(tǒng)硬件可靠，達到了設計目標。

以上內容是結合具體的優(yōu)選實施例對本發(fā)明作的進一步詳細說明，不能認定本發(fā)明的具體實施只局限于這些說明，對于本發(fā)明所述技術領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬于本發(fā)明所提交的權利要求書確定的保護范圍。