一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法
【專利摘要】本發(fā)明公開了一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法，包括以下步驟：獲取車載監(jiān)控攝像頭視頻數(shù)據(jù)；提取監(jiān)控視頻數(shù)據(jù)的亮度分量；設(shè)定感興趣區(qū)域，并對所述感興趣區(qū)域進(jìn)行閾值化處理；對閾值化以后視頻幀中的設(shè)定亮度區(qū)域依次進(jìn)行形態(tài)學(xué)腐蝕運算、形態(tài)學(xué)膨脹運算、進(jìn)行基于模板的區(qū)域生長后，得到初始掩膜圖像；將形態(tài)學(xué)腐蝕運算后的視頻幀與形態(tài)學(xué)膨脹運算后的視頻幀相減，得到掩模圖像；得到取閾值之后的特征亮度值；根據(jù)取閾值之后的特征亮度值中非零像素的數(shù)量，判斷是否存在吸煙行為。本發(fā)明有益效果：可在大型乘用車輛上實現(xiàn)對駕駛員吸煙行為的實時監(jiān)測和報警，無需人工參與。
【專利說明】
一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法。
【背景技術(shù)】
[0002] 大型乘用車輛是重要的交通工具。近年來隨著這類車輛的不斷增多，因交通引發(fā) 的問題也日益凸顯。其中，駕駛員不良駕駛行為是造成交通事故的主要原因。這些駕駛行為 包括行車過程中打手機(jī)、吸煙、疲勞駕駛等。在上述駕駛員的不良行為中，吸煙行為可能導(dǎo) 致如下不良后果：導(dǎo)致駕駛員注意力分散，容易引起事故;可能誘發(fā)車內(nèi)火災(zāi);嚴(yán)重惡化車 內(nèi)空氣質(zhì)量，引發(fā)乘客的不適，造成乘客投訴。對駕駛員吸煙行為實行有效的遠(yuǎn)程監(jiān)測和實 時預(yù)警，一方面能從根源上有效避免駕駛員不安全駕駛行為導(dǎo)致的交通事故，另一方面也 有利于對駕駛員進(jìn)行更有效的管理，改變駕駛員行車駕駛習(xí)慣，減少交通事故造成的損失。
[0003] 當(dāng)前針對駕駛員吸煙行為的檢測方法中，包括:利用多信息融合方法實現(xiàn)吸煙行 為的檢測;利用汽車行駛速度、加減速等信息提示駕駛員；利用顏色空間檢測駕駛員手部， 再通過機(jī)器學(xué)習(xí)實現(xiàn)動作識別以及利用高斯函數(shù)建模實現(xiàn)對駕駛員主要針對疲勞駕駛的 異常行為的檢測等等;但是，上述方法均無法專門實現(xiàn)針對駕駛員吸煙行為的實時監(jiān)測。

【發(fā)明內(nèi)容】

[0004] 為解決現(xiàn)有技術(shù)的缺陷，本發(fā)明具體公開了一種基于車載視頻監(jiān)控的駕駛員吸煙 行為實時監(jiān)測方法，通過大型乘用車輛內(nèi)部的攝像頭和數(shù)字硬盤錄像機(jī)，實時監(jiān)測駕駛員 的吸煙行為并給出報警信息。該方法成本低，可靠性高，易于推廣使用。
[0005] 為實現(xiàn)上述目的，本發(fā)明的具體方案如下：
[0006] -種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法，包括以下步驟：
[0007] (1)獲取車載監(jiān)控攝像頭視頻數(shù)據(jù)；
[0008] (2)提取監(jiān)控視頻數(shù)據(jù)的亮度分量；
[0009] (3)設(shè)定感興趣區(qū)域，并對所述感興趣區(qū)域進(jìn)行閾值化處理;對閾值化以后視頻幀 中的設(shè)定亮度區(qū)域進(jìn)行形態(tài)學(xué)腐蝕運算；
[0010] (4)對形態(tài)學(xué)腐蝕運算后的視頻幀中的設(shè)定亮度區(qū)域進(jìn)行形態(tài)學(xué)膨脹運算；
[0011] (5)形態(tài)學(xué)膨脹運算后的視頻幀中的設(shè)定亮度區(qū)域進(jìn)行基于模板的區(qū)域生長，得 到初始掩膜圖像；
[0012] (6)形態(tài)學(xué)膨脹運算后的視頻幀中的設(shè)定亮度區(qū)域進(jìn)行形態(tài)學(xué)腐蝕運算;并將形 態(tài)學(xué)腐蝕運算后的視頻幀與形態(tài)學(xué)膨脹運算后的視頻幀相減，得到掩模圖像；
[0013] (7)根據(jù)上述掩模圖像得到特征亮度值;將所得到的特征亮度值與設(shè)定閾值進(jìn)行 對比，得到取閾值之后的特征亮度值；
[0014] 根據(jù)取閾值之后的特征亮度值中非零像素的數(shù)量，判斷是否存在吸煙行為。
[0015] 進(jìn)一步地，所述步驟(3)中，設(shè)定感興趣區(qū)域具體為：
[0016]
[0017] 其中，Rect_yn(i，j)表示Rect_yn在像素點（i，j)處的亮度分量;&&表示邏輯與運算 符;令Rect_y n表示在yn中人工選定的感興趣區(qū)域，其左上角坐標(biāo)為(X1，yi)，右下角坐標(biāo)為 (X2，y2); i表示像素點的橫坐標(biāo)，j表示像素點的縱坐標(biāo)。
[0018] 進(jìn)一步地，所述步驟(3)中，對感興趣區(qū)域進(jìn)行閾值化處理具體為：
[0019]
[0020] 其中，Rect_yn_t (i，j)表示Rect_yn_1^像素點（i，j)處的亮度分量，T為設(shè)定閾值。
[0021] 進(jìn)一步地，所述步驟(5)中，進(jìn)行基于模板的區(qū)域生長的方法具體為：
[0022] (a)判定Rect_yn_t_morph_2中設(shè)定亮度值的區(qū)域的邊界點，將這些邊界點記為B， B(i，j)表示在像素點（i，j)處的亮度值；
[0023] (b)$NB(1'W表示（i，j)的鄰域，N(p，q) B(1'W表示（i，j)的鄰域在像素點(p，q)的亮 度分量，P表示橫坐標(biāo)，q表示縱坐標(biāo);如果滿足條件1:
[0024] (N(p，q)B(1'j)#255)&&(Rect_y n_t_morph_2(p，q) = 255);
[0025] 則進(jìn)行如下操作
[0026] Rect_yn_t_morph_2(p, q) = 255 ；
[0027] 其中Rect_yn_t_morph_2(p, q)表示 Rect_yn_t_morph_2 在像素點（p, q)處的亮度 值；
[0028] (c)重復(fù)執(zhí)行步驟(a)-(b)過程，直至條件1不再滿足為止。
[0029] 進(jìn)一步地，所述步驟(7)中，根據(jù)掩模圖像得到特征亮度值具體為：
[0030]
[0031 ]其中1^(31:_711_€631：11代（;[，」）表示特征亮度值;1^(31:_7 11(;[，」）表示設(shè)定的感興趣 Rect_yn在像素點（x，y)處的亮度分量;Rect_yn_mask(i，j)表示掩模圖像Rect_y n_mask在像 素點（i，j)處的亮度值。
[0032] 進(jìn)一步地，所述步驟(7)中，取閾值之后的特征亮度值具體為：
[0033]
[0034] 其中，Tf表示對特征亮度值Rect_yn_feature(i，j)的閾值。
[0035]進(jìn)一步地，所述步驟(7)中，如果取閾值之后的特征亮度值中非零像素的數(shù)量超過 設(shè)定的閾值，則判斷存在吸煙行為，發(fā)出報警信號。
[0036]本發(fā)明有益效果：
[0037]本發(fā)明可在大型乘用車輛上實現(xiàn)對駕駛員吸煙行為的實時監(jiān)測和報警，無需人工 參與;無需借助機(jī)器學(xué)習(xí)或復(fù)雜的數(shù)學(xué)運算實現(xiàn)吸煙行為監(jiān)測，處理速度快，對車載監(jiān)控系 統(tǒng)的軟硬件資源要求不高;算法可移植性好，適用性強(qiáng)。
【附圖說明】
[0038] 圖1為本發(fā)明方法流程圖；
[0039] 圖2為本發(fā)明實施例獲取的視頻輸出格式數(shù)據(jù)示意圖；；
[0040] 圖3為本發(fā)明實施例提取監(jiān)控視頻數(shù)據(jù)的亮度分量示意圖；
[0041] 圖4為本發(fā)明實施例感興趣區(qū)域不意圖；
[0042]圖5為本發(fā)明實施例進(jìn)行閾值化處理后的視頻幀示意圖；
[0043] 圖6為本發(fā)明實施例進(jìn)行形態(tài)學(xué)腐蝕運算后的結(jié)果示意圖；
[0044] 圖7為本發(fā)明實施例進(jìn)行形態(tài)學(xué)膨脹運算后的結(jié)果示意圖；
[0045] 圖8為本發(fā)明實施例進(jìn)行基于模板的區(qū)域生長后的結(jié)果示意圖；
[0046] 圖9為本發(fā)明實施例得到的特征亮度值示意圖；
[0047] 圖10為本發(fā)明實施例最終得到的結(jié)果示意圖。
【具體實施方式】
[0048] 下面結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)說明：
[0049] 本發(fā)明方法所需硬件設(shè)備包括車載嵌入式設(shè)備和監(jiān)控攝像頭，兩者通過視頻傳輸 和控制線連接。其中攝像頭用于實現(xiàn)視頻采集，車載嵌入式設(shè)備用于對圖像進(jìn)行處理以及 實時報警。
[0050] 其中，車載嵌入式設(shè)備通過數(shù)字硬盤錄像機(jī)及其控制芯片構(gòu)成，對獲取的圖像進(jìn) 行本發(fā)明所述的處理步驟后，如果確定存在吸煙行為，則進(jìn)行報警。
[0051] 本發(fā)明公開了一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法，如圖1所 示，包括以下步驟：
[0052] (1)獲取車載監(jiān)控攝像頭視頻數(shù)據(jù)；
[0053] (2)提取監(jiān)控視頻數(shù)據(jù)的亮度分量；
[0054] (3)設(shè)定感興趣區(qū)域，并對所述感興趣區(qū)域進(jìn)行閾值化處理;對閾值化以后視頻幀 中的設(shè)定亮度區(qū)域進(jìn)行形態(tài)學(xué)腐蝕運算；
[0055] (4)對形態(tài)學(xué)腐蝕運算后的視頻幀中的設(shè)定亮度區(qū)域進(jìn)行形態(tài)學(xué)膨脹運算；
[0056] (5)形態(tài)學(xué)膨脹運算后的視頻幀中的設(shè)定亮度區(qū)域進(jìn)行基于模板的區(qū)域生長，得 到初始掩膜圖像；
[0057] (6)形態(tài)學(xué)膨脹運算后的視頻幀中的設(shè)定亮度區(qū)域進(jìn)行形態(tài)學(xué)腐蝕運算;并將形 態(tài)學(xué)腐蝕運算后的視頻幀與形態(tài)學(xué)膨脹運算后的視頻幀相減，得到掩模圖像；
[0058] (7)根據(jù)上述掩模圖像得到特征亮度值;將所得到的特征亮度值與設(shè)定閾值進(jìn)行 對比，得到取閾值之后的特征亮度值；
[0059] 根據(jù)取閾值之后的特征亮度值中非零像素的數(shù)量，判斷是否存在吸煙行為。
[0060] 具體實現(xiàn)方法如下：
[0061] 1.1獲取車載監(jiān)控攝像頭視頻數(shù)據(jù)(YUV420格式）
[0062] 本發(fā)明針對的是車載攝像頭常用的視頻輸出格式Y(jié)UV 4: 2:0。本實施例獲取的視 頻輸出格式數(shù)據(jù)如圖2所示。令攝像頭輸出的視頻幀為vn，其中η表示幀序號。
[0063] 1.2提取監(jiān)控視頻數(shù)據(jù)的亮度分量
[0064]令，表示視頻幀vn的亮度分量，yn(i，j)表示視頻幀vn中的像素點（i，j)處的亮度 分量，其中i表示像素點的橫坐標(biāo)，j表示像素點的縱坐標(biāo)。本實施例提取監(jiān)控視頻數(shù)據(jù)的亮 度分量如圖3所不。
[0065] 1.3設(shè)定感興趣區(qū)域
[0066]令Rect_yn表示在yn中人工選定的感興趣區(qū)域(矩形），其左上角坐標(biāo)為(xi，yi)，右 下角坐標(biāo)為(X2，y2)，這里X1表示左上角的橫坐標(biāo)，yi表示左上角的縱坐標(biāo)， X2表示右下角的 橫坐標(biāo)，y2表示右下角的縱坐標(biāo)。設(shè)定7"中的感興趣區(qū)域，即
[0067]
[0068]其中Rect_yn(i，j)表示Rect_yn在像素點（i，j)處的亮度分量，&&表示邏輯與運算 符。
[0069] 本實施例中感興趣區(qū)域如圖4所示。
[0070] 1.4對感興趣區(qū)域進(jìn)行閾值化處理
[0071] 令Rect_yn_t表示對Rect_yn進(jìn)行閾值化處理后的視頻幀，即
[0072]
[0073] 其中Rect_yn_t(i，j)表示像素點（i，j)處的亮度分量，T為閾值。
[0074]本實施例進(jìn)行閾值化處理后的視頻幀如圖5所示。
[0075] 1.5對感興趣區(qū)域進(jìn)行腐蝕運算
[0076]對Rect_yn_t中的亮度值為255的區(qū)域進(jìn)行形態(tài)學(xué)腐蝕運算，即 [0077]
[0078] 其中ReCt_yn_t_m〇rph_l表示Rect_yn_t腐蝕運算后的視頻幀，?表示腐蝕運算符， S為形狀算子。
[0079] 本實施例進(jìn)行形態(tài)學(xué)腐蝕運算后結(jié)果如圖6所示。
[0080] 1.6對區(qū)域進(jìn)行膨脹運算
[0081 ] 對Rect_yn_t_morph_l中的亮度值為255的區(qū)域進(jìn)行形態(tài)學(xué)膨脹運算，即
[0082]
[0083] 其中Rect_yn_t_morph_2表示對Rect_yn_t_morph_l進(jìn)行膨脹運算后的視頻幀，? 表示膨脹運算符。
[0084]本實施例進(jìn)行形態(tài)學(xué)膨脹運算后的結(jié)果如圖7所示。
[0085] 1.7對區(qū)域進(jìn)行基于模板的區(qū)域生長
[0086]對Rect_yn_t_morph_2中的亮度值為255的區(qū)域進(jìn)行基于模板的區(qū)域生長，本實施 例進(jìn)行基于模板的區(qū)域生長后的結(jié)果如圖8所示。
[0087]其具體實施過程為：
[0088] (a)判定Rect_yn_t_morph_2中亮度值為255的區(qū)域的邊界點，將這些邊界點記為 8,8(1，」)表示在像素點(1』處的亮度值；
[0089] (b)$NB(1'W表示（i，j)的鄰域，表示（i，j)的鄰域在像素點(p，q)的亮 度分量，P表示橫坐標(biāo)，q表示縱坐標(biāo)。如果滿足條件
[0090] (N(p，q)B(1'j)辛 255)&&(Rect_yn_t_morph_2(p，q) = 255)(條件 1)
[0091] 則進(jìn)行如下操作
[0092] Rect_yn_t_morph_2(p, q) = 255 (5)
[0093]其中Re ct_yn_t_morph_2(p, q)表示Rect_yn_t_morph_2在像素點（i , j)處的亮度 值；
[0094] (c)重復(fù)執(zhí)行步驟(a)-步驟(b)所示過程，直至條件1不再滿足為止。
[0095] 1.8特征提取
[0096] 對由步驟1.7得到的Rect_yn_t_morph_2中亮度值為255的區(qū)域進(jìn)行形態(tài)學(xué)腐蝕運 算，并且與Rect_yn_t_morph_2相減，即
[0097]
[0098] 其中，Rect_yn_mask表不掩模圖像。又令Rect_yn_mask( i，j)表不Rect_yn_mask在 像素點（i，j)處的亮度值，則
[0099]
[0100] 其中，Rect_yn_feature(i，j)表示特征亮度值。
[0101] 本實施例得到的特征亮度值如圖9所示。
[0102] 1.9輸出檢測結(jié)果
[0103] 令Tf表示對Rect_yn_feature(i，j)的閾值，那么
[0104]
[0105]其中，Rect_yn_feature_T(i，j)表示對Rect_y n_feature(i，j)取閾值之后的結(jié)果。 本實施例得到的結(jié)果如圖10所示。
[0106]若Rect_yn_feature_T( i，j)中非零像素的數(shù)量超過設(shè)定的數(shù)值，則確認(rèn)存在吸煙 行為。
[0107] 1.10重復(fù)上述步驟
[0108] 獲取由攝像頭拍攝的下一幀視頻圖像(YUV420格式），重復(fù)上述1.1-1.9描述的步 驟。
[0109] 上述雖然結(jié)合附圖對本發(fā)明的【具體實施方式】進(jìn)行了描述，但并非對本發(fā)明保護(hù)范 圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不 需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。
【主權(quán)項】
1. 一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法，其特征是，包括W下步驟： (1) 獲取車載監(jiān)控攝像頭視頻數(shù)據(jù)； (2) 提取監(jiān)控視頻數(shù)據(jù)的亮度分量； (3) 設(shè)定感興趣區(qū)域，并對所述感興趣區(qū)域進(jìn)行闊值化處理;對闊值化W后視頻帖中的 設(shè)定亮度區(qū)域進(jìn)行形態(tài)學(xué)腐蝕運算； (4) 對形態(tài)學(xué)腐蝕運算后的視頻帖中的設(shè)定亮度區(qū)域進(jìn)行形態(tài)學(xué)膨脹運算； (5) 形態(tài)學(xué)膨脹運算后的視頻帖中的設(shè)定亮度區(qū)域進(jìn)行基于模板的區(qū)域生長，得到初 始掩膜圖像； (6) 形態(tài)學(xué)膨脹運算后的視頻帖中的設(shè)定亮度區(qū)域進(jìn)行形態(tài)學(xué)腐蝕運算;并將形態(tài)學(xué) 腐蝕運算后的視頻帖與形態(tài)學(xué)膨脹運算后的視頻帖相減，得到掩模圖像； (7) 根據(jù)上述掩模圖像得到特征亮度值;將所得到的特征亮度值與設(shè)定闊值進(jìn)行對比， 得到取闊值之后的特征亮度值； 根據(jù)取闊值之后的特征亮度值中非零像素的數(shù)量，判斷是否存在吸煙行為。2. 如權(quán)利要求1所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法，其特 征是，所述步驟(3)中，設(shè)定感興趣區(qū)域具體為：其中，Rect_yn( i , j)表示Rect_y%像素點（i，j)處的亮度分量;&&表示邏輯與運算符； 令Rect_yD表示在yD中人工選定的感興趣區(qū)域，其左上角坐標(biāo)為(XI,yi)，右下角坐標(biāo)為(X2, 72); i表示像素點的橫坐標(biāo)，j表示像素點的縱坐標(biāo)。3. 如權(quán)利要求2所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法，其特 征是，所述步驟(3)中，對感興趣區(qū)域進(jìn)行闊值化處理具體為：， 其中，Rect_yn_t (i , j)表示1?6(31:_7"_1：在像素點（i , j)處的亮度分量，T為設(shè)定闊值。4. 如權(quán)利要求1所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法，其特 征是，所述步驟(5)中，進(jìn)行基于模板的區(qū)域生長的方法具體為： (a) 判定Rect_yn_t_mo^h_2中設(shè)定亮度值的區(qū)域的邊界點，將運些邊界點記為B，B(i， j)表示在像素點（i，j)處的亮度值； (b) 令表示（i，j)的鄰域，N(p，q)B(i'"表示（i，j)的鄰域在像素點（p，q)的亮度分 量，P表示橫坐標(biāo)，q表示縱坐標(biāo);如果滿足條件1: (N(p'q)B(i'j)聲255)&&(Rect_yn_t_morph_2(p,q) =255); 則進(jìn)行如下操作 Rect_y"_t_morph_2(p,q) =255； 其中1?6(31:_7。_1：_1]1〇巧11_2(9,9)表示1^(31:_7。_1：_1]1〇巧11_2在像素點（9,9)處的亮度值； (C)重復(fù)執(zhí)行步驟(a)-(b)過程，直至條件1不再滿足為止。5. 如權(quán)利要求1所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法，其特 征是，所述步驟(7)中，根據(jù)掩模圖像得到特征亮度值具體為：其中Rect_yn_feature(i,j)表示特征亮度值;Rect_yn(i,j)表示設(shè)定的感興趣Rect_yn 在像素點(X，y)處的亮度分量;Rect_yn_mask(i , j)表示掩模圖像Rect_yn_mask在像素點（i， j)處的亮度值。6. 如權(quán)利要求1所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法，其特 征是，所述步驟(7)中，取闊值之后的特征亮度值具體為：其中，T康示對特征亮度值Rect_yn_f ea1:ure (i，j)的闊值。7. 如權(quán)利要求1所述的一種基于車載視頻監(jiān)控的駕駛員吸煙行為實時監(jiān)測方法，其特 征是，所述步驟(7)中，如果取闊值之后的特征亮度值中非零像素的數(shù)量超過設(shè)定的闊值， 則判斷存在吸煙行為，發(fā)出報警信號。
【文檔編號】G08B21/12GK105976570SQ201610339767
【公開日】2016年9月28日
【申請日】2016年5月20日
【發(fā)明人】萬洪林, 白成杰
【申請人】山東師范大學(xué)