本發(fā)明涉及茶葉質(zhì)量評(píng)估，具體涉及基于深度學(xué)習(xí)耦合感官質(zhì)量多模態(tài)融合傳感器的茶葉等級(jí)綜合評(píng)判的方法。

背景技術(shù)：

1、長期以來，科研人員對(duì)茶葉品質(zhì)的智能評(píng)價(jià)主要是利用單一的近紅外光譜(nirs)技術(shù)、機(jī)器視覺圖像化技術(shù)以及仿生傳感技術(shù)等現(xiàn)代食品快速無損檢測技術(shù)結(jié)合特征變量選擇算法和化學(xué)計(jì)量學(xué)手段來實(shí)現(xiàn)。上述方法大多是以茶葉中形狀、色澤、紋理、滋味或香氣等某一種品質(zhì)指標(biāo)為特征變量，結(jié)合理化成分含量或特定靶向?qū)傩?等級(jí)、產(chǎn)地、品類等)建立回歸或分類模型，來實(shí)現(xiàn)茶葉質(zhì)量的智能化評(píng)估。然而，在茶葉實(shí)際生產(chǎn)和流通過程中，對(duì)其品質(zhì)的評(píng)判仍主要通過感官審評(píng)的方式，對(duì)茶葉的“色、香、味、形”進(jìn)行綜合的評(píng)分，進(jìn)而確定其等級(jí)和質(zhì)量的優(yōu)劣。因此，上述基于單一茶葉品質(zhì)特征的數(shù)字化評(píng)價(jià)方法無法全面地表征茶葉復(fù)雜的內(nèi)在品質(zhì)。對(duì)茶葉多模態(tài)(即“色、香、味、形”)品質(zhì)的交互感知與數(shù)據(jù)融合的研究成為茶葉數(shù)字化品質(zhì)控制領(lǐng)域亟待解決的關(guān)鍵問題。

2、近年來，針對(duì)基于跨感知技術(shù)的信息融合評(píng)價(jià)茶葉質(zhì)量的研究主要涉及nirs、高光譜成像、機(jī)器視覺、嗅覺可視化、電子鼻(en)和電子舌(et)等傳感技術(shù)的數(shù)據(jù)融合，且多在兩個(gè)傳感技術(shù)間的信息融合?，F(xiàn)有研究中有通過hsi和嗅覺可視化技術(shù)對(duì)六個(gè)等級(jí)的黃山毛峰綠茶進(jìn)行等級(jí)評(píng)判。svm判別模型結(jié)果顯示，所建立的數(shù)據(jù)融合模型的預(yù)測集的正確判別率(cdr)達(dá)到92％，遠(yuǎn)高于光譜特征模型(cdr＝74％)和嗅覺特征模型(cdr＝78％)。也有研究利用nirs和機(jī)器視覺技術(shù)監(jiān)測紅茶的萎凋程度。融合上述技術(shù)信息的svm模型的性能明顯優(yōu)于單一技術(shù)，數(shù)據(jù)融合模型的校正集和預(yù)測集的cdr分別為98.75％和97.50％。此外，通過融合nirs和計(jì)算機(jī)視覺技術(shù)(cv)對(duì)紅茶發(fā)酵度進(jìn)行了智能評(píng)價(jià)，構(gòu)建的svm模型在校正集和預(yù)測集中的分類準(zhǔn)確率均為100％。通過en技術(shù)和cv技術(shù)的數(shù)據(jù)融合策略快速識(shí)別龍井綠茶品質(zhì)，得到基于決策層數(shù)據(jù)融合的svm模型的預(yù)測性能最佳，在校正和預(yù)測樣品集中的cdr均為100％。在此基礎(chǔ)上，將en技術(shù)、et技術(shù)和cv技術(shù)等三種傳感技術(shù)進(jìn)行信息融合，建立了基于龍井茶等級(jí)品質(zhì)的svm模型同樣獲得了100％的準(zhǔn)確率。盡管如此，上述研究報(bào)道多是采用跨傳感器技術(shù)對(duì)茶葉單一特征屬性進(jìn)行評(píng)判，且使用的分類算法均為傳統(tǒng)的機(jī)器學(xué)習(xí)算法。針對(duì)茶葉“色、香、味、形”綜合特征品質(zhì)的數(shù)字化描述至今無文獻(xiàn)報(bào)道。

3、鑒于上述缺陷，本發(fā)明創(chuàng)作者經(jīng)過長時(shí)間的研究和實(shí)踐終于獲得了本發(fā)明。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于解決現(xiàn)有技術(shù)多是采用跨傳感器技術(shù)對(duì)茶葉單一特征屬性進(jìn)行評(píng)判，且使用的分類算法均為傳統(tǒng)的機(jī)器學(xué)習(xí)算法，沒有針對(duì)深度學(xué)習(xí)算法結(jié)合茶葉“色、香、味、形”綜合特征品質(zhì)的數(shù)字化描述的問題，提供了基于深度學(xué)習(xí)耦合感官質(zhì)量多模態(tài)融合傳感器的茶葉等級(jí)綜合評(píng)判的方法。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明公開了基于深度學(xué)習(xí)耦合感官質(zhì)量多模態(tài)融合傳感器的茶葉等級(jí)綜合評(píng)判的方法，包括以下步驟：

3、s1,開發(fā)同步采集茶葉“色、香、味、形”等感官參數(shù)的傳感器，檢測不同嫩度等級(jí)茶葉樣本的形態(tài)、色域、紋理、分子光譜、嗅覺和味覺傳感信號(hào)特征，同步獲取表征不同等級(jí)茶葉樣本的感官多模態(tài)特征，采用感官特征總和法，搭建不同等級(jí)茶葉樣本的“色、香、味、形”四大感官因子矢量矩陣；

4、s2,基于深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)合不同嫩度等級(jí)茶葉樣本的感官多模態(tài)特征矢量矩陣，開發(fā)不同嫩度等級(jí)茶葉樣本的感官多因子綜合評(píng)判模型；

5、s3,采摘不同時(shí)序條件下制作的具有代表性的不同原料等級(jí)茶葉樣本對(duì)所建判別模型進(jìn)行獨(dú)立驗(yàn)證，搭建基于深度卷積神經(jīng)網(wǎng)絡(luò)的不同原料等級(jí)茶葉校驗(yàn)樣本的多模態(tài)特征矢量差別估計(jì)模型。

6、所述步驟s1中形態(tài)包括葉片長度、寬度、面積、周長、狹長度和矩形度；色域包括r、g、b、l*、a*、b*、h、s和v特征均值；紋理包括熵、三階矩、一致性、平滑度、相關(guān)性、對(duì)比度、同質(zhì)性、能量、平均值和標(biāo)準(zhǔn)差；香氣特征包括10個(gè)電子鼻氣味傳感器響應(yīng)信號(hào)特征，滋味特征包括228個(gè)近紅外光譜特征和9個(gè)電子舌滋味傳感器響應(yīng)信號(hào)特征。

7、所述形態(tài)參數(shù)的提取過程包括以下步驟：

8、(1)將不同等級(jí)樣本的rgb圖像轉(zhuǎn)換為灰度圖像和二值圖像；

9、(2)對(duì)二值圖像進(jìn)行中值濾波去噪；

10、(3)采用全局閾值otsu方法對(duì)茶葉樣本進(jìn)行閾值分割，將單葉圖像從藍(lán)色背景中分離出來；

11、(4)使用matlab?2019b軟件對(duì)每張圖像上的單個(gè)茶葉進(jìn)行總數(shù)統(tǒng)計(jì)；

12、(5)提取每個(gè)樣本的上述六個(gè)形狀特征數(shù)據(jù)，將每個(gè)特征值劃分為幾個(gè)區(qū)間，在每個(gè)區(qū)間內(nèi)統(tǒng)計(jì)分布頻率；

13、(6)將得到的形狀特征直方圖作為后續(xù)建模的特征數(shù)據(jù)。

14、所述紋理特征參數(shù)的計(jì)算公式如下：

15、能量：

16、同質(zhì)性：

17、對(duì)比度：

18、相關(guān)性：

19、熵：

20、平滑度：

21、三階矩：

22、一致性：

23、平均值：

24、標(biāo)準(zhǔn)差：

25、其中，p(i,j)為(i,j)處變換后的m×n子帶的振幅值，μx和μy分別表示灰度級(jí)為i和j的像素在相應(yīng)紋理圖像中同時(shí)出現(xiàn)的概率形式的灰度共生矩陣，σx和σy分別表示灰度級(jí)為i和j的像素在相應(yīng)紋理圖像中同時(shí)出現(xiàn)的概率統(tǒng)計(jì)總和的平方根。

26、所述步驟s2中綜合評(píng)判模型的建立中采用深度卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)不同等級(jí)茶葉樣品的“色、香、味、形”多模態(tài)融合數(shù)據(jù)進(jìn)行特征提取與分類模型建立。

27、與現(xiàn)有技術(shù)比較本發(fā)明的有益效果在于：本發(fā)明融合滇紅工夫紅茶的色澤、紋理、形狀等外觀特征，nirs和et等滋味特征和en氣味傳感器的香氣特征，引入深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)(cnn)算法對(duì)七個(gè)等級(jí)的700個(gè)滇紅茶樣品進(jìn)行質(zhì)量等級(jí)的同步快速鑒別。通過對(duì)cnn法的建模效果進(jìn)行優(yōu)化，以探索出評(píng)價(jià)滇紅工夫紅茶產(chǎn)品質(zhì)量最優(yōu)的識(shí)別模型。

技術(shù)特征：

1.一種基于深度學(xué)習(xí)耦合感官多模態(tài)融合傳感器的茶葉等級(jí)綜合評(píng)判的方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的一種基于深度學(xué)習(xí)耦合感官多模態(tài)融合傳感器的茶葉等級(jí)綜合評(píng)判的方法，其特征在于，所述步驟s1中形態(tài)包括葉片長度、寬度、面積、周長、狹長度和矩形度；色域包括r、g、b、l*、a*、b*、h、s和v特征均值；紋理包括熵、三階矩、一致性、平滑度、相關(guān)性、對(duì)比度、同質(zhì)性、能量、平均值和標(biāo)準(zhǔn)差；香氣特征包括10個(gè)電子鼻氣味傳感器響應(yīng)信號(hào)特征，滋味特征包括228個(gè)近紅外光譜特征和9個(gè)電子舌滋味傳感器響應(yīng)信號(hào)特征。

3.如權(quán)利要求2所述的一種基于深度學(xué)習(xí)耦合感官多模態(tài)融合傳感器的茶葉等級(jí)綜合評(píng)判的方法，其特征在于，所述形態(tài)參數(shù)的提取過程包括以下步驟：

4.如權(quán)利要求2所述的一種基于深度學(xué)習(xí)耦合感官多模態(tài)融合傳感器的茶葉等級(jí)綜合評(píng)判的方法，其特征在于，所述紋理特征參數(shù)的計(jì)算公式如下：

5.如權(quán)利要求1所述的一種基于深度學(xué)習(xí)耦合感官多模態(tài)融合傳感器的茶葉等級(jí)綜合評(píng)判的方法，其特征在于，所述步驟s2中綜合評(píng)判模型的建立中采用深度卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)不同等級(jí)茶葉樣品的“色、香、味、形”多模態(tài)融合數(shù)據(jù)進(jìn)行特征提取與分類模型建立。

技術(shù)總結(jié)
本發(fā)明涉及茶葉質(zhì)量控制數(shù)字化技術(shù)領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)耦合感官質(zhì)量多模態(tài)融合傳感器的茶葉等級(jí)綜合評(píng)判的方法，通過“色、香、味、形”多模態(tài)融合的擬人傳感器同步獲取表征不同等級(jí)茶葉樣本的“色、香、味、形”多模態(tài)特征。采用感官特征總和法，建立四大感官因子差別序列矩陣；基于深度學(xué)習(xí)結(jié)合不同嫩度等級(jí)茶葉樣本的感官多模態(tài)傳感器的矢量矩陣，開發(fā)不同嫩度等級(jí)茶葉樣本的多指標(biāo)感官因子的深度學(xué)習(xí)綜合評(píng)判模型；采摘茶葉樣本對(duì)所建判別模型進(jìn)行獨(dú)立樣本驗(yàn)證，實(shí)現(xiàn)不同原料等級(jí)茶葉校驗(yàn)樣本的多模態(tài)特征矢量快速判別，可有效解決單一茶葉感官品質(zhì)特征的數(shù)字化評(píng)價(jià)方法無法全面地表征茶葉復(fù)雜的內(nèi)在品質(zhì)問題。

技術(shù)研發(fā)人員：任廣鑫,王云,高鈺敏,張旭升,陳亮穩(wěn)
受保護(hù)的技術(shù)使用者：淮南師范學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21