本發(fā)明涉及卷積神經(jīng)網(wǎng)絡(luò)量化，特別涉及一種基于存內(nèi)計算電路的卷積神經(jīng)網(wǎng)絡(luò)量化方法。

背景技術(shù)：

1、近年來，隨著人工智能技術(shù)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)已被應(yīng)用到智能機器人、無人駕駛、智能安防以及智慧家居等場景中。然而，傳統(tǒng)的人工智能芯片都是基于“馮·諾依曼”架構(gòu)設(shè)計，數(shù)據(jù)和計算單元分開，存儲器和處理器之間通過數(shù)據(jù)總線進行數(shù)據(jù)交互，數(shù)據(jù)傳輸造成大量時間和功耗開銷，存在“存儲墻”和“功耗墻”問題。

2、存內(nèi)計算電路(芯片)將數(shù)據(jù)直接部署在處理器計算單元中，避免從存儲設(shè)備反復(fù)讀取數(shù)據(jù)，既能降低功耗，又能提升處理速度。然而，由于存內(nèi)計算電路性能不夠理想，存在算力低、內(nèi)存小以及電阻器件特性不理想等問題。此外，為了降低電路功耗和面積，模擬數(shù)字轉(zhuǎn)換電路一般設(shè)計為8位，只能取8位數(shù)據(jù)。因此，卷積神經(jīng)網(wǎng)絡(luò)模型在存內(nèi)計算電路上部署時，需要將浮點型數(shù)據(jù)轉(zhuǎn)為定點數(shù)據(jù)。

3、量化是卷積神經(jīng)網(wǎng)絡(luò)模型部署到ai芯片上最常用方法，常用量化技術(shù)有兩大類：一是量化感知訓練，在預(yù)先訓練模型的基礎(chǔ)上，插入偽量化節(jié)點，再進行微訓練，該方法對激活值和權(quán)重量化比較有效，無法對模擬數(shù)字轉(zhuǎn)換電路前的ivc系數(shù)量化；二是訓練后量化，利用預(yù)先訓練好的模型，采用量化數(shù)據(jù)集，對浮點型激活值、權(quán)重等參數(shù)進行量化，轉(zhuǎn)為定點數(shù)據(jù)，該方法量化過程中，只關(guān)注數(shù)據(jù)量化前后的相似性，未考慮卷積計算單元量化后的輸出值相似性。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于存內(nèi)計算電路的卷積神經(jīng)網(wǎng)絡(luò)量化方法，以解決卷積神經(jīng)網(wǎng)絡(luò)在存內(nèi)計算電路上量化部署的問題。

2、為解決上述技術(shù)問題，本發(fā)明提供了一種基于存內(nèi)計算電路的卷積神經(jīng)網(wǎng)絡(luò)量化方法，包括：

3、步驟s1：用預(yù)先訓練好的卷積神經(jīng)網(wǎng)絡(luò)模型，針對卷積層的激活值、權(quán)重設(shè)計量化網(wǎng)絡(luò)模型，其中，權(quán)重部分采用逐通道均勻?qū)ΨQ量化，激活值部分采用逐層均勻?qū)ΨQ量化；

4、步驟s2：挑選1000個樣本作為量化數(shù)據(jù)集，這些數(shù)據(jù)涵蓋訓練集對像所有類型，隨機選取50個樣本為一組，分成20組數(shù)據(jù)，依次送入量化網(wǎng)絡(luò)模型；

5、步驟s3：采用最大值法計算每層卷積各通道的權(quán)重量化系數(shù)，并將結(jié)果固定到量化網(wǎng)絡(luò)模型中；

6、步驟s4：結(jié)合全浮點型卷積網(wǎng)絡(luò)推理模型，采用均方誤差法計算激活值量化系數(shù)，逐卷積層計算，再將20組數(shù)據(jù)計算的量化系數(shù)求均值，求得每層卷積的激活值量化系數(shù)；

7、步驟s5：針對存內(nèi)計算電路中ivc系數(shù)，通過軟件仿真卷積操作在存內(nèi)計算電路數(shù)據(jù)流處理過程，結(jié)合激活值、權(quán)重量化結(jié)果，設(shè)計計算ivc系數(shù)的量化網(wǎng)絡(luò)模型；

8、步驟s6：挑選包含訓練集對象各種類型的100個樣本作為ivc系數(shù)量化數(shù)據(jù)集，隨機選5個樣本為一組，分成20組數(shù)據(jù)，依次送入ivc系數(shù)量化網(wǎng)絡(luò)模型；

9、步驟s7：采用kl散度法計算ivc系數(shù)，逐卷積層計算，再將20組量化數(shù)據(jù)計算的ivc系數(shù)求均值，求得每層卷積對應(yīng)ivc系數(shù)；

10、步驟s8：將卷積層權(quán)重、偏移量轉(zhuǎn)換為整數(shù)形式，ivc系數(shù)映射成電路中電阻的電導(dǎo)值，卷積層激活值、權(quán)重量化系數(shù)、ivc系數(shù)以及下一層卷積激活值量化系數(shù)進行融合，并轉(zhuǎn)化為a*2b形式，其中，a、b為整形，設(shè)計量化后卷積網(wǎng)絡(luò)在存內(nèi)計算電路推理網(wǎng)絡(luò)模型，實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)在存內(nèi)計算電路的量化部署。

11、在一種實施方式中，所述步驟s1包括：

12、在設(shè)計量化網(wǎng)絡(luò)模型中，每層卷積激活值、權(quán)重為浮點型數(shù)據(jù)，先計算各自量化系數(shù)，再乘以量化系數(shù)sx、權(quán)重sw，量化為int8數(shù)據(jù)類型；

13、然后進行卷積運算，再加上偏移量bi*(sw*sx)的值，之后除以系數(shù)(sw*sx)反量化操作，輸出浮點型數(shù)據(jù)，作為下一層卷積的激活值；同時設(shè)計一個并行的全浮點型卷積網(wǎng)絡(luò)推理模型，與量化網(wǎng)路的卷積層輸出結(jié)果計算均方誤差，用于選擇最佳的激活值量化系數(shù)。

14、在一種實施方式中，所述步驟s3包括：

15、先將權(quán)重中各個通道分為大于0和小于0兩部分，挑選數(shù)據(jù)量較多部分計算絕對值，取最大值為截取值，計算量化系數(shù)，并將預(yù)先計算的量化系數(shù)固定到量化網(wǎng)絡(luò)模型。

16、在一種實施方式中，所述步驟s4包括：

17、首先，采用直方圖統(tǒng)計的方法，選取計算激活值量化系數(shù)的多組截取值，計算出量化系數(shù)；

18、然后，分別完成該層卷積推理過程，輸出多組浮點型數(shù)據(jù)卷積結(jié)果，之后分別與全浮點型推理網(wǎng)絡(luò)的卷積結(jié)果做均方誤差；

19、最后，統(tǒng)計均方誤差最小值對應(yīng)的量化系數(shù)，作為該層卷積的激活值量化系數(shù)。

20、在一種實施方式中，所述步驟s5包括：

21、在計算ivc系數(shù)的量化網(wǎng)絡(luò)模型中，第一層卷積輸入的int8激活值，通過浮點型激活值乘以量化系數(shù)計算，其他卷積層的int8激活值為上一層卷積輸出值，將int8權(quán)重存儲在存內(nèi)計算電路計算單元中，int8激活值分成8個1bit依次與權(quán)重乘累加運算，得到8組int16數(shù)據(jù)，先計算ivc量化系數(shù)再量化為int8，接著反量化為int16數(shù)據(jù)，接著對8組數(shù)據(jù)移位相加，加上偏移量最后乘以系數(shù)輸出int8數(shù)據(jù)，作為下一層卷積激活值。

22、在一種實施方式中，所述步驟s8包括：

23、卷積網(wǎng)絡(luò)在存內(nèi)計算電路推理網(wǎng)絡(luò)模型中，將ivc系數(shù)映射為電路的電阻電導(dǎo)值gi，激活值和權(quán)重量化系數(shù)、ivc系數(shù)以及下一層卷積激活值量化系數(shù)融合成系數(shù)并轉(zhuǎn)化為a*2b形式，其中，a、b為整形，偏移量bi乘以轉(zhuǎn)換為整數(shù)形式，實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)在存內(nèi)計算電路量化部署。

24、本發(fā)明提供的一種基于存內(nèi)計算電路的卷積神經(jīng)網(wǎng)絡(luò)量化方法，在計算激活值量化系數(shù)、ivc系數(shù)時，選擇的量化數(shù)據(jù)集涵蓋訓練集對象的所有類型，使量化后網(wǎng)絡(luò)推理模型有更好的泛化能力；在激活值量化過程中，將量化模型卷積結(jié)果與全浮點型網(wǎng)絡(luò)模型結(jié)果計算均方誤差，來選擇最佳的激活值量化系數(shù)，充分考慮量化對卷積結(jié)果的影響，使量化后卷積結(jié)果更接近于真實值。先對激活值、權(quán)重量化，再設(shè)計計算ivc系數(shù)的量化網(wǎng)絡(luò)模型，實現(xiàn)對逐卷積層計算ivc系數(shù)，相比于此前統(tǒng)計方法選擇ivc系數(shù)，所有卷積層使用同一ivc系數(shù)，極大提升了量化后網(wǎng)絡(luò)模型的準確率。

技術(shù)特征：

1.一種基于存內(nèi)計算電路的卷積神經(jīng)網(wǎng)絡(luò)量化方法，其特征在于，包括：

2.如權(quán)利要求1所述的基于存內(nèi)計算電路的卷積神經(jīng)網(wǎng)絡(luò)量化方法，其特征在于，所述步驟s1包括：

3.如權(quán)利要求2所述的基于存內(nèi)計算電路的卷積神經(jīng)網(wǎng)絡(luò)量化方法，其特征在于，所述步驟s3包括：

4.如權(quán)利要求3所述的基于存內(nèi)計算電路的卷積神經(jīng)網(wǎng)絡(luò)量化方法，其特征在于，所述步驟s4包括：

5.如權(quán)利要求4所述的基于存內(nèi)計算電路的卷積神經(jīng)網(wǎng)絡(luò)量化方法，其特征在于，所述步驟s5包括：

6.如權(quán)利要求5所述的基于存內(nèi)計算電路的卷積神經(jīng)網(wǎng)絡(luò)量化方法，其特征在于，所述步驟s8包括：

技術(shù)總結(jié)
本發(fā)明公開一種基于存內(nèi)計算電路的卷積神經(jīng)網(wǎng)絡(luò)量化方法，屬于卷積神經(jīng)網(wǎng)絡(luò)量化領(lǐng)域。用卷積神經(jīng)網(wǎng)絡(luò)針對卷積層的激活值、權(quán)重，設(shè)計量化網(wǎng)絡(luò)模型；挑選1000個樣本作為量化數(shù)據(jù)集，50個樣本為一組，分成20組；計算權(quán)重量化系數(shù)，固定到量化網(wǎng)絡(luò)模型中；計算激活值量化系數(shù)；根據(jù)存內(nèi)計算電路數(shù)據(jù)流過程，設(shè)計計算ivc系數(shù)的量化網(wǎng)絡(luò)模型，選100個樣本為量化樣本，計算ivc系數(shù)；將卷積層權(quán)重、偏移量轉(zhuǎn)化為整數(shù)形式，ivc系數(shù)映射為電路中電阻的電導(dǎo)值，卷積層激活值和權(quán)重量化系數(shù)、ivc系數(shù)以及下一層卷積激活值量化系數(shù)進行融合，并轉(zhuǎn)化成a*2<supgt;b</supgt;形式，設(shè)計量化后卷積網(wǎng)絡(luò)在存內(nèi)計算電路推理網(wǎng)絡(luò)模型，實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)在存內(nèi)計算電路的量化部署。

技術(shù)研發(fā)人員：桑賢偵,魏敬和,程虎,趙偉,王正行,劉丹
受保護的技術(shù)使用者：中國電子科技集團公司第五十八研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21