本公開涉及人工智能，尤其涉及一種深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著大部分業(yè)務(wù)辦理轉(zhuǎn)到線上進(jìn)行，無紙化簽名應(yīng)用普遍，然而，采用無紙化簽名將難以識(shí)別違規(guī)代簽字的代辦行為，目前用于識(shí)別無紙化簽字筆跡的深度神經(jīng)網(wǎng)絡(luò)存在訓(xùn)練效果差、識(shí)別精度低、訓(xùn)練時(shí)間過程等問題。究其原因，神經(jīng)網(wǎng)絡(luò)是通過對(duì)大量輸入數(shù)據(jù)和多個(gè)網(wǎng)絡(luò)隱藏層進(jìn)行非線性處理，以提取相關(guān)特征并學(xué)習(xí)其適當(dāng)?shù)谋硎?。相關(guān)技術(shù)中，神經(jīng)網(wǎng)絡(luò)的自適應(yīng)方法尋找需要修剪的隱藏層被表述為一個(gè)基于taylor展開方法的優(yōu)化問題，其目的是找到一個(gè)與原始完整模型等效的修剪模型，因此需要將兩種模型包括原始模型和經(jīng)過修剪的模型的精度之差最小化，這導(dǎo)致修剪隱藏層，隱藏層參數(shù)相對(duì)于提取的特征具有幾乎平坦的對(duì)數(shù)似然代價(jià)函數(shù)梯度，需要反復(fù)訓(xùn)練網(wǎng)絡(luò)直到收斂，測量模型的性能，使用泰勒展開近似解決優(yōu)化問題，進(jìn)行微調(diào)，非常耗時(shí)。

技術(shù)實(shí)現(xiàn)思路

1、本公開的第一方面實(shí)施例提出了一種深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，該方法包括：基于輸入實(shí)例和輸入實(shí)例對(duì)應(yīng)的真實(shí)輸出，迭代訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，在每次迭代中，獲取輸入實(shí)例在深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層上的映射，其中，深度神經(jīng)網(wǎng)絡(luò)包括多層隱藏層；通過層相關(guān)性權(quán)重學(xué)習(xí)組件，對(duì)輸入實(shí)例在深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層上的映射進(jìn)行學(xué)習(xí)，得到深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值；根據(jù)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值，對(duì)深度神經(jīng)網(wǎng)絡(luò)的多層隱藏層進(jìn)行修剪，獲取迭代后的深度神經(jīng)網(wǎng)絡(luò)；響應(yīng)于迭代后的深度神經(jīng)網(wǎng)絡(luò)收斂，停止迭代，得到優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)。

2、在本公開的一些實(shí)施例中，通過層相關(guān)性權(quán)重學(xué)習(xí)組件，對(duì)輸入實(shí)例在深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層上的映射進(jìn)行學(xué)習(xí)，得到深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值包括：根據(jù)輸入實(shí)例預(yù)定義的類，確定輸入實(shí)例的隸屬系數(shù)；將輸入實(shí)例在深度神經(jīng)網(wǎng)絡(luò)的每層神經(jīng)元上的映射、隸屬系數(shù)、上一次迭代的輸入實(shí)例的類內(nèi)距離之和輸入層相關(guān)性權(quán)重學(xué)習(xí)組件，基于預(yù)設(shè)的類無關(guān)目標(biāo)函數(shù)和/或類相關(guān)目標(biāo)函數(shù)進(jìn)行學(xué)習(xí)，得到深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值。

3、在本公開的一些實(shí)施例中，基于輸入實(shí)例和輸入實(shí)例對(duì)應(yīng)的真實(shí)輸出，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，在每次迭代中，獲取輸入實(shí)例在深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層上的映射包括：獲取輸入向量集合、輸入向量集合對(duì)應(yīng)的真實(shí)輸出集合、輸入向量集合中的輸入向量預(yù)定義的類；通過輸入向量集合和輸入向量集合對(duì)應(yīng)的真實(shí)輸出集合，對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練；在第t次迭代時(shí)，從輸入向量集合中選擇多個(gè)輸入向量作為第一集合，其中，第一集合為第t次迭代的訓(xùn)練集，t為大于1的正整數(shù)；將第一集合輸入深度神經(jīng)網(wǎng)絡(luò)，獲取第一集合中的輸入向量在深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層上的映射向量。

4、在本公開的一些實(shí)施例中，在第t次迭代時(shí)，將輸入實(shí)例在深度神經(jīng)網(wǎng)絡(luò)的每層神經(jīng)元上的映射、隸屬系數(shù)、上一次迭代的輸入實(shí)例的類內(nèi)距離之和輸入層相關(guān)性權(quán)重學(xué)習(xí)組件，基于預(yù)設(shè)的類無關(guān)目標(biāo)函數(shù)和/或類相關(guān)目標(biāo)函數(shù)進(jìn)行學(xué)習(xí)，得到深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值包括：根據(jù)第一集合中的輸入向量預(yù)定義的類，確定第一集合中輸入向量的隸屬系數(shù)；將第一集合中所有輸入向量在深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層上的映射向量、第一集合中輸入向量的隸屬系數(shù)、第t-1次迭代的輸入向量的類內(nèi)距離之和輸入層相關(guān)性權(quán)重學(xué)習(xí)組件，基于預(yù)設(shè)的目標(biāo)函數(shù)或類相關(guān)目標(biāo)函數(shù)進(jìn)行學(xué)習(xí)，得到第t次迭代時(shí)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值。

5、在本公開的一些實(shí)施例中，將輸入實(shí)例在深度神經(jīng)網(wǎng)絡(luò)的每層神經(jīng)元上的映射、隸屬系數(shù)、上一次迭代的輸入實(shí)例的類內(nèi)距離之和輸入層相關(guān)性權(quán)重學(xué)習(xí)組件，基于預(yù)設(shè)的類無關(guān)目標(biāo)函數(shù)進(jìn)行學(xué)習(xí)，得到深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值預(yù)設(shè)的類無關(guān)目標(biāo)函數(shù)包括：根據(jù)第一集合中所有輸入向量在每層隱藏層上的映射向量，確定第一集合中每兩個(gè)輸入向量對(duì)應(yīng)的映射向量之間在每層隱藏層上的距離；根據(jù)距離、第一集合中的輸入向量、第一集合中所有輸入向量預(yù)定義的類的數(shù)量、第一集合中輸入向量的隸屬系數(shù)以及第t-1次迭代的輸入向量的類內(nèi)距離之和，確定第一集合的類內(nèi)距離之和；對(duì)預(yù)設(shè)的類無關(guān)目標(biāo)函數(shù)求導(dǎo)，獲取第一集合的類內(nèi)距離之和與第t次迭代時(shí)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值之間的函數(shù)關(guān)系；根據(jù)函數(shù)關(guān)系和第一集合的類內(nèi)距離之和，確定第t次迭代時(shí)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值。

6、在本公開的一些實(shí)施例中，將第一集合中所有輸入向量在每層隱藏層上的映射向量、第一集合中輸入向量的隸屬系數(shù)、第t-1次迭代的輸入向量的類內(nèi)距離之和輸入層相關(guān)性權(quán)重學(xué)習(xí)組件，基于預(yù)設(shè)的類相關(guān)目標(biāo)函數(shù)進(jìn)行學(xué)習(xí)，得到第t次迭代時(shí)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值包括：根據(jù)第一集合中所有輸入向量在每層隱藏層上的映射向量，確定第一集合中每兩個(gè)輸入向量對(duì)應(yīng)的映射向量在每層隱藏層上的距離；針對(duì)第一集合中的輸入向量預(yù)定義的每個(gè)類，根據(jù)距離、第一集合、第一集合中輸入向量的隸屬系數(shù)以及第t-1次迭代的輸入向量的類內(nèi)距離之和，確定類的類內(nèi)距離之和；對(duì)預(yù)設(shè)的類相關(guān)目標(biāo)函數(shù)求導(dǎo)，獲取類的類內(nèi)距離之和與第t次迭代時(shí)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的類的模糊關(guān)聯(lián)權(quán)值之間的函數(shù)關(guān)系；根據(jù)函數(shù)關(guān)系和類的類內(nèi)距離之和，確定第t次迭代時(shí)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的類的模糊關(guān)聯(lián)權(quán)值；遍歷第一集合中的輸入向量預(yù)定義的所有類，確定第t次迭代時(shí)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的所有類的模糊關(guān)聯(lián)權(quán)值；將所有類的模糊關(guān)聯(lián)權(quán)值中的最大值作為第t次迭代時(shí)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值。

7、在本公開的一些實(shí)施例中，根據(jù)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值，對(duì)深度神經(jīng)網(wǎng)絡(luò)的多層隱藏層進(jìn)行修剪，獲取迭代后的深度神經(jīng)網(wǎng)絡(luò)包括：根據(jù)第t次迭代時(shí)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值，將每層隱藏層的模糊關(guān)聯(lián)權(quán)值中的最大值對(duì)應(yīng)的隱藏層確定為目標(biāo)層；修剪掉目標(biāo)層之后的所有隱藏層，得到第t次迭代后的深度神經(jīng)網(wǎng)絡(luò)。

8、本公開的第二方面實(shí)施例提出了一種深度神經(jīng)網(wǎng)絡(luò)優(yōu)化裝置，該裝置包括：訓(xùn)練模塊，用于基于輸入實(shí)例和輸入實(shí)例對(duì)應(yīng)的真實(shí)輸出，迭代訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，在每次迭代中，獲取輸入實(shí)例在深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層上的映射，其中，深度神經(jīng)網(wǎng)絡(luò)包括多層隱藏層；學(xué)習(xí)模塊，用于通過層相關(guān)性權(quán)重學(xué)習(xí)模型，對(duì)輸入實(shí)例在深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層上的映射進(jìn)行學(xué)習(xí)，得到深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值；修剪模塊，用于根據(jù)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值，對(duì)深度神經(jīng)網(wǎng)絡(luò)的多層隱藏層進(jìn)行修剪，獲取迭代后的深度神經(jīng)網(wǎng)絡(luò)；停止模塊，用于響應(yīng)于迭代后的深度神經(jīng)網(wǎng)絡(luò)收斂，停止迭代，得到優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)。

9、本公開的第三方面實(shí)施例提出了一種通信設(shè)備，包括：至少一個(gè)處理器；以及與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器能夠執(zhí)行本公開第一方面實(shí)施例中描述的方法。

10、本公開的第四方面實(shí)施例提出了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行本公開第一方面實(shí)施例中描述的方法。

11、綜上，本公開提出的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，包括基于輸入實(shí)例和輸入實(shí)例對(duì)應(yīng)的真實(shí)輸出，迭代訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，在每次迭代中，獲取輸入實(shí)例在深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層上的映射，其中，深度神經(jīng)網(wǎng)絡(luò)包括多層隱藏層；通過層相關(guān)性權(quán)重學(xué)習(xí)組件，對(duì)輸入實(shí)例在深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層上的映射進(jìn)行學(xué)習(xí)，得到深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值；根據(jù)深度神經(jīng)網(wǎng)絡(luò)的每層隱藏層的模糊關(guān)聯(lián)權(quán)值，對(duì)深度神經(jīng)網(wǎng)絡(luò)的多層隱藏層進(jìn)行修剪，獲取迭代后的深度神經(jīng)網(wǎng)絡(luò)；響應(yīng)于迭代后的深度神經(jīng)網(wǎng)絡(luò)收斂，停止迭代，得到優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)，本公開的方案通過引入層相關(guān)性權(quán)重學(xué)習(xí)組件，并計(jì)算每一層的模糊關(guān)聯(lián)權(quán)值，進(jìn)而根據(jù)該關(guān)聯(lián)權(quán)值判斷出哪些層可刪減，優(yōu)化深度神經(jīng)網(wǎng)絡(luò)的深度，實(shí)現(xiàn)自動(dòng)學(xué)習(xí)最優(yōu)層數(shù)以及每層的模糊關(guān)聯(lián)權(quán)值，提高時(shí)間效率、減少可學(xué)習(xí)參數(shù)的數(shù)量，使用本方案優(yōu)化的深度學(xué)習(xí)網(wǎng)絡(luò)用于無紙化筆跡識(shí)別，可以減少訓(xùn)練時(shí)間、提高深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練效率、提高識(shí)別精度，從而大大減少以至避免業(yè)務(wù)辦理違規(guī)代簽字的行為，避免他人違規(guī)代替本人辦理業(yè)務(wù)情況發(fā)生，杜絕隱患。

12、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。