本發(fā)明涉及表面缺陷檢測(cè)，尤其涉及一種基于公平聯(lián)邦學(xué)習(xí)的表面缺陷檢測(cè)方法。

背景技術(shù)：

1、在生產(chǎn)制造的過(guò)程中，產(chǎn)品會(huì)受到設(shè)備性能、生產(chǎn)工藝的影響，出現(xiàn)不同種類的表面缺陷，如：金屬產(chǎn)品的銹斑、劃痕、針孔和毛刺等，陶瓷產(chǎn)品的瓷砂、氣孔、燒結(jié)不良和斑點(diǎn)等，紡織產(chǎn)品的破洞、粘物、破洞和污漬等。這些表面缺陷不僅降低了產(chǎn)品的外在吸引力和用戶體驗(yàn)感，而且對(duì)產(chǎn)品本身的特性和使用性能也有一定影響。為了有效地控制產(chǎn)品質(zhì)量，工廠通常會(huì)在產(chǎn)品的重要生產(chǎn)環(huán)節(jié)進(jìn)行表面缺陷檢測(cè)，根據(jù)檢測(cè)數(shù)據(jù)分析工藝流程中存在的不足，降低缺陷品的產(chǎn)生概率。

2、傳統(tǒng)的表面缺陷檢測(cè)方法大多通過(guò)人工采集和肉眼觀測(cè)對(duì)表面缺陷進(jìn)行識(shí)別，其檢測(cè)效果主要取決于檢測(cè)人員的先驗(yàn)知識(shí)和主觀經(jīng)驗(yàn)，具有漏檢率高、誤檢率高、抽檢率低、實(shí)時(shí)性差、勞動(dòng)強(qiáng)度大等諸多弊端。隨著工業(yè)物聯(lián)網(wǎng)技術(shù)的發(fā)展，基于數(shù)據(jù)驅(qū)動(dòng)的表面缺陷檢測(cè)方法得到廣泛研究，如支持向量機(jī)、決策樹、卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)、自編碼器等，取得了較好的研究成果。其中，基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法在數(shù)據(jù)驅(qū)動(dòng)下表現(xiàn)尤為突出，然而傳統(tǒng)深度學(xué)習(xí)表面缺陷檢測(cè)方法的模型性能緊密依賴于數(shù)據(jù)數(shù)量與數(shù)據(jù)質(zhì)量，在實(shí)際的工業(yè)生產(chǎn)中，出現(xiàn)表面缺陷產(chǎn)品的概率很小，導(dǎo)致單一工廠數(shù)據(jù)量較少，缺陷類別具有局限性，難以涵蓋全部缺陷類型。所以，為進(jìn)一步提升表面缺陷檢測(cè)準(zhǔn)確率，應(yīng)當(dāng)對(duì)不同工廠的多源數(shù)據(jù)進(jìn)行融合處理，但是企業(yè)間由于數(shù)據(jù)隱私和安全要求無(wú)法共享數(shù)據(jù)，因此，在保護(hù)數(shù)據(jù)隱私的前提下，實(shí)現(xiàn)多工廠聯(lián)合訓(xùn)練變的尤為重要。

3、聯(lián)邦學(xué)習(xí)(federated?learning，fl)作為一種保護(hù)數(shù)據(jù)隱私的分布式機(jī)器學(xué)習(xí)技術(shù)，在保持本地?cái)?shù)據(jù)分散的同時(shí)，使多方參與聯(lián)合訓(xùn)練，已經(jīng)被應(yīng)用到醫(yī)療、金融等多個(gè)領(lǐng)域，為聯(lián)合多工廠進(jìn)行表面缺陷檢測(cè)提供了方向。然而，當(dāng)前以聯(lián)邦學(xué)習(xí)為技術(shù)核心的聯(lián)合表面缺陷檢測(cè)方法在實(shí)際工業(yè)生產(chǎn)場(chǎng)景中仍存在不公平的收益分配機(jī)制導(dǎo)致部分工廠利益受損，從而影響參與聯(lián)合檢測(cè)的積極性的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于公平聯(lián)邦學(xué)習(xí)的表面缺陷檢測(cè)方法，該方法首先根據(jù)工廠子端的資源條件和對(duì)全局效用的影響進(jìn)行貢獻(xiàn)度評(píng)估；其次根據(jù)貢獻(xiàn)度聚合得到全局檢測(cè)模型，并對(duì)損失函數(shù)添加正則項(xiàng)，通過(guò)自適應(yīng)權(quán)重生成個(gè)性化模型；最后根據(jù)模型貢獻(xiàn)、模型收益、報(bào)酬貢獻(xiàn)對(duì)報(bào)酬收益進(jìn)行動(dòng)態(tài)調(diào)整，以此保證工廠子端間的協(xié)作收益和公平競(jìng)爭(zhēng)，提高工廠子端參與聯(lián)合檢測(cè)的積極性，進(jìn)一步為實(shí)現(xiàn)全局檢測(cè)模型的優(yōu)化提供了可能性。

2、本發(fā)明所采取的技術(shù)方案是：

3、一種基于公平聯(lián)邦學(xué)習(xí)的表面缺陷檢測(cè)方法，包括下述步驟：

4、s1.所有工廠子端對(duì)生產(chǎn)數(shù)據(jù)進(jìn)行采集，并按照8：2的比例劃分訓(xùn)練集與測(cè)試集；

5、s2.所有工廠子端利用本地的生產(chǎn)數(shù)據(jù)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)生成局部模型，其中卷積神經(jīng)網(wǎng)絡(luò)由卷積層、最大池化層、全連接層和relu激活函數(shù)構(gòu)成；

6、s3.工廠子端將局部檢測(cè)模型參數(shù)和本地資源配置上傳至中心端；

7、s4.中心端根據(jù)工廠子端資源配置信息和局部檢測(cè)模型對(duì)全局檢測(cè)模型的效用影響進(jìn)行貢獻(xiàn)度評(píng)估；

8、s5.中心端根據(jù)貢獻(xiàn)度將局部檢測(cè)模型聚合得到全局檢測(cè)模型；

9、s6.工廠子端結(jié)合全局檢測(cè)模型和局部檢測(cè)模型自適應(yīng)生成個(gè)性化模型；

10、s7.工廠子端上傳個(gè)性化模型和自適應(yīng)權(quán)重；

11、s8.中心端根據(jù)模型貢獻(xiàn)、模型收益和報(bào)酬貢獻(xiàn)對(duì)報(bào)酬收益進(jìn)行動(dòng)態(tài)優(yōu)化。

12、進(jìn)一步的，所述步驟s4中，中心端根據(jù)工廠子端資源配置信息和局部檢測(cè)模型對(duì)全局檢測(cè)模型的效用影響進(jìn)行貢獻(xiàn)度評(píng)估，包括以下步驟：

13、1-1)根據(jù)工廠子端資源配置信息進(jìn)行貢獻(xiàn)度評(píng)估：

14、本發(fā)明考慮了工廠子端資源三個(gè)主要評(píng)價(jià)指標(biāo)：工廠子端本地?cái)?shù)據(jù)量、工廠子端本地?cái)?shù)據(jù)質(zhì)量和算力成本。

15、假設(shè)工廠子端參加第t輪次參加訓(xùn)練的工廠子端共有mt個(gè)，工廠k在第t輪次訓(xùn)練的數(shù)據(jù)量為則在第t輪次工廠子端k的數(shù)據(jù)量貢獻(xiàn)度為：

16、

17、數(shù)據(jù)質(zhì)量貢獻(xiàn)度的計(jì)算過(guò)程如下所示：

18、第一步，對(duì)工廠子端本地?cái)?shù)據(jù)進(jìn)行歸一化和非負(fù)化處理。假設(shè)工廠子端k在第t輪次訓(xùn)練使用的本地?cái)?shù)據(jù)集為和分別為的屬性特征數(shù)量和數(shù)據(jù)樣本數(shù)量。令表示樣本索引，表示屬性特征索引，表示數(shù)據(jù)屬性特征，表示標(biāo)準(zhǔn)化后的數(shù)據(jù)屬性特征。的計(jì)算方式下式所示：

19、

20、第二步，計(jì)算數(shù)據(jù)屬性特征在屬性特征索引j中出現(xiàn)的概率計(jì)算方式如下式所示：

21、

22、第三步，通過(guò)數(shù)據(jù)樣本數(shù)量和概率計(jì)算出每個(gè)數(shù)據(jù)屬性的信息熵計(jì)算方式如下式所示：

23、

24、第四步，根據(jù)每個(gè)數(shù)據(jù)屬性的信息熵計(jì)算出數(shù)據(jù)屬性的熵權(quán)計(jì)算方式如下式所示：

25、

26、第五步，結(jié)合數(shù)據(jù)中每個(gè)屬性的熵權(quán)標(biāo)準(zhǔn)化后的數(shù)據(jù)屬性特征和樣本數(shù)量得到工廠子端k在第t輪次數(shù)據(jù)質(zhì)量如下式所示：

27、

28、第六步，結(jié)合所有工廠子端在第t輪次的數(shù)據(jù)質(zhì)量，得出工廠子端k在第t輪次的數(shù)據(jù)質(zhì)量貢獻(xiàn)度如下式所示：

29、

30、假設(shè)工廠子端k在第t輪次上傳局部檢測(cè)模型的本地迭代次數(shù)為則算力成本貢獻(xiàn)度為：

31、

32、結(jié)合工廠子端本地?cái)?shù)據(jù)量貢獻(xiàn)度工廠子端本地?cái)?shù)據(jù)質(zhì)量貢獻(xiàn)度和算力成本貢獻(xiàn)度可以計(jì)算出工廠子端資源條件的貢獻(xiàn)度如下式所示：

33、

34、1-2)根據(jù)局部檢測(cè)模型對(duì)全局檢測(cè)模型的效用影響進(jìn)行貢獻(xiàn)度評(píng)估；

35、本發(fā)明結(jié)合局部檢測(cè)模型的損失貢獻(xiàn)和邊際貢獻(xiàn)來(lái)計(jì)算對(duì)全局檢測(cè)模型效用影響的貢獻(xiàn)度。

36、假設(shè)第t輪次服務(wù)器的數(shù)據(jù)集為和分別為的屬性特征數(shù)量和數(shù)據(jù)樣本數(shù)量。令表示樣本索引，表示屬性特征索引，表示第i個(gè)樣本類別j的標(biāo)簽，表示第i個(gè)樣本是j的概率，工廠子端k的局部檢測(cè)模型為則工廠子端k在第t輪次交叉熵?fù)p失為：

37、

38、通過(guò)交叉熵?fù)p失可以計(jì)算得到工廠子端k在第t輪次的損失貢獻(xiàn)

39、

40、在聯(lián)邦學(xué)習(xí)這種分布式學(xué)習(xí)環(huán)境中，僅考慮交叉熵?fù)p失貢獻(xiàn)不足以全面評(píng)估工廠子端的貢獻(xiàn)度。交叉熵?fù)p失雖然提供了關(guān)于服務(wù)器數(shù)據(jù)與當(dāng)前模型預(yù)測(cè)的不一致性的信息，但沒有考慮每個(gè)工廠子端對(duì)模型改進(jìn)的潛在影響。邊際貢獻(xiàn)是某個(gè)參與者加入聯(lián)邦學(xué)習(xí)過(guò)程后對(duì)模型性能改善的額外貢獻(xiàn)，在不同的參與者擁有不同數(shù)據(jù)質(zhì)量和數(shù)量的情況下，可以識(shí)別出哪些工廠子端提供了更有價(jià)值的局部檢測(cè)模型。利用沙普利值對(duì)所有的工廠子端組合進(jìn)行考慮，為每個(gè)工廠子端分配一個(gè)公平的邊際貢獻(xiàn)，以量化其對(duì)全局檢測(cè)模型的真實(shí)影響，計(jì)算方式如下式所示：

41、

42、其中，表示工廠子端k在第t輪次的沙普利值，n表示所有工廠子端的集合，s表示不包含工廠子端k的任何工廠子集，|n|表示集合n中的工廠子端數(shù)量，s表示集合s中的工廠子端數(shù)量，v(s)表示集合s的價(jià)值，本發(fā)明通過(guò)集合s中所有工廠子端聚合得到的模型與中心端數(shù)據(jù)集交叉熵的損失得到v(s)，計(jì)算過(guò)程如下所示：

43、首先，用參數(shù)平均聚合集合s中所有工廠子端的局部檢測(cè)模型：

44、

45、然后，計(jì)算模型與數(shù)據(jù)集的交叉熵?fù)p失：

46、

47、v(s∪{k})表示包含工廠子端k在內(nèi)的價(jià)值，可得：

48、

49、由此可得基于交叉熵?fù)p失改進(jìn)的沙普利值計(jì)算公式：

50、

51、進(jìn)而根據(jù)沙普利值計(jì)算得到邊際貢獻(xiàn)：

52、

53、結(jié)合損失貢獻(xiàn)和邊際貢獻(xiàn)可以計(jì)算出全局檢測(cè)模型效用影響貢獻(xiàn)度：

54、

55、1-3)計(jì)算最終的貢獻(xiàn)度；

56、通過(guò)工廠子端資源條件信息貢獻(xiàn)度和全局檢測(cè)模型效用影響貢獻(xiàn)度計(jì)算出最終的貢獻(xiàn)度

57、

58、進(jìn)一步的，所述步驟s5中，中心端根據(jù)貢獻(xiàn)度將局部檢測(cè)模型聚合得到全局檢測(cè)模型，從公平性的角度出發(fā)，全局檢測(cè)模型應(yīng)該偏向?qū)θ謾z測(cè)模型貢獻(xiàn)度高的一方，因此本發(fā)明對(duì)全局更新階段的損失函數(shù)進(jìn)行優(yōu)化，如下式所示：

59、

60、其中，mt是第t輪次參與聚合的模型數(shù)量，是工廠子端k在第t輪次的貢獻(xiàn)度，const是第t輪次所有工廠子端的貢獻(xiàn)度之和，計(jì)算方式如下式所示：

61、

62、進(jìn)一步的，所述步驟s6中，工廠子端結(jié)合全局檢測(cè)模型和局部檢測(cè)模型自適應(yīng)生成個(gè)性化模型，在本發(fā)明中，目標(biāo)是找到全局檢測(cè)模型和局部檢測(cè)模型的最優(yōu)組合，以實(shí)現(xiàn)更優(yōu)的個(gè)性化模型。因此，假設(shè)工廠子端k在全局更新第t輪次的自適應(yīng)權(quán)重為則工廠子端k在第t輪次的個(gè)性化模型的聚合過(guò)程如下式所示：

63、

64、其中，wt為第t輪次的全局檢測(cè)模型，為第t輪次工廠子端k的局部檢測(cè)模型。

65、的最優(yōu)值可以通過(guò)求解下式得到：

66、

67、其中，是工廠子端k在第t輪次的本地?cái)?shù)據(jù)集，是個(gè)性化模型對(duì)數(shù)據(jù)集的交叉熵?fù)p失。

68、在局部檢測(cè)模型更新階段，工廠子端分別對(duì)全局檢測(cè)模型wt和局部檢測(cè)模型進(jìn)行局部更新，則局部更新第t輪次的全局檢測(cè)模型wt和局部檢測(cè)模型分別為：

69、wt＝wt-1-ηgt

70、

71、其中，η是學(xué)習(xí)率，gt是全局檢測(cè)模型的訓(xùn)練梯度，是局部檢測(cè)模型的訓(xùn)練梯度，可分別表示為：

72、

73、在局部檢測(cè)模型的訓(xùn)練中，通過(guò)梯度下降可以對(duì)上式進(jìn)行優(yōu)化：

74、

75、其中，是個(gè)性化模型的梯度，可表示為：

76、

77、結(jié)合上式，可得下式：

78、

79、再結(jié)合上式，可推導(dǎo)出下式：

80、

81、自適應(yīng)權(quán)重根據(jù)局部檢測(cè)模型和全局檢測(cè)模型的差異以及個(gè)性化模型梯度的相關(guān)性來(lái)更新。當(dāng)全局檢測(cè)模型偏離局部檢測(cè)模型時(shí)，的值會(huì)發(fā)生變化，以調(diào)整本地?cái)?shù)據(jù)和共享知識(shí)之間的平衡。當(dāng)局部檢測(cè)模型和全局檢測(cè)模型數(shù)據(jù)分布非常接近時(shí)(iid數(shù)據(jù))，不會(huì)發(fā)生太大變化。

82、個(gè)性化模型雖然更適應(yīng)工廠子端的本地?cái)?shù)據(jù)，但極度個(gè)性化的模型可能對(duì)全局檢測(cè)模型造成不利的偏移影響，因此，本發(fā)明對(duì)局部更新階段的損失函數(shù)進(jìn)行優(yōu)化，通過(guò)正則化控制局部檢測(cè)模型的偏移程度，如下式所示：

83、

84、其中，λ是控制個(gè)性化模型強(qiáng)度的正則化參數(shù)。

85、結(jié)合上式，個(gè)性化聯(lián)邦學(xué)習(xí)可以表述為一個(gè)雙層優(yōu)化問(wèn)題：

86、

87、從上式可以看出，在聯(lián)邦學(xué)習(xí)每一輪次的訓(xùn)練結(jié)束時(shí)，每個(gè)工廠子端會(huì)得到一個(gè)更適合本地?cái)?shù)據(jù)的個(gè)性化模型，而不是得到相同的全局檢測(cè)模型；在聯(lián)邦學(xué)習(xí)的訓(xùn)練過(guò)程中，中心端會(huì)限制個(gè)性化模型的極端偏移，并賦予貢獻(xiàn)值度更大的工廠子端更大的聚合權(quán)重。

88、進(jìn)一步的，所述步驟s8中，中心端根據(jù)模型貢獻(xiàn)、模型收益和報(bào)酬貢獻(xiàn)對(duì)報(bào)酬收益進(jìn)行動(dòng)態(tài)優(yōu)化。

89、假設(shè)工廠子端k在第t輪次的貢獻(xiàn)為工廠子端k在第t輪次的收益為傳統(tǒng)聯(lián)邦學(xué)習(xí)的公平性目標(biāo)是實(shí)現(xiàn)：

90、

91、其中，const是常數(shù)。

92、通過(guò)引入報(bào)酬貢獻(xiàn)和報(bào)酬收益可以將和優(yōu)化為：

93、

94、結(jié)合上式，可得：

95、

96、其中，表示模型貢獻(xiàn)，表示報(bào)酬貢獻(xiàn)，θ表示報(bào)酬收益系數(shù)，用于調(diào)整和在同一數(shù)量級(jí)，ξ表示報(bào)酬貢獻(xiàn)系數(shù)，用于調(diào)整和在同一數(shù)量級(jí)。

97、在本發(fā)明中，每個(gè)工廠子端都能自主決定在任意輪次是否上傳局部檢測(cè)模型和下載全局檢測(cè)模型，下載全局檢測(cè)模型需要支付報(bào)酬，上傳局部檢測(cè)模型會(huì)獲得報(bào)酬。中心端對(duì)每一輪次的全局檢測(cè)模型定價(jià)，假設(shè)第t輪次全局檢測(cè)模型的定價(jià)為gt，那么工廠子端k在第t輪次下載全局檢測(cè)模型做出的報(bào)酬貢獻(xiàn)為：

98、

99、模型貢獻(xiàn)為貢獻(xiàn)度

100、

101、模型收益可由個(gè)性化模型交叉熵?fù)p失差值得到：

102、

103、報(bào)酬收益分為兩個(gè)部分：

104、

105、其中，是遺憾收益，是分紅收益，自適應(yīng)權(quán)重對(duì)全局檢測(cè)模型wt與全局檢測(cè)模型進(jìn)行融合，從工廠的角度出發(fā)，融合0.5的全局檢測(cè)模型和融合0.8的全局檢測(cè)模型付出的報(bào)酬相等明顯是不公平的，因此遺憾收益可表示為：

106、

107、結(jié)合上式，可求解得到分紅收益

108、

109、假設(shè)是下載全局檢測(cè)模型的工廠子端個(gè)數(shù)，則中心端在t輪次收到的報(bào)酬為：

110、

111、假設(shè)是上傳局部檢測(cè)模型的工廠子端個(gè)數(shù)，則中心端向這些工廠子端下發(fā)的實(shí)際收益為：

112、

113、中心端在聯(lián)邦學(xué)習(xí)每一輪次結(jié)束之前，計(jì)算出參與本輪訓(xùn)練的工廠子端的實(shí)際收益，通過(guò)實(shí)際收益調(diào)整聯(lián)邦學(xué)習(xí)過(guò)程中的公平性，使得各個(gè)工廠子端收益與貢獻(xiàn)的比值趨近相同。

114、采用上述技術(shù)方案所產(chǎn)生的有益效果在于：

115、本發(fā)明針對(duì)訓(xùn)練過(guò)程中收益與貢獻(xiàn)不匹配導(dǎo)致的公平性問(wèn)題，提出了一種基于公平聯(lián)邦學(xué)習(xí)的表面缺陷檢測(cè)方法。首先，根據(jù)工廠子端的工廠資源條件和全局效用影響進(jìn)行貢獻(xiàn)度評(píng)估；其次，根據(jù)自適應(yīng)權(quán)重生成個(gè)性化模型；最后，根據(jù)模型貢獻(xiàn)、模型收益、報(bào)酬貢獻(xiàn)對(duì)報(bào)酬收益進(jìn)行動(dòng)態(tài)調(diào)整，以此保證工廠間的收益的公平性，提高工廠子端參與協(xié)同訓(xùn)練的積極性，進(jìn)一步為全局檢測(cè)模型的優(yōu)化提供了可能性。經(jīng)實(shí)驗(yàn)證明，本發(fā)明生成的個(gè)性化模型在neu-cls數(shù)據(jù)集上的準(zhǔn)確率比其他方法高0.15％-12.4％，在pvel-ad數(shù)據(jù)集上的準(zhǔn)確率比其他方法高0.02％-8.32％，證明了該方法個(gè)性化模型的有效性；在不同數(shù)據(jù)分布下，本發(fā)明生成的個(gè)性化模型準(zhǔn)確率在neu-cls數(shù)據(jù)集和pvel-ad數(shù)據(jù)集上下降的都是最少的，僅有17.97％和18.91％；本發(fā)明生成的個(gè)性化模型在neu-cls數(shù)據(jù)集上的jain公平指數(shù)比其他方法高0.0257-0.1664，在pvel-ad數(shù)據(jù)集上的jain公平指數(shù)比其他方法高0.021-0.1327，證明了該方法個(gè)性化模型的公平性；本發(fā)明在neu-cls數(shù)據(jù)集上的聯(lián)邦公平指數(shù)比其他方法高1.31-8.49，在pvel-ad數(shù)據(jù)集上的準(zhǔn)確率比其他方法高1.07-6.77，證明了該方法動(dòng)態(tài)收益調(diào)整的公平性由此可見，本發(fā)明在聯(lián)合檢測(cè)時(shí)擁有更高的公平性，使參與協(xié)同訓(xùn)練的工廠子端貢獻(xiàn)與收益成正比，提高工廠子端的參與度。