本發(fā)明涉及自控思想在學(xué)科評(píng)估質(zhì)量和教師質(zhì)量上的應(yīng)用，特別是一種用于研究生學(xué)位論文質(zhì)量多準(zhǔn)則評(píng)價(jià)方法，該方法通過(guò)一種反饋機(jī)制來(lái)評(píng)價(jià)研究生學(xué)位論文質(zhì)量從而來(lái)為學(xué)位點(diǎn)質(zhì)量分析提供有效依據(jù)。

背景技術(shù)：

1、學(xué)位點(diǎn)質(zhì)量分析是培養(yǎng)高素質(zhì)人才的必備保障，而研究生學(xué)位論文質(zhì)量評(píng)價(jià)是衡量研究生知識(shí)水平，科研能力，綜合素質(zhì)等培養(yǎng)質(zhì)量的重要依據(jù)，直接的反映著學(xué)位點(diǎn)的教學(xué)情況。現(xiàn)階段學(xué)術(shù)博士和碩士學(xué)位論文的評(píng)價(jià)指標(biāo)體系中主要考慮三個(gè)方面：論文選題與綜述、論文成果的創(chuàng)新性與效益、以及論文體現(xiàn)的理論基礎(chǔ)、專(zhuān)門(mén)知識(shí)及科學(xué)研究能力。該評(píng)價(jià)體系雖凸顯了研究生學(xué)位論文創(chuàng)新性要素，但評(píng)價(jià)指標(biāo)要素不夠全面，評(píng)價(jià)效果主觀性強(qiáng)，分類(lèi)模糊，難以規(guī)范、客觀地反映研究生學(xué)位論文質(zhì)量。所以，目前研究生論文質(zhì)量評(píng)價(jià)機(jī)制存在缺少規(guī)范化表征與客觀性驗(yàn)證的問(wèn)題，亟需構(gòu)建兼顧定量與定性評(píng)價(jià)的學(xué)位論文質(zhì)量評(píng)價(jià)機(jī)制。為此，我們提出一種研究生學(xué)位論文質(zhì)量多準(zhǔn)則評(píng)價(jià)機(jī)制。首先，綜合現(xiàn)有評(píng)價(jià)機(jī)制下的研究生學(xué)位論文影響要素，從論文質(zhì)量及其體現(xiàn)的培養(yǎng)素質(zhì)層面重新分類(lèi)細(xì)化。其次，采用層次分析法設(shè)計(jì)一種基于多層面要素分析的多準(zhǔn)則評(píng)價(jià)機(jī)制，通過(guò)一致性轉(zhuǎn)換、一致性檢驗(yàn)以及權(quán)重計(jì)算確定客觀合理的評(píng)價(jià)體系。最后，通過(guò)評(píng)價(jià)體系的信度和效度分析，驗(yàn)證評(píng)價(jià)體系的可信度和準(zhǔn)確性，并采用所提機(jī)制對(duì)國(guó)內(nèi)某“雙一流”建設(shè)高校研究生學(xué)位論文進(jìn)行質(zhì)量評(píng)價(jià)，分析結(jié)果表明所提評(píng)價(jià)機(jī)制能夠客觀測(cè)量論文水平，為科學(xué)評(píng)價(jià)學(xué)位點(diǎn)質(zhì)量提供量化依據(jù)，形成有效的反饋機(jī)制。

技術(shù)實(shí)現(xiàn)思路

1、通過(guò)發(fā)明更加完善的研究生學(xué)位論文質(zhì)量多準(zhǔn)則評(píng)價(jià)機(jī)制來(lái)實(shí)現(xiàn)基于反饋機(jī)制的學(xué)位點(diǎn)質(zhì)量分析技術(shù)，從研究生培養(yǎng)的過(guò)程性環(huán)節(jié)出發(fā)，分析論文選題、論文水平、寫(xiě)作能力和答辯能力等影響研究生學(xué)位論文質(zhì)量的主要因素。從研究生論文質(zhì)量與其反應(yīng)的培養(yǎng)素質(zhì)層面，分析論文質(zhì)量層面的影響因素，主要包括：論文選題、文獻(xiàn)綜述、論文學(xué)術(shù)水平、寫(xiě)作能力四個(gè)方面；論文反應(yīng)的培養(yǎng)素質(zhì)層面的影響因素主要包括科研能力和學(xué)術(shù)道德素養(yǎng)兩個(gè)方面。

2、從系統(tǒng)分析的角度出發(fā)，依據(jù)科學(xué)合理、相對(duì)獨(dú)立、重點(diǎn)突出等原則，文章分析了學(xué)術(shù)型博士學(xué)位論文和碩士學(xué)位論文水平的主要影響因素。通過(guò)對(duì)從事科研教學(xué)領(lǐng)域的專(zhuān)家學(xué)者等進(jìn)行征詢，構(gòu)建了包括目標(biāo)層、準(zhǔn)則層和指標(biāo)層的研究生學(xué)位論文質(zhì)量綜合評(píng)價(jià)體系，如表1所示。評(píng)價(jià)體系的目標(biāo)是提升研究生學(xué)位論文質(zhì)量，對(duì)目標(biāo)層進(jìn)行分析分解得到包括論文選題、文獻(xiàn)綜述、論文學(xué)術(shù)水平、獨(dú)立科研能力、寫(xiě)作能力和學(xué)術(shù)道德素養(yǎng)的準(zhǔn)則層，最后對(duì)準(zhǔn)則層進(jìn)行細(xì)化得到可直接衡量的單個(gè)指標(biāo)。

3、研究生學(xué)位論文質(zhì)量直接反映著學(xué)位點(diǎn)的質(zhì)量，具體流程如圖3所示，通過(guò)衡量后反饋正面影響學(xué)位點(diǎn)質(zhì)量評(píng)價(jià)分析的結(jié)果。

4、具體步驟如下：

5、步驟一：首先設(shè)計(jì)了更加完善的研究生學(xué)位論文質(zhì)量多準(zhǔn)則評(píng)價(jià)機(jī)制，通過(guò)分析論文選題、論文水平、寫(xiě)作能力和答辯能力等影響研究生學(xué)位論文質(zhì)量的主要因素，通過(guò)把控研究生學(xué)位論文質(zhì)量和綜合素質(zhì)來(lái)提供相應(yīng)的反饋，從而實(shí)現(xiàn)基于反饋機(jī)制的學(xué)位點(diǎn)質(zhì)量分析技術(shù)。

6、多準(zhǔn)則評(píng)價(jià)機(jī)制是通過(guò)征詢從事高校教學(xué)一線以及科學(xué)研究領(lǐng)域?qū)＜?，分別構(gòu)造了博士研究生和學(xué)術(shù)碩士研究生學(xué)位論文評(píng)價(jià)指標(biāo)間兩兩比較的判斷矩陣。對(duì)于目標(biāo)層，準(zhǔn)則層的兩兩判斷矩陣為：

7、

8、式中，bij表示準(zhǔn)則層bi和bj對(duì)于目標(biāo)層而言哪個(gè)更重要，采用“1-9”標(biāo)度方法確定，本發(fā)明設(shè)計(jì)將按如下數(shù)字標(biāo)準(zhǔn)，1、3、5、7、9分別表示同等重要、稍微重要、明顯重要、強(qiáng)烈重要、絕對(duì)重要，2、4、6、8則為上述標(biāo)度中值，在折中時(shí)采用；n為判斷矩陣階數(shù)，本研究中n＝6。對(duì)于復(fù)雜指標(biāo)評(píng)價(jià)體系，為保證結(jié)果可靠，需對(duì)判斷矩陣進(jìn)行一致性檢驗(yàn)，一致性系數(shù)如下：

9、c＝ci/ri

10、式中，c為一致性判斷系數(shù)，當(dāng)其小于0.1時(shí)認(rèn)為判斷矩陣有效可靠；ri為平均一致性指標(biāo)，根據(jù)矩陣階數(shù)取值，通過(guò)表1確定；

11、 矩陣階數(shù) 2 3 4 5 6 7 8 ri 0 0.58 0.90 1.12 1.24 1.32 1.41

12、表1平均一致性指標(biāo)值

13、ci為矩陣一致性指標(biāo)計(jì)算公式如下：

14、ci＝(λmax-n)/(n-1)

15、式中，λmax為判斷矩陣b的最大特征根。

16、同理，分別針對(duì)博士研究生和學(xué)術(shù)碩士研究生構(gòu)建論文質(zhì)量評(píng)價(jià)體系中指標(biāo)層相對(duì)于準(zhǔn)則層的判斷矩陣。

17、在通過(guò)一致性檢驗(yàn)矩陣的基礎(chǔ)上，計(jì)算各指標(biāo)權(quán)重，公式如下：

18、

19、式中，ωbi為準(zhǔn)則層指標(biāo)bi的權(quán)重；mi為準(zhǔn)則層判斷矩陣各行元素的乘積。類(lèi)似可計(jì)算指標(biāo)層權(quán)重。

20、在專(zhuān)家評(píng)價(jià)的基礎(chǔ)上，得到學(xué)術(shù)博士研究生和學(xué)術(shù)碩士研究生的論文質(zhì)量評(píng)價(jià)準(zhǔn)則層和指標(biāo)層的權(quán)重如表3所示。

21、步驟二：通過(guò)分析了學(xué)術(shù)型博士學(xué)位論文和碩士學(xué)位論文水平的主要影響因素，并且對(duì)從事科研教學(xué)領(lǐng)域的專(zhuān)家學(xué)者等進(jìn)行征詢，構(gòu)建了包括目標(biāo)層、準(zhǔn)則層和指標(biāo)層的研究生學(xué)位論文質(zhì)量綜合評(píng)價(jià)體系，最后對(duì)準(zhǔn)則層進(jìn)行細(xì)化得到可直接衡量的單個(gè)指標(biāo)。詳細(xì)指標(biāo)如

22、表2所示。

23、

24、

25、表2研究生學(xué)位論文質(zhì)量多準(zhǔn)則評(píng)價(jià)體系及指標(biāo)說(shuō)明

26、步驟三：通過(guò)對(duì)學(xué)位論文的綜合評(píng)價(jià)以及衡量的各個(gè)指標(biāo)來(lái)對(duì)學(xué)位點(diǎn)質(zhì)量的分析進(jìn)行有效的反饋從而達(dá)到基于反饋機(jī)制的學(xué)位點(diǎn)質(zhì)量分析技術(shù)的效果。

27、一套科學(xué)的評(píng)價(jià)指標(biāo)體系應(yīng)遵守科學(xué)性原則、導(dǎo)向性原則和可行性原則。指標(biāo)體系設(shè)定的目的是對(duì)學(xué)位論文質(zhì)量的客觀評(píng)價(jià)，應(yīng)達(dá)到實(shí)效性和完備性。因此，本研究采用分層隨機(jī)抽樣法，對(duì)國(guó)內(nèi)某“雙一流”建設(shè)高校的近兩年研究生學(xué)位論文進(jìn)行測(cè)評(píng)。共抽取606份研究生學(xué)位論文，按照學(xué)科、導(dǎo)師職稱(chēng)、學(xué)位名稱(chēng)、出版時(shí)間進(jìn)行分層隨機(jī)抽樣實(shí)測(cè)。

28、為驗(yàn)證所提研究生論文質(zhì)量評(píng)價(jià)指標(biāo)體系的科學(xué)性，對(duì)其進(jìn)行信度分析。針對(duì)抽取的606份研究生學(xué)位論文，指標(biāo)體系整體cronbachα系數(shù)為0.891，表明所提評(píng)價(jià)指標(biāo)體系具有較高的可信度。

29、為分析評(píng)價(jià)體系的內(nèi)容效度和結(jié)構(gòu)限度，通過(guò)適當(dāng)性檢驗(yàn)判斷觀測(cè)變量是否適合做因子分析，結(jié)果顯示kmo＝0.873，bartlett球形檢驗(yàn)p＜0.001，表明指標(biāo)間存在公共因子，適合進(jìn)行因子分析。采用最大方差正交旋轉(zhuǎn)法分析結(jié)構(gòu)效度，分別分析各二級(jí)指標(biāo)所占貢獻(xiàn)率，如圖2所示。通過(guò)統(tǒng)計(jì)數(shù)據(jù)量表的結(jié)構(gòu)效度分析，效度系數(shù)在0.4-0.6之間，表明量表的效度較高，說(shuō)明所提評(píng)價(jià)指標(biāo)體系的結(jié)構(gòu)準(zhǔn)確性較好。

30、為進(jìn)一步分析指標(biāo)體系的科學(xué)性，將所有評(píng)閱文章均由專(zhuān)家按所提評(píng)價(jià)體系進(jìn)行評(píng)閱，并對(duì)評(píng)閱結(jié)果采用秩和比綜合評(píng)價(jià)法進(jìn)行實(shí)測(cè)評(píng)價(jià)以分析評(píng)價(jià)的一致性。通過(guò)五位不同學(xué)科專(zhuān)家對(duì)606篇論文按照所提評(píng)價(jià)體系進(jìn)行打分，檢驗(yàn)評(píng)分一致性的肯德?tīng)柡椭C系數(shù)顯著性檢驗(yàn)結(jié)果中，肯德?tīng)柡椭C系數(shù)為0.893，卡方值為113.643，卡方檢驗(yàn)的顯著性概率為0.000(＜0.01)，據(jù)此可以判斷，評(píng)分具有“顯著”的一致性。此外，將606篇實(shí)測(cè)論文按指標(biāo)得分由低到高分別排秩，并根據(jù)無(wú)量綱統(tǒng)計(jì)量秩和比(rank?sum?ratio，rsr)對(duì)實(shí)測(cè)論文進(jìn)行排序。通過(guò)原有評(píng)價(jià)結(jié)果與所提指標(biāo)體系下的評(píng)價(jià)結(jié)果進(jìn)行相關(guān)性分析，得到相關(guān)系數(shù)r＝0.903，p<0.05，可以認(rèn)為所提評(píng)價(jià)體系模型與原評(píng)價(jià)體系模型評(píng)價(jià)結(jié)果具有較高的一致性，說(shuō)明評(píng)價(jià)指標(biāo)體系能夠較為客觀地測(cè)量出論文水平。

31、本發(fā)明的有益效果為：

32、(1)瞄準(zhǔn)研究生學(xué)位論文質(zhì)量提升目標(biāo)，在已有研究生學(xué)位論文質(zhì)量評(píng)價(jià)體系基礎(chǔ)上，全面分析并重新分類(lèi)細(xì)化學(xué)位論文質(zhì)量影響要素，構(gòu)建包括目標(biāo)層、準(zhǔn)則層和指標(biāo)層的研究生學(xué)位論文質(zhì)量綜合評(píng)價(jià)體系。

33、(2)通過(guò)層次分析法，確定博士學(xué)位論文和學(xué)術(shù)碩士學(xué)位論文指標(biāo)層的權(quán)重，形成多準(zhǔn)則研究生學(xué)位論文質(zhì)量評(píng)價(jià)機(jī)制。

34、(3)采用指標(biāo)體系的信度分析和效度分析以及評(píng)價(jià)結(jié)果的相關(guān)性分析，說(shuō)明所提研究生學(xué)位論文質(zhì)量評(píng)價(jià)體系的科學(xué)性、合理性和有效性。

35、(4)研究生學(xué)位論文質(zhì)量評(píng)價(jià)體系涉及到學(xué)位論文從選題、設(shè)計(jì)、寫(xiě)作、評(píng)審到答辯的各個(gè)環(huán)節(jié)，通過(guò)對(duì)學(xué)位論文的科學(xué)評(píng)價(jià)將有效提升學(xué)位點(diǎn)質(zhì)量評(píng)價(jià)準(zhǔn)確度，同時(shí)為提高研究生培養(yǎng)質(zhì)量提供方法支撐。