技術(shù)編號(hào):39714453
提示:您尚未登錄,請(qǐng)點(diǎn) 登 陸 后下載,如果您還沒(méi)有賬戶(hù)請(qǐng)點(diǎn) 注 冊(cè) ,登陸完成后,請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本申請(qǐng)涉及大語(yǔ)言模型,特別涉及一種稀疏注意力的異構(gòu)擴(kuò)展規(guī)則自動(dòng)分配方法、裝置及設(shè)備。背景技術(shù)、在大語(yǔ)言模型的自回歸推理中,涉及兩個(gè)階段:prefill(預(yù)填充)和decode(解碼)。在prefill階段,模型處理整個(gè)輸入token(詞塊令牌)序列以生成初始響應(yīng)token。在隨后的decode階段,模型使用新生成的token和先前緩存的k(鍵,key)和v(值,value)矩陣來(lái)生成后續(xù)token,直到生成結(jié)束。盡管這種迭代過(guò)程有效,但由于kv(鍵值)緩存的擴(kuò)展,增加了內(nèi)存和計(jì)算需求。、現(xiàn)有...
注意:該技術(shù)已申請(qǐng)專(zhuān)利,請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專(zhuān)利權(quán)人授權(quán)前,僅供技術(shù)研究參考不得用于商業(yè)用途。
該專(zhuān)利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán),增加技術(shù)思路,做技術(shù)知識(shí)儲(chǔ)備,不適合論文引用。
請(qǐng)注意,此類(lèi)技術(shù)沒(méi)有源代碼,用于學(xué)習(xí)研究技術(shù)思路。