本申請(qǐng)實(shí)施例涉及電子，涉及但不限于一種模型存儲(chǔ)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、當(dāng)前大模型迅猛發(fā)展，模型的體積也隨著模型參數(shù)的增大而激增。以700億(70b)參數(shù)的大模型為例，模型的體積可達(dá)140吉字節(jié)(gb)，而商用的萬億參數(shù)大模型體積可達(dá)數(shù)太字節(jié)(tb)。另一方面，大模型會(huì)根據(jù)下游任務(wù)進(jìn)行頻繁的微調(diào)迭代，模型巨大的體積對(duì)模型的存儲(chǔ)帶來很多挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請(qǐng)實(shí)施例提供一種模型存儲(chǔ)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

2、本申請(qǐng)實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、第一方面，本申請(qǐng)實(shí)施例提供一種模型存儲(chǔ)方法，所述方法包括：

4、將第一模型的n個(gè)第一參數(shù)層進(jìn)行分層存儲(chǔ)，其中，n個(gè)所述第一參數(shù)層是基于所述第一模型的算法特征切分所述第一模型的第一參數(shù)得到的，n為大于等于1的整數(shù)；

5、獲取微調(diào)所述第一模型生成的增量參數(shù)；

6、將切分所述增量參數(shù)得到的至少一個(gè)第二參數(shù)層進(jìn)行分層存儲(chǔ)，以基于n個(gè)所述第一參數(shù)層和所有所述第二參數(shù)層實(shí)現(xiàn)對(duì)微調(diào)所述第一模型得到微調(diào)模型的存儲(chǔ)。

7、第二方面，本申請(qǐng)實(shí)施例提供一種模型存儲(chǔ)裝置，所述裝置包括：

8、第一分層存儲(chǔ)模塊，用于將第一模型的n個(gè)第一參數(shù)層進(jìn)行分層存儲(chǔ)，其中，n個(gè)所述第一參數(shù)層是基于所述第一模型的算法特征切分所述第一模型的第一參數(shù)得到的，n為大于等于1的整數(shù)；

9、獲取模塊，用于獲取微調(diào)所述第一模型生成的增量參數(shù)；

10、第二分層存儲(chǔ)模塊，用于將切分所述增量參數(shù)得到的至少一個(gè)第二參數(shù)層進(jìn)行分層存儲(chǔ)，以基于n個(gè)所述第一參數(shù)層和所有所述第二參數(shù)層實(shí)現(xiàn)對(duì)微調(diào)所述第一模型得到微調(diào)模型的存儲(chǔ)。

11、第三方面，本申請(qǐng)實(shí)施例提供一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述方法。

12、第四方面，本申請(qǐng)實(shí)施例提供一種存儲(chǔ)介質(zhì)，存儲(chǔ)有可執(zhí)行指令，用于處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述方法。

13、第五方面，一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或指令，所述計(jì)算機(jī)程序或指令被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述方法中的步驟。

技術(shù)特征：

1.一種模型存儲(chǔ)方法，所述方法包括：

2.如權(quán)利要求1所述的方法，所述獲取微調(diào)所述第一模型生成的增量參數(shù)，包括：

3.如權(quán)利要求2所述的方法，所述第一參數(shù)層和所述第二參數(shù)層的元數(shù)據(jù)包括：參數(shù)層名稱、輸入層名稱、輸出層名稱和參數(shù)節(jié)點(diǎn)信息，其中，

4.如權(quán)利要求1所述的方法，所述獲取微調(diào)所述第一模型生成的增量參數(shù)，包括：

5.如權(quán)利要求4所述的方法，所述第一參數(shù)層和所述第二參數(shù)的元數(shù)據(jù)包括：參數(shù)層名稱、修訂號(hào)、輸入層名稱、輸出層名稱和參數(shù)節(jié)點(diǎn)信息，其中，

6.如權(quán)利要求5所述的方法，所述節(jié)點(diǎn)信息包括節(jié)點(diǎn)描述、節(jié)點(diǎn)連接結(jié)構(gòu)和節(jié)點(diǎn)操作，其中，

7.如權(quán)利要求1至6任一項(xiàng)所述的方法，所述方法還包括：

8.一種模型存儲(chǔ)裝置，所述裝置包括：

9.一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述方法中的步驟。

10.一種存儲(chǔ)介質(zhì)，存儲(chǔ)有可執(zhí)行指令，用于引起處理器執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的方法中的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開了一種模型存儲(chǔ)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，其中，所述方法包括：將第一模型的N個(gè)第一參數(shù)層進(jìn)行分層存儲(chǔ)，其中，N個(gè)所述第一參數(shù)層是基于所述第一模型的算法特征切分所述第一模型的第一參數(shù)得到的，N為大于等于1的整數(shù)；獲取微調(diào)所述第一模型生成的增量參數(shù)；將切分所述增量參數(shù)得到的至少一個(gè)第二參數(shù)層進(jìn)行分層存儲(chǔ)，以基于N個(gè)所述第一參數(shù)層和所有所述第二參數(shù)層實(shí)現(xiàn)對(duì)微調(diào)所述第一模型得到微調(diào)模型的存儲(chǔ)。

技術(shù)研發(fā)人員：李玉博,張帥依
受保護(hù)的技術(shù)使用者：聯(lián)想（北京）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21