每經(jīng)AI快訊，11月27日，浪潮信息發(fā)布旗下開(kāi)源千億參數(shù)大模型系列“源2.0”。據(jù)悉該系列模型免費(fèi)可商用，有參數(shù)值102B（1026億）、51B（518億）、2B（21億）三個(gè)版本，相關(guān)成果已開(kāi)源，并提交了研究論文。浪潮信息在其論文中稱(chēng)，源2.0在代碼、數(shù)學(xué)和事實(shí)問(wèn)答等方面的能力測(cè)試表現(xiàn)好于Meta的開(kāi)源大模型Llama 2。

在算法上，源2.0開(kāi)發(fā)團(tuán)隊(duì)提出局部注意力過(guò)濾增強(qiáng)機(jī)制LFA（Localized Filtering-based Attention），更關(guān)注上下文之間的強(qiáng)語(yǔ)義關(guān)聯(lián)。在數(shù)據(jù)集方面，浪潮信息主要使用中英文書(shū)籍、百科、論文等資料。（每日經(jīng)濟(jì)新聞）