(資料圖)
當(dāng)?shù)貢r(shí)間2月24日，Meta公司發(fā)布一款新的人工智能大型語(yǔ)言模型LLaMA，加入微軟、谷歌等硅谷公司的競(jìng)賽。
Meta首席執(zhí)行官扎克伯格在Instagram表示，LLaMA模型旨在幫助研究人員推進(jìn)工作，在生成文本、對(duì)話(huà)、總結(jié)書(shū)面材料、證明數(shù)學(xué)定理或預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)等更復(fù)雜的任務(wù)方面“有很大的前景”。
根據(jù)Meta官網(wǎng)發(fā)布的論文，LLaMA目前包含70億、130億、330億和650億這4種參數(shù)規(guī)模的模型。其中，參數(shù)規(guī)模最小的LLaMA 7B也經(jīng)過(guò)了超1萬(wàn)億個(gè)tokens的訓(xùn)練。Meta表示，在大多數(shù)基準(zhǔn)測(cè)試中，參數(shù)僅為十分之一的LLaMA-13B的性能優(yōu)于OpenAI推出的GPT3(175B)，也即支持ChatGPT的GPT3.5的前身。LLaMA-65B也可與業(yè)內(nèi)領(lǐng)先的Chinchilla-70B和PaLM-540B競(jìng)爭(zhēng)。
Meta在去年5月曾推出一款面向研究人員的名為OPT-175B的大型語(yǔ)言模型，去年年底還發(fā)布過(guò)另一款模型Galactica，但后者被發(fā)現(xiàn)經(jīng)常分享有偏見(jiàn)或不準(zhǔn)確的信息，在48小時(shí)內(nèi)被迅速下架。
（文章來(lái)源：界面新聞）
