誰(shuí)能想到，一場(chǎng)泄密事件，竟成了引發(fā)“ChatGPT平替”狂潮的開(kāi)端。
(資料圖)
事情的最開(kāi)端，是在今年2月24日，Meta發(fā)布大語(yǔ)言模型LLaMA(中文意為“羊駝”)，因其參數(shù)量遠(yuǎn)小于GPT-3，效果卻仍能優(yōu)于后者一度在圈內(nèi)引起熱議。
當(dāng)然，與近些年的大模型研發(fā)趨勢(shì)一樣，雖然Meta聲稱(chēng)LLaMA是開(kāi)源的，但仍需要研究人員申請(qǐng)并進(jìn)行審核。
但在一周之后，日本論壇4chan(相當(dāng)于國(guó)內(nèi)貼吧)上卻突然出現(xiàn)一條帖子，上傳了一個(gè)LLaMA模型源代碼的種子文件，下載后大小約為219G，瞬間一石激起千層浪，下載量很快超越千次。
更有戲劇性的是，這個(gè)種子鏈接還被合并到了LLaMA的官方GitHub頁(yè)面，甚至還得到了部分項(xiàng)目維護(hù)者的批準(zhǔn)，真的可以“點(diǎn)擊即用”。此后，4chan上還有用戶為那些希望自主部署該模型的人提供了詳細(xì)教程，說(shuō)明了如何獲得模型，如何添加修改后的模型，如何進(jìn)行更有效的推理等等。
對(duì)此，Meta官方在3月6日稱(chēng)，仍將繼續(xù)向通過(guò)審核的研究人員給予LLaMA官方通道，同時(shí)，也開(kāi)始著手控制LLaMA泄露源代碼的傳播。之后，開(kāi)源AI平臺(tái)Hugging Face的CEO就曾站出來(lái)表示，禁止用戶上傳LLaMA泄露源代碼。
但接下來(lái)，這場(chǎng)“史詩(shī)級(jí)泄露事件”的火，卻燒到了令人意想不到的方向——
3月15日，斯坦福發(fā)布語(yǔ)言大模型Alpaca，模型由LLaMA微調(diào)而來(lái)，僅用了52k數(shù)據(jù)，其性能約等于GPT-3.5，且訓(xùn)練成本還不到600美元。
3月23日，AI公司Nebuly開(kāi)源了基于LLaMA的模型ChatLLama，允許用戶基于預(yù)訓(xùn)練的LLaMA模型構(gòu)建個(gè)性化的ChatGPT服務(wù)，且訓(xùn)練速度更快，成本更低。
3月29日，加州大學(xué)伯克利分校在其Colossal-AI項(xiàng)目下發(fā)布了ColossalChat，這一模型通過(guò)RLHF(一種強(qiáng)化學(xué)習(xí)方式，類(lèi)似于獎(jiǎng)勵(lì)機(jī)制)，基于LLaMA預(yù)訓(xùn)練模型提供了ChatGPT服務(wù)。
同天，AI公司Age of AI推出了語(yǔ)言模型FreedomGPT，其基于斯坦福的Alpaca進(jìn)行開(kāi)發(fā)，號(hào)稱(chēng)是去掉了安全、倫理道德過(guò)濾器的ChatGPT版本。
3月31日，加州大學(xué)伯克利分校、卡內(nèi)基梅隆大學(xué)、斯坦福大學(xué)和加州大學(xué)圣地亞哥分校的研究人員開(kāi)源了語(yǔ)言模型Vicuna，這是一個(gè)與GPT-4性能相近的LLama的微調(diào)版本，訓(xùn)練成本僅有300美元。
4月3日，伯克利的伯克利人工智能研究院(BAIR)發(fā)布了 Koala，這一模型同樣是一種微調(diào)過(guò)的LLama版本，在超過(guò)一半的情況下與ChatGPT性能相當(dāng)。
大批LLaMA類(lèi)研發(fā)的推出與LLaMA模型的源代碼泄露到底有無(wú)直接關(guān)系，不得而知。但無(wú)論如何，以LLaMA模型“被迫”開(kāi)源為關(guān)鍵時(shí)間點(diǎn)，基于它開(kāi)發(fā)的模型與服務(wù)，開(kāi)始了爆炸式的增長(zhǎng)。
有趣的是，似乎是為了呼應(yīng)最初Meta家的LLaMA模型的一種含義“大羊駝”，之后斯坦福選擇了相似含義的Alpaca(羊駝)，之后又出現(xiàn)了Vicuna(小羊駝)……對(duì)此，有人調(diào)侃，再開(kāi)發(fā)下去，“羊駝家族”的名字都快不夠用了。
對(duì)此，有人笑稱(chēng)這場(chǎng)泄露事件促進(jìn)了大批ChatGPT式服務(wù)的產(chǎn)生，甚至促進(jìn)了AI民主化，可謂大功一件；也有人表示最初的泄露本就是Meta的“自導(dǎo)自演”，為的是最大限度地?cái)U(kuò)大其技術(shù)影響力；還有人認(rèn)為，這場(chǎng)泄露事件背后也有當(dāng)前大模型領(lǐng)域中開(kāi)源VS閉源(或通過(guò)API進(jìn)行分發(fā))的兩條道路之爭(zhēng)……
爭(zhēng)論不斷，熱議紛紛。當(dāng)前，LLaMA項(xiàng)目已在GitHub收獲17.4k星，而基于它所誕生的“羊駝家族”，還在一路狂奔。
（文章來(lái)源：南方都市報(bào)·灣財(cái)社）
標(biāo)簽：
