亚洲欧美日韩国产综合一区二区_亚洲偷精品国产五月丁香麻豆_精品久久久久久中文字幕202_久久国产亚洲精品美女_国产精品调教视频一区

每日視訊:《流浪地球》MOSS照進(jìn)現(xiàn)實(shí) 國內(nèi)首個(gè)類ChatGPT大模型開放測試

2023-02-21 08:00:45

國內(nèi)多個(gè)團(tuán)隊(duì)正在開發(fā)類似ChatGPT的大模型。2月20日,復(fù)旦大學(xué)率先向公眾發(fā)布了國內(nèi)首個(gè)公開亮相的對(duì)話式大型語言模型MOSS。

第一財(cái)經(jīng)記者登錄公開平臺(tái)https://moss.fastnlp.top/,目前使用該系統(tǒng)需要邀請(qǐng)碼,若無邀請(qǐng)碼,輸入手機(jī)號(hào)后可加入“等待名單”。不過當(dāng)天深夜記者試圖再登錄該系統(tǒng),網(wǎng)站顯示“服務(wù)器載量過大,請(qǐng)于明天再試”。其他多名用戶也向第一財(cái)經(jīng)記者反映了同樣的問題。


(相關(guān)資料圖)

第一財(cái)經(jīng)記者隨后聯(lián)系了MOSS系統(tǒng)開發(fā)團(tuán)隊(duì),相關(guān)負(fù)責(zé)人表示,由于當(dāng)晚系統(tǒng)公開后訪問人數(shù)過多,可能導(dǎo)致服務(wù)器響應(yīng)慢。

數(shù)據(jù)規(guī)模是主要限制

MOSS系統(tǒng)由復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)開發(fā),可執(zhí)行對(duì)話生成、編程、問答等任務(wù)。該項(xiàng)目還得到了上海人工智能實(shí)驗(yàn)室的支持,后期有望通過開源方式和業(yè)界社區(qū)分享。

目前,國內(nèi)多家互聯(lián)網(wǎng)巨頭企業(yè)都在競相開發(fā)ChatGPT類似的大模型,但尚未有任何已經(jīng)公布的產(chǎn)品。大模型的訓(xùn)練需要漫長的過程,例如微軟自2016年起就已經(jīng)開始做對(duì)話機(jī)器人。

ChatGPT的模型擁有上千億的參數(shù),背后有大量的人力進(jìn)行數(shù)據(jù)標(biāo)注。中國團(tuán)隊(duì)要在短時(shí)間內(nèi)趕超并不容易。

“ChatGPT這樣的大模型能開發(fā)成功非一日之功,背后是大量的數(shù)據(jù)收集。對(duì)于MOSS而言,與ChatGPT的主要差距在于數(shù)據(jù)的規(guī)模,除了學(xué)校擁有的一些科研數(shù)據(jù)之外,現(xiàn)在向公眾開放內(nèi)測,也是希望能夠通過大規(guī)模的數(shù)據(jù)來提升訓(xùn)練的能力?!币晃涣私庠撃P烷_發(fā)的相關(guān)人士告訴第一財(cái)經(jīng)記者。

目前,國內(nèi)訓(xùn)練人工智能軟件的主要障礙在于互聯(lián)網(wǎng)或其他數(shù)據(jù)集當(dāng)中高質(zhì)量中文文本的缺乏。作為ChatGPT的底層程序,GPT吸收了數(shù)十萬篇英文學(xué)術(shù)論文、新聞文章、書籍和社交媒體帖子來學(xué)習(xí)構(gòu)成語言的模式;而中國互聯(lián)網(wǎng)公司一些對(duì)標(biāo)ChatGPT的大模型,主要接受中文數(shù)據(jù)以及來自維基百科、Reddit等的英文數(shù)據(jù)訓(xùn)練。

業(yè)界針對(duì)MOSS系統(tǒng)關(guān)注的主要問題是模型的具體參數(shù)以及訓(xùn)練數(shù)據(jù)的方式。根據(jù)復(fù)旦團(tuán)隊(duì)的說法,MOSS的參數(shù)量比ChatGPT小一個(gè)數(shù)量級(jí),在任務(wù)完成度和知識(shí)儲(chǔ)備量上,還有很大提升空間。

不同于ChatGPT對(duì)數(shù)據(jù)進(jìn)行標(biāo)注再輸入模型基座的技術(shù)路線,復(fù)旦團(tuán)隊(duì)通過讓MOSS和人類以及其他對(duì)話模型進(jìn)行交互的方式,“端到端”走通大語言模型,提升學(xué)習(xí)效率和研發(fā)效率,短時(shí)間內(nèi)可高效完成對(duì)話能力訓(xùn)練。

除了對(duì)話之外,未來MOSS還將擁有更多的能力,如繪圖、語音、譜曲和教學(xué),并可加強(qiáng)輔助科學(xué)家進(jìn)行高效科研。

打造開源模型推動(dòng)AI普惠

一位業(yè)內(nèi)人士告訴第一財(cái)經(jīng)記者:“頂尖學(xué)府頂尖人才開發(fā)出的大模型值得期待,但現(xiàn)在還看不出訓(xùn)練數(shù)據(jù)的主要來源,如果真的能夠?qū)崿F(xiàn)編程等功能,那么這個(gè)數(shù)據(jù)規(guī)模一定不會(huì)小,需要大量資金的投入。”

由于大型語言模型預(yù)訓(xùn)練的研發(fā)門檻和運(yùn)營成本都很高,需要大量算力、語料訓(xùn)練以及人工標(biāo)注,只有大型機(jī)構(gòu)才有實(shí)力開發(fā)大模型。有統(tǒng)計(jì)數(shù)據(jù)顯示,假設(shè)ChatGPT的月活用戶為1000萬,那么每天的運(yùn)行成本大約為100萬美元。一些公司計(jì)劃將精力集中在客戶服務(wù)等特定垂直行業(yè),而不是押注于更廣泛的對(duì)話聊天機(jī)器人。

未來頭部企業(yè)將模型開源有望成為國內(nèi)大型語言模型發(fā)展的一大趨勢,可有效降低預(yù)訓(xùn)練語言模型的研發(fā)和應(yīng)用門檻,讓中小企業(yè)在其基礎(chǔ)上開發(fā)出更多產(chǎn)品應(yīng)用,推動(dòng)AI普惠。

上周,北京市經(jīng)濟(jì)和信息化局在一份《人工智能產(chǎn)業(yè)發(fā)展白皮書》中提出,全面夯實(shí)人工智能產(chǎn)業(yè)發(fā)展底座,支持頭部企業(yè)打造對(duì)標(biāo)ChatGPT的大模型,著力構(gòu)建開源框架和通用大模型的應(yīng)用生態(tài)。

業(yè)內(nèi)認(rèn)為,有必要引導(dǎo)企業(yè)、高校、科研院所、新型研發(fā)機(jī)構(gòu)、開源社區(qū)等圍繞人工智能關(guān)鍵核心技術(shù)創(chuàng)新協(xié)同攻關(guān)。清華大學(xué)國強(qiáng)教授、智能產(chǎn)業(yè)研究院首席研究員聶再清預(yù)測,我國可能會(huì)打造對(duì)標(biāo)ChatGPT的多種形式的開源版本,可實(shí)現(xiàn)多機(jī)構(gòu)共享。“未來學(xué)校和企業(yè)一定會(huì)在這方面有一定程度的合作。”他對(duì)第一財(cái)經(jīng)記者表示。

不過在此類AI聊天機(jī)器人軟件正式向公眾普及之前,還有諸多復(fù)雜的問題待解。據(jù)悉,近期復(fù)旦大學(xué)召集了十幾家人工智能公司的高管和學(xué)者,分析ChatGPT 的發(fā)展、潛在用例以及所帶來的安全風(fēng)險(xiǎn)。

(文章來源:第一財(cái)經(jīng))

標(biāo)簽: ChatGPT MOSS 流浪地球

關(guān)閉
新聞速遞