(資料圖片)

·高文表示，開(kāi)發(fā)大模型不是拍腦袋、喊口號(hào)那么容易，而是必須擁有算力，只有投入幾十億元甚至上百億元才能做出“像樣的東西”，但這筆資金對(duì)于高校和初創(chuàng)企業(yè)而言是一個(gè)門(mén)檻?！拔覀兓镜南敕ň褪怯鸣i城實(shí)驗(yàn)室的算力、公開(kāi)渠道的數(shù)據(jù)，訓(xùn)練出大模型底座面向全社會(huì)開(kāi)放，供研究人員、創(chuàng)業(yè)者使用?！?/em>

5月22日，中國(guó)工程院院士、鵬城實(shí)驗(yàn)室主任高文在2023大灣區(qū)人工智能分論壇上表示，要利用鵬城實(shí)驗(yàn)室的算力、公開(kāi)渠道的數(shù)據(jù)，訓(xùn)練出大模型底座面向全社會(huì)開(kāi)放，供研究人員和創(chuàng)業(yè)者使用。

鵬城實(shí)驗(yàn)室是中央批準(zhǔn)成立的突破型、引領(lǐng)型、平臺(tái)型一體化的網(wǎng)絡(luò)通信領(lǐng)域新型科研機(jī)構(gòu)，聚焦寬帶通信、新型網(wǎng)絡(luò)、網(wǎng)絡(luò)智能等國(guó)家重大戰(zhàn)略任務(wù)開(kāi)展重大科學(xué)問(wèn)題和關(guān)鍵核心技術(shù)研究。

高文表示，目前的人工智能是新一輪浪潮，ChatGPT對(duì)技術(shù)和社會(huì)發(fā)展帶來(lái)了巨大沖擊?！拔覀儽仨氁獞?yīng)對(duì)，企業(yè)有企業(yè)的應(yīng)對(duì)方案，國(guó)家也有國(guó)家的應(yīng)對(duì)方案。企業(yè)動(dòng)作比較快，國(guó)內(nèi)有很多頭部企業(yè)都在做自己的大模型。當(dāng)然能否做得比ChatGPT好那是另外一回事，至少要做。不做就什么都不會(huì)發(fā)生，做了至少有些事情會(huì)發(fā)生?！?/p>

他表示，開(kāi)發(fā)大模型不是拍腦袋、喊口號(hào)那么容易，而是必須擁有算力，只有投入幾十億元甚至上百億元才能做出“像樣的東西”，但這筆資金對(duì)于高校和初創(chuàng)企業(yè)而言是一個(gè)門(mén)檻。目前鵬城實(shí)驗(yàn)室給出的方案是投入40億元開(kāi)發(fā)了E級(jí)智算平臺(tái)“鵬城云腦II”，具有100億億次的半浮點(diǎn)運(yùn)算操作能力。他表示，“鵬城云腦II”一個(gè)月之內(nèi)可以訓(xùn)練出GPT-3、GPT-3.5?！拔覀冋趩?dòng)做下一臺(tái)機(jī)器，大概會(huì)用60億元左右做16000P這么大算力的機(jī)器。這兩臺(tái)機(jī)器加在一起，解決目前為止所有大模型的訓(xùn)練都是綽綽有余的?！?/p>

解決了算力問(wèn)題，剩下的就是數(shù)據(jù)和算法。“算法現(xiàn)在幾乎屬于公開(kāi)知識(shí)，數(shù)據(jù)方面，我們準(zhǔn)備首先用最大的能力去獲取盡可能多的數(shù)據(jù)，從公開(kāi)渠道或者從購(gòu)買(mǎi)的渠道獲取數(shù)據(jù)來(lái)訓(xùn)練模型。我們基本的想法就是用鵬城實(shí)驗(yàn)室的算力、公開(kāi)渠道的數(shù)據(jù)，訓(xùn)練出大模型底座面向全社會(huì)開(kāi)放，供研究人員、創(chuàng)業(yè)者使用。”

高文同時(shí)提到了增強(qiáng)大模型技術(shù)平臺(tái)計(jì)劃，利用個(gè)人數(shù)據(jù)增強(qiáng)訓(xùn)練出更好的模型，推動(dòng)國(guó)內(nèi)尤其是粵港澳大灣區(qū)新一代人工智能的發(fā)展。他表示，所謂“增強(qiáng)”就是數(shù)據(jù)方在保證隱私和數(shù)據(jù)安全的情況下將個(gè)人數(shù)據(jù)貢獻(xiàn)出來(lái)進(jìn)行訓(xùn)練，增強(qiáng)模型可能比標(biāo)準(zhǔn)模型更好更強(qiáng)，并且增強(qiáng)模型只向數(shù)據(jù)提供方提供。“當(dāng)然我們有很多細(xì)節(jié)機(jī)制，后續(xù)只要大家加入這個(gè)聯(lián)盟，就會(huì)慢慢了解到這些細(xì)節(jié)機(jī)制。當(dāng)然也可以提出意見(jiàn)、建議，讓聯(lián)盟做得更好。”

（原標(biāo)題：高文：將訓(xùn)練大模型底座面向全社會(huì)開(kāi)放，供研究者創(chuàng)業(yè)者使用）