5月22日，在2023大灣區(qū)科學論壇上，鵬城實驗室發(fā)布了鵬城·星云系統(tǒng)和星方數(shù)據(jù)——這是支撐國際大科學計劃和工程的需求、聚焦天文和遙感兩大學科的科研云平臺。

鵬城星云系統(tǒng)依托于“鵬城云腦Ⅱ”而構(gòu)建。鵬城云腦Ⅱ是國產(chǎn)自主的首個E級AI算力平臺，根據(jù)中國工程院院士、鵬城實驗室主任高文的介紹，是“10的18次方、每秒16位復點運算的機器平臺”。目前，云腦Ⅱ已經(jīng)連續(xù)五次在超算打榜獲得世界第一。

(資料圖)

成立于2018年的鵬城實驗室位于深圳，主要從事網(wǎng)絡(luò)空間信息研究，定位為省級實驗室；2022年被列入國家實驗室。

相比之下，鵬城實驗室的合作伙伴知名度或許更高——此前百度發(fā)布的全球首個知識增強千億大模型百度文心、華為發(fā)布的首個千億級生成和理解中文NLP大模型盤古大模型，均有鵬城實驗室的研發(fā)參與。

ChatGPT帶火了整個人工智能產(chǎn)業(yè)，也讓焦點集中在大模型上。高文指出，ChatGPT之所以能對整個技術(shù)發(fā)展帶來這么大沖擊，最關(guān)鍵的是它使用了大模型。

從人工智能行業(yè)出發(fā)，如何將訓練好的模型從一個領(lǐng)域遷移到另外一個領(lǐng)域，始終是一個難題，因為不可能依賴于大量人力去標注數(shù)據(jù)。

國際歐亞科學院院士李世鵬表示，大模型是解決這個瓶頸的方法，“采用一種預訓練模式，對所有數(shù)據(jù)進行非監(jiān)督學習，形成大模型后再進行微調(diào)，落實到具體的應用場景?！?/p>

“其實模型本身很簡單，就是生物學里面神經(jīng)元的一個連接。但是因為它規(guī)模大，就起到非常理想的結(jié)果。所以規(guī)模是大模型里最核心的東西。”高文表示，規(guī)模需要靠三方面結(jié)合：巨大的算力、海量數(shù)據(jù)和足夠好的算法。例如ChatGPT就是微軟為其提供算力，提供了約1萬塊A100芯片的算力服務(wù)器支持。

高文提到，中國也有這樣的算力，在2020年推出的云腦Ⅱ，相當于4000塊A100芯片組合出來的機器，既可以做理論研究，也可以做核心技術(shù)，或者一些比較大的應用。

云腦Ⅱ的誕生讓鵬城實驗室的AI算力從100P上升到1000P。舉例來說，24小時內(nèi)能訓練100億張圖像，或1億人的DNA、或1千萬小時語音、或1萬天的自動駕駛數(shù)據(jù)等，是52萬臺家用電腦算力之和。

“我們現(xiàn)在正在設(shè)計下一臺3.2萬塊卡的機器，這臺機器的能力會比微軟的機器還強，是后者能力的三倍，確保為人工智能訓練持續(xù)提供強有力的算力支持?！备呶耐嘎?，這臺機器大約花費60億元，算力達到16000P。

“兩臺機器加在一起，可以解決到目前為止所有大模型的訓練。”高文表示，而且以此為核心，現(xiàn)在正在啟動中國算力網(wǎng)的建設(shè)，將來的算力會像ChatGPT電力一樣即插即用。

為了實現(xiàn)這個目標，鵬城實驗室現(xiàn)在正推動大模型的開源和底座訓練工作。例如云腦Ⅱ，只有1/4是鵬城實驗室在用，3/4開放出去，作為大設(shè)施開放提供給國內(nèi)的合作伙伴、高校甚至企業(yè)使用，此前也幫助百度、華為訓練了一系列大模型。

“鵬城會幫助相關(guān)單位訓練出GPT的底座來，云腦Ⅱ、云腦Ⅲ會給人工智能大模型提供足夠算力，我們也希望合作伙伴提供一些數(shù)據(jù)?！备鶕?jù)設(shè)想，通過鵬城的算力、公開渠道的數(shù)據(jù)結(jié)合，訓練出大模型底座向全社會開放。

算力、算法、數(shù)據(jù)，是人工智能的三大范疇。這也意味著，即使企業(yè)的算力不高，也能通過底座完成工作——畢竟ChatGPT一次訓練要花費將近1000萬美元。而對于云腦Ⅱ等基礎(chǔ)設(shè)備而言，也有望降低開發(fā)工作量。

騰訊首席科學家張正友則指出，因為各種各樣的原因，包括隱私、行業(yè)數(shù)據(jù)之間的關(guān)系，是不可能做一個模型打遍所有事情的，“如何去解決數(shù)據(jù)之間的壁壘，將多個模型高效地整合起來，這可能又是一個值得研究和探討的方向?！?/p>

（文章來源：界面新聞）

標簽：