【資料圖】
8月18日，在《麻省理工科技評(píng)論》中國(guó)（MIT TR China）發(fā)布的一項(xiàng)大模型評(píng)測(cè)報(bào)告中，訊飛星火認(rèn)知大模型V2.0在6個(gè)大類中得分率排名第一，以 81.5 分（百分制計(jì)）的成績(jī)?cè)诒敬卧u(píng)測(cè)中獲評(píng)為“最聰明”的國(guó)產(chǎn)大模型。
據(jù)介紹，該評(píng)測(cè)使用的測(cè)試集包含600道題目，覆蓋了語(yǔ)言專項(xiàng)、數(shù)學(xué)專項(xiàng)、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識(shí)、安全性共 8 個(gè)一級(jí)大類，126 個(gè)二級(jí)分類，290 個(gè)三級(jí)標(biāo)簽，并針對(duì)問(wèn)題的豐富性和多樣性做了優(yōu)化，力圖從研發(fā)和商業(yè)化能力、外界態(tài)度以及發(fā)展趨勢(shì)等維度全方位檢測(cè)大模型的能力。
在題目類型上，為了兼顧定量、定性的評(píng)價(jià)與測(cè)試，MIT TR China在評(píng)測(cè)中設(shè)置了“單選”、“多選”、“填空”、“簡(jiǎn)答”4個(gè)題型，分別有 145 道、138 道、136 道和 181 道。其中，語(yǔ)言專項(xiàng)評(píng)測(cè)中包含對(duì)話理解、多語(yǔ)種、諷刺、古詩(shī)詞理解、文本生成、要點(diǎn)總結(jié)、情感分析、語(yǔ)義判斷等 61 個(gè)二級(jí)分類，題型則以主觀題簡(jiǎn)答為主。
值得一提的是，大模型評(píng)測(cè)體系使用盲評(píng)方式，以客觀評(píng)估國(guó)產(chǎn)大模型的“聰明”程度。
結(jié)果顯示，訊飛星火在主客觀題型評(píng)測(cè)中均有良好表現(xiàn)：主觀簡(jiǎn)答題中訊飛星火憑借 83.98% 的得分率位居第一；而在客觀題上，訊飛星火以 75.7% 的得分率排名第一。其中，訊飛星火在編程能力、理科綜合、邏輯思維、數(shù)學(xué)專項(xiàng)、語(yǔ)言專項(xiàng)和綜合知識(shí)這 6 個(gè)一級(jí)大類中表現(xiàn)十分出色，尤其是在代碼生成、數(shù)學(xué)能力、理科與邏輯等方面優(yōu)勢(shì)明顯，是本次評(píng)測(cè)中“最聰明的理科生”。
在剛剛過(guò)去的8月15日，訊飛星火認(rèn)知大模型V2.0如期發(fā)布，進(jìn)一步突破代碼能力和多模態(tài)能力；技術(shù)獲得重大突破的同時(shí)，搭載訊飛星火V2.0核心能力的應(yīng)用和產(chǎn)品也越來(lái)越豐富。此外，科大訊飛還和華為聯(lián)合發(fā)布星火一體機(jī)，宣稱要“讓每一家企業(yè)都有機(jī)會(huì)構(gòu)建專屬大模型”。
標(biāo)簽：
