“早在2015年和2016年，我們根本不敢想象ChatGPT能達(dá)到現(xiàn)在的程度。”O(jiān)penAI聯(lián)合創(chuàng)始人及首席科學(xué)家Ilya Sutskever，在接受英偉達(dá)創(chuàng)始人兼CEO黃仁勛“采訪”時(shí)這么說(shuō)道。
這場(chǎng)對(duì)話(huà)在多模態(tài)模型GPT-4推出的第二天，當(dāng)?shù)貢r(shí)間3月22日，英偉達(dá)官方發(fā)布了完整的談話(huà)視頻。在接近一個(gè)小時(shí)的交談中，黃仁勛和Sutskever談到了聊天機(jī)器人ChatGPT的開(kāi)發(fā)歷程、GPT-4的進(jìn)步，以及對(duì)AI(人工智能)行業(yè)的展望。
談ChatGPT:工作原理像閱讀推理小說(shuō)
【資料圖】
ChatGPT是OpenAI公司于去年11月發(fā)布的聊天機(jī)器人，問(wèn)世不到半年，便成為最流行的計(jì)算機(jī)應(yīng)用程序之一，還帶動(dòng)了各大科技公司在生成式AI領(lǐng)域展開(kāi)角逐。
黃仁勛多次提到“AI行業(yè)的iPhone時(shí)刻已經(jīng)到來(lái)”，但作為OpenAI的創(chuàng)始人之一，Sutskever則表示，2016年左右，他們根本不敢想象ChatGPT能達(dá)到現(xiàn)在的程度。
“當(dāng)時(shí)我們的思路之一，是讓機(jī)器具備不受監(jiān)督的學(xué)習(xí)能力(unsupervised learning)?，F(xiàn)在看來(lái)這是理所當(dāng)然的，人們可以用自然語(yǔ)言模型去培訓(xùn)AI.但在2016年，這是一個(gè)未知的領(lǐng)域，沒(méi)有任何科學(xué)家有過(guò)相關(guān)的經(jīng)驗(yàn)和洞見(jiàn)?！盨utskever說(shuō)道。
“更早之前，我也認(rèn)為‘學(xué)習(xí)’這件事只有人類(lèi)才能完成，計(jì)算機(jī)無(wú)法做到。”但2002年到2003年期間，他的想法發(fā)生了轉(zhuǎn)變，“如果能夠讓計(jì)算機(jī)去不斷學(xué)習(xí)，或許會(huì)為AI行業(yè)帶來(lái)改變?！?/p>
他認(rèn)為，將神經(jīng)網(wǎng)絡(luò)引入AI領(lǐng)域是非常重要的進(jìn)步。它能像人類(lèi)的大腦一樣工作，能夠進(jìn)行“深度學(xué)習(xí)”，因此可以將其運(yùn)作邏輯套用在計(jì)算機(jī)上。
“深度學(xué)習(xí)”的背后有一套非常扎實(shí)的理論基礎(chǔ)，如果計(jì)算機(jī)的神經(jīng)網(wǎng)絡(luò)足夠深、規(guī)模足夠大，便能解決深層次的硬核問(wèn)題，但這需要足夠的數(shù)據(jù)庫(kù)和算力進(jìn)行支撐。因此，OpenAI在優(yōu)化數(shù)據(jù)模型上付出了很多努力，例如制作“神經(jīng)網(wǎng)絡(luò)的反饋”，通過(guò)培訓(xùn)神經(jīng)網(wǎng)絡(luò)，使其規(guī)模更大、獲得更多數(shù)據(jù)。
而ChatGPT的工作原理其實(shí)就是培訓(xùn)神經(jīng)網(wǎng)絡(luò)體系，讓神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)下一個(gè)單詞。以推理小說(shuō)為例，一本小說(shuō)中含有各種不同的人物和情節(jié)，讀者在閱讀的過(guò)程中能夠根據(jù)線(xiàn)索去推測(cè)兇手，這與GPT系列的工作方式非常相似。
“我們希望它預(yù)測(cè)單詞具有一定的邏輯性，與過(guò)去的訓(xùn)練文本達(dá)到一致。”Sutskever說(shuō)道，“我們并不是簡(jiǎn)單地根據(jù)人類(lèi)經(jīng)驗(yàn)完成AI學(xué)習(xí)，而是要根據(jù)人類(lèi)的反饋進(jìn)行強(qiáng)化學(xué)習(xí)。反饋很重要，越多的反饋能使得AI更加可靠?！?/p>
談GPT-4:推理能力沒(méi)有達(dá)到此前預(yù)期
最新推出的大型多模態(tài)模型GPT-4也是此次談話(huà)的主題之一。OpenAI在6至8個(gè)月之前就開(kāi)始訓(xùn)練GPT-4，與ChatGPT相比它在許多方面都做出了相當(dāng)大的改進(jìn)，最明顯的是這款新模型可以處理圖像內(nèi)容。
Sutskever說(shuō)道，世界是由圖片構(gòu)成的，而人類(lèi)是視覺(jué)動(dòng)物，人腦三分之一的灰質(zhì)均用來(lái)處理圖像，因此多模態(tài)模型能夠?yàn)橛脩?hù)提供更多幫助。例如，在數(shù)學(xué)競(jìng)賽中很多問(wèn)題需要圖表進(jìn)行解答，GPT-4能夠解讀圖標(biāo)，極大提高回復(fù)的準(zhǔn)確率。
他大膽預(yù)測(cè)，未來(lái)的某個(gè)GPT版本可能不僅能夠閱讀圖像，還能在回復(fù)中生成圖表。
GPT-4的另一個(gè)特點(diǎn)是基于更好的神經(jīng)網(wǎng)絡(luò)，能夠更精確地預(yù)測(cè)下一個(gè)單詞。不過(guò)當(dāng)被問(wèn)及GPT-4是否具有推理能力(reasoning capabilities)時(shí)，Sutskever表示很難去定義這一術(shù)語(yǔ)，不過(guò)他認(rèn)為這種能力可能會(huì)在不久的將來(lái)實(shí)現(xiàn)。
“我們認(rèn)為，GPT的推理能力還沒(méi)有達(dá)到之前預(yù)期的水平，如果更進(jìn)一步擴(kuò)大數(shù)據(jù)庫(kù)，并保持商業(yè)運(yùn)轉(zhuǎn)模型，它的推理的能力會(huì)進(jìn)一步提高，我對(duì)此充滿(mǎn)信心?！彼f(shuō)道。
在談話(huà)的最后，Sutskever還預(yù)測(cè)了生成式AI的未來(lái)，“目前我們只是向AI提供文本，并讓其得出結(jié)論，但AI無(wú)法驗(yàn)證這些文本的真實(shí)性以及其來(lái)源。下一步是要讓神經(jīng)網(wǎng)絡(luò)驗(yàn)證數(shù)據(jù)來(lái)源的真實(shí)性，并讓它能夠意識(shí)到用戶(hù)的需求。”
（文章來(lái)源：澎湃新聞）
標(biāo)簽：
