當AI監(jiān)管成為全球越來越受關(guān)注的焦點議題之時，OpenAI首席執(zhí)行官山姆·奧特曼（Sam Altman）在最新的訪談中表示，可以建立一個類似于國際原子能機構(gòu)的AI機構(gòu)，讓每個人都參與到對極其強大的AI訓練系統(tǒng)的全球監(jiān)管機構(gòu)中來。

這場訪談于5月9日舉行，是對沖基金界重要年會Sohn 2023大會的一部分。幾天后，主辦方Sohn大會基金會（Sohn Conference Foundation）公布了訪談的完整視頻。在訪談中，奧特曼還談到了自己如何使用ChatGPT，開源AI與閉源AI各自的特點與發(fā)展路徑。他認為，帶有人類反饋的強化學習（RLHF）不是正確的長期解決方案。

以下為部分訪談內(nèi)容：

【資料圖】

帕特里克·科里森（Patrick Collison，支付平臺Stripe聯(lián)合創(chuàng)始人兼首席執(zhí)行官）：你最常用的ChatGPT功能是什么，在不測試東西的時候，真的想要用的時候，ChatGPT完全是你的工具時。

奧特曼：無疑是匯總摘要。如果沒有它，我已經(jīng)不知道怎么繼續(xù)工作。我可能無法處理電子郵件和Slack（即時通訊軟件）。你知道，你可以把一堆電子郵件或者Slack消息發(fā)給它。

希望隨著時間的推移，我們能為這個場景構(gòu)建一些更好的插件。但即使是手動操作效果也相當好。

科里森：有沒有任何插件成為你工作流程的一部分？

奧特曼：我偶爾用代碼解釋器。但說實話，對我個人來說，它們還沒有真正像是日常習慣的一部分。

科里森：有些人認為我們現(xiàn)在的訓練數(shù)據(jù)已經(jīng)接近互聯(lián)網(wǎng)的全部內(nèi)容，你不能把這個數(shù)目再增加兩個數(shù)量級，我想你可能會反駁說，是的，但是（還有）合成數(shù)據(jù)（通過計算機程序人工生成的數(shù)據(jù)）生成，你認為數(shù)據(jù)瓶頸重要嗎？

奧特曼：我認為，就像你剛才提到的，只要你能達到這個合成數(shù)據(jù)的臨界點，模型足夠聰明，能制作出好的合成數(shù)據(jù)，我認為應(yīng)該沒問題。

我們肯定需要新的技術(shù)，我不想假裝沒有這個問題。簡單地把Transformer擴展，預(yù)先從互聯(lián)網(wǎng)上獲取訓練數(shù)據(jù)，這種方法會失效，但這并不是我們的計劃。

科里森：所以GPT-3.5和4的一大突破就是RLHF（帶有人類反饋的強化學習）。如果你，山姆，親自做了所有的RLHF，模型會變得明顯更聰明嗎？反饋的人是否重要？

奧特曼：我認為我們正在進入一個階段，在某些領(lǐng)域，你真的需要聰明的專家給出反饋，以使模型變得盡可能智能。

科里森：當我們考慮所有現(xiàn)在已經(jīng)成為焦點的AI安全問題時，我們應(yīng)該從核不擴散的經(jīng)驗中吸取什么最重要的教訓？

奧特曼：首先，我認為過分借鑒以前的技術(shù)總是一個錯誤。每個人都想要找一個類比，每個人都想說，哦，這就像這個，或者那個，我們是這樣做的，所以我們將再次這樣做，但每種技術(shù)的形式都是不同的。然而，我認為核材料和AI超級計算機有一些相似之處，這是我們可以借鑒和獲得啟示的地方，但我會提醒人們不要過度學習上一件事的教訓。我認為可以建立一個類似于國際原子能機構(gòu)（IAEA）的AI機構(gòu)——我知道這聽起來多么天真，這么做有多困難——但是我認為讓每個人都參與到對極其強大的AI訓練系統(tǒng)的全球監(jiān)管機構(gòu)中來，這似乎對我來說是一個非常重要的事情。我認為這就是我們可以學到的一個教訓。

科里森：如果它被建立了，明天就存在了，那么它應(yīng)該首先做什么呢？

奧特曼：任何超過我們設(shè)定的閾值的系統(tǒng)——實現(xiàn)這個最容易的方法是計算閾值（最好的方法是能力閾值，但這更難以衡量）——任何超過這個閾值的系統(tǒng)，我認為都應(yīng)該接受審核。應(yīng)該讓這個組織有完全的可視化權(quán)限，要求在發(fā)布系統(tǒng)之前通過某些安全評估。那將是第一件事。

科里森：今年對我來說，一個大的驚喜就是開源模型的進步，特別是最近60天左右的瘋狂進步。你認為，一年后開源模型會有多好？

奧特曼：我認為這里將會有兩個發(fā)展方向，一是超級規(guī)?；淖詈玫拈]源模型，二是開源社區(qū)的進步，可能會落后幾年，但我認為我們將會生活在一個有非常強大的開源模型的世界，人們會用它們來做各種事情，整個社區(qū)的創(chuàng)造力將會讓我們所有人感到驚訝。

科里森：可能超大型的模型在科學上非常有趣，也許你需要它們來做一些事情，比如推動AI的進步，但是對于大多數(shù)的實用日常案例，可能一個開源模型就足夠了。你認為這個未來有多大可能性？

奧特曼：我認為對于許多有超級經(jīng)濟價值的事情來說，這些較小的開源模型將足夠使用。但你剛剛提到了我想說的一件事，那就是幫助我們發(fā)明超級智能，那是一個非常有經(jīng)濟價值的活動，就像治愈所有的癌癥或發(fā)現(xiàn)新的物理規(guī)律等，這些都將首先由最大的模型來實現(xiàn)。

科里森：Facebook現(xiàn)在應(yīng)該開源LLaMa嗎？

奧特曼：現(xiàn)在這個點上，可能應(yīng)該。

科里森：他們應(yīng)該開源他們的基礎(chǔ)模型/語言模型，還是只是LLaMa呢？

奧特曼：我認為Facebook的AI策略在最好的情況下也只能說是混亂的，但我認為他們現(xiàn)在開始非常認真，并且他們有非常能干的人，我預(yù)計他們很快就會有更連貫的策略。我認為他們將會是一個令人驚訝的真正的新玩家。

科里森：有沒有什么新的發(fā)現(xiàn)可能會顯著改變你對災(zāi)難性結(jié)果的可能性估計，無論是提高還是降低它？

奧特曼：是的，我認為有很多，從現(xiàn)在到超級智能之間的大部分新工作都會使這個概率上升或下降。

科里森：那么，你特別關(guān)注什么？有什么你特別想知道的事情嗎？

奧特曼：首先，我不認為帶有人類反饋的強化學習（RLHF）是正確的長期解決方案。我不認為我們可以依賴它。我認為它是有幫助的，它當然使這些模型更容易使用。但你真正想要的是理解模型內(nèi)部的運作情況，并能夠使之對齊，比如說，精確地知道哪個電路或人工神經(jīng)元集合在發(fā)生什么，并能夠以一種能夠給模型性能帶來穩(wěn)定改變的方式調(diào)整它。

還有很多超出這個的事情，但如果我們能向這個方向可靠地工作，我認為每個人的災(zāi)難概率都會大幅降低。

科里森：你認為有足夠的可解釋性工作正在進行嗎？

奧特曼：沒有。

科里森：為什么不呢？

奧特曼：大部分聲稱他們真的很擔心AI安全的人，似乎只是在推特上花時間說他們真的很擔心AI的安全，或者做很多其他事情。

有一些人非常擔心AI的安全，并且正在做出很好的技術(shù)工作。我們需要更多這樣的人，我們肯定在OpenAI內(nèi)部投入更多的努力，讓更多的技術(shù)人員去研究這個問題。

但是，世界需要的不是更多在推特上發(fā)帖寫長篇大論的AI安全人員，而是更多愿意做技術(shù)工作，使這些系統(tǒng)安全且可靠地對齊的人。我認為這些事情正在發(fā)生，優(yōu)秀的機器學習研究者轉(zhuǎn)變關(guān)注點，以及新人進入這個領(lǐng)域，兩者的結(jié)合。

科里森：似乎很快我們將擁有代理，你可以以非常自然的方式與之對話，低延遲全雙工（Full Duplex，允許二臺設(shè)備間同時進行雙向數(shù)據(jù)傳輸）。顯然，我們已經(jīng)看到了Character和Replica這樣的產(chǎn)品，即使是這些初期的產(chǎn)品在這個方向上也取得了相當驚人的進展。

我認為這些可能是一項巨大的成就，也許我們正在大大低估它，尤其是一旦你可以通過語音進行對話。你認為這樣對嗎？如果是這樣，你認為可能的后果是什么？

奧特曼：是的，我確實認為是對的。

最近有人對我說過一句印象深刻的話，他們相當確定，他們的孩子將來會有更多的AI朋友而不是人類朋友。至于后果，我不知道會是什么樣子。

我認為有一點很重要的是，我們要盡快確立一個社會規(guī)范。你知道，如果你在與AI或人類進行交流，或者類似奇怪的AI輔助人類的情況，人們似乎很難在他們的頭腦中區(qū)分（是人還是AI），即使是像你提到的Replica這樣的早期的弱智系統(tǒng)。

不管我們大腦中渴望社交互動的回路是什么，似乎有些人在某些情況下可以通過與AI朋友相處來滿足這種需求。

科里森：最近有人告訴我，在Replica的Reddit上讀到的一個討論主題是，如何處理升級到Replica模型時的情感挑戰(zhàn)和創(chuàng)傷。因為你的朋友突然變得有點智力受損，或者至少是一個有點不同的人，而且，這些對話者都知道Replica實際上是一個AI，但不知道為什么，我們的情感反應(yīng)似乎并沒有太大的區(qū)別。

奧特曼：大多數(shù)人都覺得我們正朝著這樣一個社會發(fā)展：在天空中有個漂浮的至高無上的超級智能存在。而我認為，那是一個在某種意義上不那么可怕但仍然有些奇怪的社會，一個由很多AI和人類共同整合的社會。

關(guān)于這個已經(jīng)有很多電影，就像《星球大戰(zhàn)》中的角色C3PO或其他你想要的AI。人們知道這是AI，但它仍然很有用，人們?nèi)匀慌c之互動，它有點像可愛的人，盡管你知道它不是一個人。

而在這個世界上，我們有一個很多AI與人類一起融入基礎(chǔ)設(shè)施的社會，這對我來說感覺更容易應(yīng)對，也不那么可怕。

科里森：對于OpenAI來說，顯然你們想成為并且是一家卓越的研究機構(gòu)。但是關(guān)于商業(yè)化，是成為一家消費者公司更重要還是成為一家基礎(chǔ)設(shè)施公司更重要？

奧特曼：作為一項商業(yè)策略，我是支持平臺加頂級應(yīng)用的。我認為這在很多企業(yè)中都取得了成功，原因是充分的。我認為我們開發(fā)的消費者產(chǎn)品有助于改進我們的平臺。我希望隨著時間的推移，我們能夠找到方法，讓平臺也能夠改進消費者應(yīng)用。我認為這是一個很好的連貫的策略，同時進行。

但正如你指出的，我們的目標是成為世界上最優(yōu)秀的研究機構(gòu)，這對我們來說比任何產(chǎn)品化更重要。我們建立這樣一個組織，能夠不斷取得突破性進展，雖然并非所有嘗試都會成功，我們走過了一些彎路，但我們已經(jīng)找到了比其他人更多的范式轉(zhuǎn)變，并且我認為我們將在這里實現(xiàn)下一個重大突破。這是我們努力的重點。

科里森：你使用的最好的非OpenAI的AI產(chǎn)品是什么？

奧特曼：坦率地說，我想不出其他什么產(chǎn)品。我對世界的了解比較狹窄，但ChatGPT是我每天使用的唯一AI產(chǎn)品。

科里森：有沒有你希望存在的AI產(chǎn)品，你認為我們當前的能力或即將實現(xiàn)的能力使得這種產(chǎn)品成為可能，你期待著它的出現(xiàn)？

奧特曼：我希望有一種像“副駕駛”一樣的產(chǎn)品，可以控制我的整個電腦。它可以查看我的Slack、電子郵件、Zoom、iMessage以及龐大的待辦事項和文檔，并且在很大程度上完成我的工作。

科里森：OpenAI在籌款方面做得非常出色，具有非常特殊的資本結(jié)構(gòu)，與非營利組織和微軟的交易，等等，這些奇特的資本結(jié)構(gòu)被低估了嗎？企業(yè)和創(chuàng)始人是否應(yīng)該更加開放地思考？

奧特曼：我懷疑不是，我懷疑在這方面進行創(chuàng)新可能是一件可怕的事情，你應(yīng)該在產(chǎn)品和科學方面進行創(chuàng)新，而不是企業(yè)結(jié)構(gòu)方面。

我們所面臨的問題形式非常奇特，盡管我們盡力而為，但我們不得不采取一些奇怪的措施，但總體而言，這是一種令人不快的體驗，也是一個消耗時間的過程。

對我參與的其他項目來說，它總是采用正常的資本結(jié)構(gòu)，我認為那樣更好。

科里森：我們是否低估了資本的重要程度？你所參與的很多公司都需要大量資本?？赡躉penAI就是最需要資本的公司，雖然誰知道還有沒有別的更需要的。

我們是否低估了資本對未實現(xiàn)的創(chuàng)新的限制？這是否是你所參與的各種努力中的共同主題？

奧特曼：是的，我認為這是個問題，基本上我參與的四家公司中，除了只是作為投資者寫支票的那些，所有的公司都需要大量資本。

科里森：你想要列舉一下這些公司嗎？對于在場的觀眾。

奧特曼：OpenAI和Healing是我最花時間的項目，然后還有Retro和Worldcoin。

但你知道，所有這些公司在任何產(chǎn)品出現(xiàn)之前都籌集了至少九位數(shù)的資金，OpenAI的這個數(shù)字更大，所有公司都在第一輪融資或在發(fā)布產(chǎn)品之前籌集了九位數(shù)的資金，它們都需要很長時間，花費多年時間才能發(fā)布產(chǎn)品。

我認為愿意做這樣的事情是有很大價值的，而這種方式某個時候在硅谷失寵了。

我理解為什么，像那些只需要籌集幾十萬、一百萬美元就可以盈利的公司也很好，但我認為我們過度傾向于這個方向了，我們已經(jīng)忘記了如何進行高風險高回報的大量資本和時間密集型的投資，這些也是有價值的，我們應(yīng)該能夠支持兩種模式。

科里森：這涉及到為什么沒有更多的埃隆·馬斯克。

我猜，在過去的20年里，兩家最成功的硬件公司（SpaceX和Tesla）在更廣泛的意義上都是由同一個人創(chuàng)辦的。這看起來是一個令人驚訝的事實。

顯然，埃隆在很多方面都是獨一無二的。但你對這個問題的回答是什么，我們是否喜歡他這種特殊情況，資本的故事是不是與你所說的線索相符，如果讓你在世界上創(chuàng)造更多SpaceX和Tesla，你可能在自己的工作中也試圖做到這一點，但如果你不得不以系統(tǒng)的方式推動這個方向，你會嘗試改變什么？

奧特曼：我從未遇見過另一個埃隆，我從未遇見過我認為可以輕易地被培養(yǎng)成另一個埃隆的人。他是一種奇怪的獨一無二的人物。我很高興他存在于世界上；但你知道，他也是一個復(fù)雜的人。我不知道如何創(chuàng)造更多像他那樣的人，我不知道。我不知道你對如何創(chuàng)造更多的想法是什么，我很好奇。

科里森：哪家并未被視為AI公司的公司將在未來五年從AI中受益最多？

奧特曼：我認為有一種投資工具會找出如何利用AI成為一個非凡的投資者，并且有著瘋狂的超額回報，所以像是利用這些新技術(shù)的Rentech。

科里森：那么，你看到有哪家（上市）公司呢？

奧特曼：你認為微軟是一家AI公司嗎？

科里森：就這個問題而言，我們假設(shè)答案是否定的。

奧特曼：我認為微軟將在幾乎所有方面通過AI進行自我變革。

科里森：那是因為他們更認真對待這個問題，還是因為微軟的性質(zhì)使他們特別適合這個問題，更能理解這個問題？

奧特曼：他們比其他人更早地認識到這個問題，并且比其他人更認真地對待這個問題。

（原題：《ChatGPT之父：需要建立一個類似國際原子能機構(gòu)的AI監(jiān)管機構(gòu)》）

標簽：