OpenAI CEO首次在中國演講,楊立昆反擊5年內GPT將被拋棄
文|林志佳
編輯|李小年
(資料圖片僅供參考)
作為連續舉辦五屆的重要學術性會議,智源大會已經有超過500位頂尖專家參與。今年則包括圖靈獎得主 Geoffrey Hinton,“圖靈獎”得主、“深度學習三巨頭”之一的楊立昆(Yann LeCun),OpenAI CEO薩姆·奧爾特曼(Sam Altman),中國科學院張鈸院士等 AI 領域重磅人士,共議人工智能前沿與熱點話題。
6月10日,奧爾特曼在中國首次演講,大談 AI 風險與未來通用 AI 發展模式,直言為了弄清楚通用 AI 技術,OpenAI必須要推進 AI 研究變革。
但是,AI 學術界卻并不完全認同奧爾特曼的說法。加州伯克利分校教授斯圖爾特·羅素(Stuart Russell)現場低頭修改 PPT,完全沒有在看奧爾特曼,甚至演講中抨擊OpenAI研發的ChatGPT和GPT-4沒有在“回答”問題,它們不理解世界,也不是一個通用 AI 的發展步驟。
楊立昆則反擊GPT,認為這種自回歸模型根本不行,沒有規劃、推理的能力,隨著文本數據越大錯誤率更高,AI 的下一步應該是世界級模型。他預測,未來5年內,沒有腦子正常的人會接著用自回歸LLM(大型語言模型),GPT系統將很快被拋棄。
隨著大模型已成為 AI 產業發展的主導力量,一場學術界和 OpenAI 之間的思辨已經開始。
01
Sam Altman:
十年內可能就有非常強大的AI系統
我們要立刻做好準備
隨著ChatGPT風靡全球,ChatGPT之父、OpenAI聯合創始人、CEO奧爾特曼(Sam Altman)的一舉一動也引發關注。
近期奧爾特曼在做「全球巡回講演」,到訪了阿聯酋、印度和韓國等五大洲近20個國家,會面政界和商界領袖,頻頻釋放OpenAI將不會IPO上市、AI就像原子彈一樣需要監管規范、投資韓國初創公司等重要信息,展示出 OpenAI 與政府合作的誠意。
此次智源大會AI安全與對齊論壇上,奧爾特曼發表了開場演講和參與一場對話,總時長約40分鐘。這也是自ChatGPT爆火之后,奧爾特曼在中國的首次公開演講。
奧爾特曼表示,這次世界巡演他會見了學生、開發者和國家元首,這次旅行激勵了他,因為已經看到世界各地的人們已經在使用 AI 技術,并且從用戶那里得到反饋,而且有機會與各國對于 AI 安全監管進行有意義的對話,這對于確保日益強大、安全可靠的 AI 系統部署很重要。
他認為,全球大部分注意力集中在當今 AI 問題上,“鑒于我們已經取得的進展,我相信我們將實現這一目標。”而他希望談談未來。
具體來說,奧爾特曼提到,我們現在正見證一場 AI 革命,因此需要將把負責任的 AI 技術引入世界。他強調,十年內世界可能就有非常強大的AI系統。
“想象一下,在全球下一個十年里,通用 AI 系統或許具有 10 萬行二進制代碼,幾乎在每個領域都超越了人類的專業知識。這些系統最終可能會超過我們最大公司的集體生產力。AI 革命將創造共享財富,并使大幅提高每個人的生活水平成為可能,但為了實現這一目標,我們必須共同管理風險。”奧爾特曼稱。
他強調,通用 AI 將從根本上改變我們文明的強大力量,有意義的國際合作和協調非常必要,每個人都會從合作治理方法中受益。如果我們安全、負責任地駕馭這條道路,AGI系統可以為全球經濟創造無與倫比的經濟繁榮,解決氣候變化和全球健康安全等共同挑戰,并提高社會福祉。
對于國際合作,在安全部署人工智能(AI)方面建立全球信任,奧爾特曼提出三種方式:可擴展的監督、可解釋性、泛化(概括)的 AI。
奧爾特曼認為,人類不太可能發現一些惡意模型是否在做一些邪惡的事情。所以他正在投資一些新的、互補的研究方向,希望能夠實現突破。
而可擴展的監督是嘗試使用 AI 系統來協助人類發現其他系統缺陷,而解釋能力是用GPT-4解釋GPT-2神經元,雖然還有很長的路要走,但OpenAI 相信機器學習技術可進一步提高 AI 可解釋能力。
奧爾特曼強調,最終目標是,訓練 AI 系統來幫助對齊研究本身,因為未來的模型變得越來越智能,越來越有幫助,從而更好的實現通用 AI 這個目標優勢,同時降低 AI 風險安全。
“我們看到了美國、中國和世界各地的研究人員合作實現 AI 目標的巨大潛力,大家都致力于解決通用 AI 技術挑戰。我相信我們將能夠利用通用 AI 來解決世界上最重要的問題,并顯著改善人類的生活質量。”奧爾特曼在演講結尾表示。
隨后智源研究院理事長張宏江博士對話奧爾特曼。
張宏江拋出了一些關于 AI 安全的關鍵問題,而奧爾特曼現場透露了關于 AI 安全、開源計劃以及是否會短期內有GPT-5等信息,鈦媒體App梳理出其中回答的幾個關鍵內容:
奧爾特曼認為,在10年內全球將可能擁有一個強大的 AI 系統,我們要立刻做好準備。
在世界巡回之后,奧爾特曼發現,人們非常認真地對待通用 AI 的風險和機遇。他直言,全球合作總是困難的,但這是一種機遇,AI 確實讓世界走到了一起,他可以為系統提出一個框架和安全標準。奧爾特曼強調,我們必須設計公平、具有代表性和包容性的 AI 系統。
他特別引用了老子《道德經》中的話:千里之行,始于足下。他認為,當下可以邁出的最有建設性的一步,是國際科技界間的通力合作。
奧爾特曼在對話中贊揚,中國擁有一些世界上最優秀的 AI 人才。考慮到解決 AI 系統對齊的困難需要來自世界各地最好的頭腦,所以他真的希望,中國的 AI 研究人員能夠在 AI 風險方面做出巨大的貢獻。
下一步,OpenAI 對于強大 AI 大模型的技術重點是訓練,而且他準備在全球建立一套數據庫,以反映全球 AI 的價值觀和偏好,以及開發表格來分享 AI 安全研究。
當張宏江提問:OpenAI會開源大模型嗎?奧爾特曼表示,我們未來會有更多開源,但沒有具體模型和時間表。
當被問及通用AI和大模型的下一步是什么?會很快看到GPT-5嗎?奧爾特曼表示,我也很好奇,我們沒有答案。我們不會很快有GPT-5。
對于為什么要發展OpenAI,奧爾特曼表示,當開始做OpenAI 的時候,我們認為成功的可能性很低。但如果要弄清楚如何構建AGI,OpenAI要推進 AI 變革。當然,作為其中的一部分,OpenAI必須確保安全,但對社會的好處是巨大的。“我真的相信這(AGI)將是社會所建立的最具變革性的東西。
奧爾特曼會后還發推文對這次受邀演講表示感謝。
不過有趣的是,在奧爾特曼演講期間,下一位演講者加州伯克利分校教授、計算機科學家斯圖爾特·羅素(Stuart Russell)低頭修改 PPT,完全沒有在看奧爾特曼。
他甚至在演講時直言:通用人工智能(AGI)還沒達到,大語言模型只是其中一塊拼圖,我們連拼圖最終會是什么樣子,缺哪些還不確定。他表示,ChatGPT和GPT-4沒有在“回答”問題,它們不理解世界。
這一定程度上似乎能說明 AI 學術界對于奧爾特曼這種“打太極”觀點的認同程度。
02
楊立昆對戰Max Tegmark:
到底應樂觀發展 AI 還是加強控制?
除了奧爾特曼,6月9日智源大會上還有一場比較精彩的演講,凌晨4點在法國連線的“圖靈獎”得主、“深度學習三巨頭”之一、Meta首席人工智能(AI)科學家楊立昆(Yann LeCun),以及未來生命研究所創始人、知名的物理學家和 AI 科學家Max Tegmark的演講和對話交流,共談 AI 風險與挑戰。
楊立昆認為,我們應該樂觀發展人工智能,現在遠沒到緊張的時候。但TegMark則直言,現在就要加強管控 AI 技術。
在演講中,楊立昆拿出了反擊GPT的邏輯:自回歸模型根本不行,因為它們沒有規劃,推理的能力。單純根據概率生成自回歸的大語言模型從本質上根本解決不了幻覺,錯誤的問題。在輸入文本增大的時候,錯誤的幾率也會成指數增加。
那想要通向通用人工智能(AGI)的話,人工智能的下一步在哪里呢?
楊立昆給出的答案是世界模型。一個不光是在神經水平上模仿人腦的模型,而是在認知模塊上也完全貼合人腦分區的世界模型。它與大語言模型最大的差別在于可以有規劃和預測能力(世界模型),成本核算能力(成本模塊)。
楊立昆認為,通過世界模型,它可以真正的理解這個世界,并預測和規劃未來。通過成本核算模塊,結合一個簡單的需求(一定按照最節約行動成本的邏輯去規劃未來),它就可以杜絕一切潛在的毒害和不可靠性。不過,對于世界模型如何學習,楊立昆只給了一些規劃性的想法,比如還是采用自監督模型去訓練,一定要建立多層級的思維模式。他也承認之前并沒有深度學習的訓練做到了這些,也沒人知道怎么做。
而Tegmark在現場直接表示,我們需要組織開發一個超級智能 AI,進行有效管理,可能會面臨全新風險,安全使用 AI,而非僅僅追求速度。
“現在,我們面臨的問題是,我們真的能控制人工智能嗎?我認為答案是肯定的,但是我們需要對其進行更多、更全面的研究。”Tegmark認為,如果人工智能更接近生命3.0,我們可以做更多的事情,而不是在太空中的這個小旋轉球上進行愚蠢的戰斗。
當被問及評價 AI 治理水平時,Tegmark贊揚,目前為止,中國在監管人工智能方面做得最多,歐洲排在第二位,美國排在第三位。他認為這是一件好事。“我認為我們可以做得更好。”
對于人類的焦慮,Tegmark表示,經濟和就業市場的變化會越來越快,如果你在基礎知識方面很強,并且非常善于創造性的開放思維,你就可以靈活地隨波逐流。
03
智源悟道3.0開源
大模型評測體系上線
作為邀請到奧爾特曼以及多位圖靈獎得主的大會主辦方,北京智源人工智能研究院(以下簡稱“智源研究院”,BAAI)也在今年智源大會上展示中國 AI 大模型的最新實力與進展。
6月9日開幕式上,智源研究院公布最新開源的“悟道3.0”系列大模型,包括發布首個支持中英雙語知識、開源商用許可的“悟道·天鷹(Aquila)”語言大模型系列,提供“能力-任務-指標”三維評測框架的“天秤(FlagEval)”大模型評測體系,力求打造大模型時代“新Linux”生態的FlagOpen大模型開源技術體系,以及6項“悟道·視界”視覺大模型研究成果。
會后,智源研究院院長黃鐵軍教授對鈦媒體App表示,目前大模型的主要制約點是國內訓練的都太小、行業太熱,現在百億模型剛開始有涌現能力。雖然中間也都有一些技術能力,但智能水平上肯定還有差距。重復性發力,發得越多反而發散資源。
黃鐵軍認為,隨著國內大模型行業的發展,未來能夠存活的大模型生態合理數量為3個左右。而今天的大模型都是技術迭代的一個中間產品。
黃鐵軍強調,大模型已成為AI產業發展的主導力量,而“悟道3.0”邁向全面開源、嶄新階段。作為在通用 AI 方向一直努力的機構,智源研究院希望未來做更多的支撐性工作貢獻獨特力量。
“我們智源學者開啟了大模型的探索,率先組建了大模型的研究團隊,成為今天中國大模型學習研究的主力。我們率先預見 AI 大模型時代到來。”黃鐵軍在演講中表示。
2021年6月,智源研究院正式對外發布超大規模、萬億級智能模型“悟道2.0”,同時,基于“悟道2.0”誕生的中國首個原創虛擬學生“華智冰”在北京正式亮相。據悉,悟道2.0參數規模達1.75萬億,是AI模型GPT-3的10倍,打破了之前由Google Switch Transformer預訓練模型創造的1.6萬億參數記錄。
盡管現場沒有公開悟道3.0參數量級,但黃鐵軍告訴鈦媒體App,此次悟道3.0參數量低于悟道2.0 1.75萬億,他強調,重點不是參數量,而更多在視頻、語音方面應用和體系建設。
具體來說,據黃鐵軍介紹,Aquila基礎模型提供了70億、330億參數的兩個版本,以及基于這兩個版本的對話模型AquilaChat。黃鐵軍稱,通過架構優化和高質量的中英雙語預訓練數據集,該模型以更少的數據、更短的訓練時間,獲得更優的模型性能,該模型訓練效率較Meta AI開源的LLaMA模型提升24%。
一同發布的還有文本生成代碼模型AquilaCode-7B,同樣支持中英雙語,訓練參數為70億。而AquilaChat則具備很強的對話能力,并具備可擴展的特殊指令規范,令用戶可以實現多任務、工具的嵌入,例如嵌入智源研究院此前和圖文模型Stable Diffusion合作開發的AltDiffusion,以實現多語言下的圖片生成功能。
“我們現在做的就是類似Linux的事情,Linux不是某個企業的開源生態,Linux是大家的,”黃鐵軍對鈦媒體App等表示,現在大模型還處于技術發展的早期,過早關注商業化會制約技術發展,他呼吁產業界投入到大模型基礎設施的生態建設上。他強調,大模型是一種通用的能力。
智源研究院副院長兼總工程師林詠華告訴鈦媒體App,智源比較靠近學和研,接下來他們希望利用評測、研究、建議等方式建立一個可迭代、回環、充滿自動流程的“大模型的生產線”,才能高效處理數據清洗、模型訓練、自動評測。她認為,大模型很關鍵的決定技術能否落到產業,尤其是形成高質量的大模型。
“另外,從我的感受來說,需要有追求極致的工匠精神來打造大模型。”林詠華表示。
黃鐵軍在6月9日的另一場分論壇上表示,大模型產業很難形成壟斷,需要搭建共建產業閉環。從長遠來看,大模型只是標簽,而不是產品、一家公司的工具,所以整個大模型開源開放生態是必然的。
黃鐵軍強調,未來語言類大模型會繼續發展,能力越來越強。但更重要的是,未來1-3年內,視覺類大模型在自動駕駛、機器人等領域也會有巨大的新的技術突破。而更長遠發展是實現真正的通用 AI 技術。