實踐項目 返回列表

大(dà)模型的未來趨勢與挑戰

2023/11/27 16:06:33

來源:科協之聲 

作者:劉鋒


自2022年11月起,以ChatGPT爲典型代表的大(dà)模型在全球數字科技界引起了極大(dà)關注。全球範圍内的大(dà)模型數量受其影響在不到一(yī)年的時間内就已超過一(yī)百種。

未标題-1.jpg
截至2023年10月,大(dà)模型技術已經步入了快速發展的階段。在中(zhōng)國,超過10種大(dà)模型已完成備案。其中(zhōng),百度的文心大(dà)模型升級至4.0版本後,在理解、生(shēng)成、邏輯和記憶等四項核心能力上均實現了顯著的提升。與此同時,OpenAI的ChatGPT也經曆了一(yī)次重大(dà)升級,除了多模态視覺能力、DALL·E 3以及語音合成API的開(kāi)放(fàng)。最引人注目的升級是,爲每個用戶提供了一(yī)種名爲GPTS的工(gōng)具,使用戶能夠構建專屬的GPT模型。
微軟公司創始人比爾·蓋茨公開(kāi)表示,自1980年首次看到圖形用戶界面以來,以GPT爲代表的大(dà)模型是他所見過的最具革命性的技術進步。對于大(dà)模型未來的産業發展趨勢和面臨的挑戰究竟如何,我(wǒ)(wǒ)們可以從三個方面進行探讨。

未标題-2.jpg

其一(yī),人類種群知(zhī)識庫從外(wài)化、索引化到智能化的三部曲。


     


我(wǒ)(wǒ)們在《崛起的超級智能》一(yī)書(shū)中(zhōng)提出,生(shēng)物(wù)的競争本質上是種群知(zhī)識庫的競争。在過去(qù)的幾億年裏,恐龍因爲滅絕導緻種群知(zhī)識庫消失爲0,鲨魚一(yī)直保持在海洋中(zhōng)遊蕩,種群知(zhī)識庫沒有發生(shēng)大(dà)的變化,熊貓因爲趨于滅絕從而種群知(zhī)識庫不斷萎縮。
隻有人類在近200萬年裏,在知(zhī)識和智慧上不斷擴展和加速,在最近數百年裏随着蒸汽機、工(gōng)業革命、核能的出現,人類種群知(zhī)識庫出現了巨大(dà)的增長。特别是互聯網誕生(shēng)後,第一(yī)次将人類的種群知(zhī)識庫外(wài)化成一(yī)個龐大(dà)的網絡知(zhī)識庫,通過萬維網的發明進一(yī)步促使人類種群知(zhī)識庫急劇擴容。表現在科技領域就是21世紀大(dà)量新科技新概念不斷湧現。
未标題-3.jpg
面對海量的互聯網公共知(zhī)識,如何索引就成了人類必須解決的重要課題。20世紀90年代,搜索引擎出現了蓬勃發展,其中(zhōng)優秀和典型的代表分(fēn)别是谷歌和百度,它們成長背後的推動力也是人類種群知(zhī)識庫發展的必然要求。
互聯網知(zhī)識庫被索引之後,如何智能化也就成爲了一(yī)個重要議題。在過去(qù)的近30年裏,以谷歌、百度爲代表的搜索引擎公司加大(dà)了智能化的步伐,人工(gōng)智能的興起也與此有密切的關系。
2022年OpenAI的ChatGPT成功引發了大(dà)模型的興起,标志(zhì)着互聯網這個外(wài)化的人類種群知(zhī)識庫完成了從索引化到智能化的轉變。但不能忘記的是,OpenAI ChatGPT的成功離(lí)不開(kāi)谷歌提出的Transformer注意力機制模型,也離(lí)不開(kāi)微軟通過Bing搜索引擎提供的海量數據和巨大(dà)資(zī)金支持。
從搜索引擎的發展看,通過激烈的競争,搜索引擎最終形成了若幹個巨頭公司爲人類提供互聯網海量數據的索引服務,同樣我(wǒ)(wǒ)們認爲作爲搜索引擎的升級版,人類社會也不需要很多大(dà)模型提供同質的服務。我(wǒ)(wǒ)們判斷包括搜索引擎、大(dà)數據、社交網絡等領域擁有優質大(dà)數據、人工(gōng)智能技術積累和廣泛應用場景的公司中(zhōng),在未來的競争中(zhōng)會脫穎而出一(yī)家或若幹家爲人類提供集中(zhōng)統一(yī)的智能服務。


其二,行業垂直大(dà)模型建設思路:繼續提升通用大(dà)模型智能水平。


     


應該指出,當前人類社會對大(dà)模型充滿了熱情,特别在中(zhōng)國,很多人希望大(dà)模型能夠與金融、法律、工(gōng)業、農業、電(diàn)力、建築等等行業領域結合,從而實現快速發展。
其實大(dà)模型的成功并不僅僅是參數量大(dà),而是用大(dà)規模預訓練+微調的方式,對海量的跨領域知(zhī)識進行學習時湧現出來新的能力,而且這些新的能力往往與創新有關,如翻譯、創作文章、創作圖像等,然而這種創新能力并不穩定,會出現“幻覺”和胡編亂造的情況。同時由于神經網絡本身的特點,其可解釋性問題也一(yī)直沒有解決,因此對于需要精密控制或精确結果的産業領域,大(dà)模型并不是可靠的工(gōng)具和技術。
還有一(yī)個誤區是,認爲用大(dà)模型的訓練方法加上行業産業的大(dà)數據就可以形成高質量的行業大(dà)模型。這個觀點并不符合大(dà)模型湧現出創新能力的規律,過于單一(yī)領域的知(zhī)識反而會降低大(dà)模型湧現出新能力的水平。因此應繼續提高ChatGPT、文心一(yī)言、LLama等等通用大(dà)模型的智能水平,通過通用大(dà)模型平台與其他可靠性高的人工(gōng)智能技術協同工(gōng)作,并與各個行業結合,這種路徑要比建設專門的行業大(dà)模型更爲穩健和有效。


其三,值得期待的大(dà)模型未來。


     


大(dà)模型的不斷發展和與其他技術産品結合的過程将是持續探索和嘗試的過程。無論如何,大(dà)模型的出現的确是一(yī)個革命性的突破,有很多科學家認同ChatGPT等大(dà)模型已經可以突破圖靈測試,未來在智能和意識的基礎原理上也将帶來更多突破性的啓發。
未标題-4.jpg
在産業應用上,大(dà)模型與其他不同類型的人工(gōng)智能技術、網絡技術、大(dà)數據技術結合,與不同的辦公、學習、生(shēng)産、生(shēng)活結合會持續産生(shēng)出具有非凡想象力的應用。例如微軟辦公Office接入GPT-4,由AI驅動的 Microsoft 365 Copilot ,打破了傳統辦公軟件辦公的方式,能自動生(shēng)成文檔、電(diàn)子郵件、PPT。百度的文心行業大(dà)模型的數量已經達到了 11 個,覆蓋能源電(diàn)力、金融、航天、傳媒、影視、汽車(chē)、城市管理等多個領域,OpenAI計劃再推出GPT商(shāng)店(diàn)。這将類似于蘋果的App Store,讓開(kāi)發者可以在商(shāng)店(diàn)中(zhōng)上架他們的自定義GPT,供其他用戶購買和使用。
雖然大(dà)模型有着令人驚歎的智能表現,但我(wǒ)(wǒ)們還需要耐心等待大(dà)模型的持續發育和成長,如果從以ChatGPT3.5爲代表的大(dà)模型大(dà)規模向人類提供服務算起,畢竟它還是一(yī)個從出生(shēng)來到全人類面前還不到1年的嬰兒。