意見領(lǐng)袖 | 北大金融評(píng)論
作者:魏煒
自大模型(LLM)興起以來,其性能提升始終與“規(guī)模定律”(Scaling Law)密切相關(guān)。這種規(guī)模定律揭示了模型參數(shù)量、數(shù)據(jù)規(guī)模與計(jì)算資源之間的冪律關(guān)系,成為驅(qū)動(dòng)人工智能發(fā)展的核心動(dòng)力之一。但模型的輸出只能是對(duì)已有知識(shí)的重新組合和優(yōu)化,而非真正的理論創(chuàng)新。
北京大學(xué)匯豐商學(xué)院管理學(xué)教授魏煒及合作者在《北大金融評(píng)論》發(fā)文表示,從算力堆砌到認(rèn)知重構(gòu),Scaling Law的演化史本質(zhì)上是人類對(duì)自我認(rèn)知的探索史。前三次Scaling Law的突破,完成了從參數(shù)擴(kuò)張到計(jì)算優(yōu)化的技術(shù)革命,卻始終在人類知識(shí)體系的圍墻內(nèi)逡巡。第四次Scaling Law的終極目標(biāo),是建立AI與人類協(xié)同進(jìn)化的認(rèn)知共同體。這要求我們重新審視圖靈測(cè)試的標(biāo)準(zhǔn):真正的智能突破不在于完美模仿人類思維,而在于構(gòu)建超越人類既有認(rèn)知的理論體系。
三次規(guī)模定律的變遷
自大模型(LLM)興起以來,其性能提升始終與“規(guī)模定律”(Scaling Law)密切相關(guān)。這種規(guī)模定律揭示了模型參數(shù)量、數(shù)據(jù)規(guī)模與計(jì)算資源之間的冪律關(guān)系,成為驅(qū)動(dòng)人工智能發(fā)展的核心動(dòng)力之一。大語言模型的發(fā)展可以大致分為三個(gè)階段:預(yù)訓(xùn)練(Pre-training)、后訓(xùn)練(Fine-tuning)和在線推理(Online Inference)。隨著三個(gè)階段的發(fā)展,規(guī)模定律的范式分別經(jīng)歷了預(yù)訓(xùn)練規(guī)模定律(Pre-trainging Scaling Law)、強(qiáng)化學(xué)習(xí)規(guī)模定律(RL Scaling Law)、推理學(xué)習(xí)規(guī)模定律(Inference Scaling Law)三種形式。規(guī)模定律的每一次關(guān)鍵躍遷都引導(dǎo)科學(xué)家更有效地訓(xùn)練大模型,推動(dòng)了模型的理解和處理能力產(chǎn)生質(zhì)變。
預(yù)訓(xùn)練階段的規(guī)模定律表征了算力驅(qū)動(dòng)的涌現(xiàn)能力突破。預(yù)訓(xùn)練階段的規(guī)模定律是當(dāng)前大模型理論體系的基礎(chǔ)支柱。OpenAI團(tuán)隊(duì)在2020年發(fā)表的研究報(bào)告《Scaling Laws for Neural Language Models》中首次系統(tǒng)揭示了語言模型性能與模型參數(shù)量、訓(xùn)練數(shù)據(jù)量、計(jì)算量之間的冪律關(guān)系。該公式揭示當(dāng)參數(shù)規(guī)模突破臨界閾值(約10的九次方)時(shí),模型性能呈現(xiàn)超線性提升,這種現(xiàn)象被定義為“涌現(xiàn)能力”(Emergent Ability)。隨后的Chinchilla定律(Hoffmann et al.,2022)修正了早期Scaling Law的偏差,發(fā)現(xiàn)當(dāng)模型參數(shù)量(N)與訓(xùn)練token數(shù)(D)滿足N∶D≈1∶20時(shí)能達(dá)到帕累托最優(yōu)。這一發(fā)現(xiàn)推動(dòng)大模型訓(xùn)練從單純堆疊參數(shù)轉(zhuǎn)向計(jì)算資源的最優(yōu)分配。
后訓(xùn)練階段的RL Scaling Law表征了對(duì)齊效率的邊際優(yōu)化。當(dāng)模型進(jìn)入指令微調(diào)(Instruction Tuning)和強(qiáng)化學(xué)習(xí)對(duì)齊(RLHF)階段后,Scaling Law呈現(xiàn)出顯著不同的特征。Anthropic團(tuán)隊(duì)的論文《Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback》中稱,他們發(fā)現(xiàn),對(duì)齊階段的性能增益遵循對(duì)數(shù)規(guī)律:ΔL≈k log(RM_size)+b,其中RM_size表示獎(jiǎng)勵(lì)模型的參數(shù)規(guī)模。這表明對(duì)齊效率存在明顯的邊際遞減效應(yīng),當(dāng)RM_size超過主模型參數(shù)的5%時(shí),單靠規(guī)模擴(kuò)展難以持續(xù)提升對(duì)齊效果。
推理階段的Scaling Law表征了動(dòng)態(tài)計(jì)算的成本博弈。在線推理階段的Scaling Law研究顛覆了傳統(tǒng)靜態(tài)計(jì)算范式。DeepSeek團(tuán)隊(duì)在《The Law of Inference Scaling》中提出新的推理效能公式,這推動(dòng)了兩大技術(shù)路線的突破:1)動(dòng)態(tài)計(jì)算分配,如Mixture-of-Experts架構(gòu)通過路由算法將激活參數(shù)量控制在總參數(shù)的5%至10%;2)計(jì)算-精度協(xié)同縮放,NVIDIA的SparTA框架證明8-bit量化在特定任務(wù)中可使推理吞吐量提升3倍而精度損失小于2%。
然而,盡管這三個(gè)階段的規(guī)模定律極大地提升了模型的性能,但大模型仍然受限于人類已有的知識(shí)范疇。模型的輸出,無論是語言生成還是問題解答,都難以超越其訓(xùn)練數(shù)據(jù)所包含的信息邊界。以DeepSeek-R1為例,盡管其性能有30%至50%的提升空間,但即使發(fā)展到極致,它仍然無法跳出人類知識(shí)的范疇,更無法更新人類現(xiàn)有的理論體系。
這是因?yàn)槟P偷漠?dāng)前的訓(xùn)練范式受限于現(xiàn)有理論下的數(shù)據(jù),而這些數(shù)據(jù)本質(zhì)上是當(dāng)前理論框架下人類知識(shí)和經(jīng)驗(yàn)的體現(xiàn)。因此,模型的輸出只能是對(duì)已有知識(shí)的重新組合和優(yōu)化,而非真正的理論創(chuàng)新。以物理學(xué)史為例,LLM可完美復(fù)現(xiàn)從麥克斯韋方程組到廣義相對(duì)論的推導(dǎo),卻無法像愛因斯坦那樣,從“追光思想實(shí)驗(yàn)”中顛覆絕對(duì)時(shí)空觀。即便引入強(qiáng)化學(xué)習(xí),其獎(jiǎng)勵(lì)函數(shù)仍基于既有理論框架設(shè)計(jì)。當(dāng)面對(duì)室溫超導(dǎo)、暗物質(zhì)分布等全新現(xiàn)象時(shí),模型會(huì)陷入“用舊理論解釋新問題”的困境,如同試圖用牛頓力學(xué)解析量子隧穿效應(yīng)。產(chǎn)生上述現(xiàn)象的核心矛盾在于:現(xiàn)有訓(xùn)練范式將LLM限制為“知識(shí)的圖書館管理員”,而非“理論的建筑師”。若想破解這一謎局,我們需要從人類學(xué)習(xí)理論的過程中挖掘線索。
理論的構(gòu)建
知識(shí)與理論
人類從“現(xiàn)象”中抽取知識(shí)、構(gòu)建“理論”,實(shí)現(xiàn)對(duì)事物的認(rèn)知。知識(shí)是人類在觀察、實(shí)踐與思考中積累的認(rèn)知成果,其本質(zhì)是對(duì)現(xiàn)象、經(jīng)驗(yàn)與規(guī)律的描述與記錄。從亞里士多德記錄露珠形態(tài)到現(xiàn)代科學(xué)家分析PB級(jí)天文數(shù)據(jù),知識(shí)的獲取始終以“現(xiàn)象捕獲”為起點(diǎn),通過感官或工具對(duì)客觀世界進(jìn)行感知與記錄。理論則是對(duì)知識(shí)的系統(tǒng)化提煉與抽象化表達(dá),其核心在于從混沌中尋找秩序,構(gòu)建解釋現(xiàn)象的因果框架。例如,達(dá)爾文通過數(shù)十年動(dòng)植物標(biāo)本分析,將零散的生物變異現(xiàn)象歸納為“自然選擇”理論,揭示了物種進(jìn)化的普遍規(guī)律。
知識(shí)是理論的基石,而理論是知識(shí)的升華。前者提供原始素材,后者賦予其邏輯結(jié)構(gòu)與解釋力。二者的聯(lián)系體現(xiàn)為動(dòng)態(tài)的互構(gòu)關(guān)系。知識(shí)積累推動(dòng)理論創(chuàng)新,而理論框架反過來指導(dǎo)新知識(shí)的獲取與整合。以量子力學(xué)為例,普朗克最初為解釋黑體輻射現(xiàn)象提出能量量子化假設(shè)(知識(shí)),這一假設(shè)經(jīng)愛因斯坦、玻爾等人的理論化構(gòu)建,最終形成量子力學(xué)體系(理論),該體系又指導(dǎo)了粒子物理實(shí)驗(yàn)(新知識(shí))。
人類構(gòu)建理論的方式與困局
人類理論構(gòu)建遵循“現(xiàn)象捕獲→概念定義→關(guān)系梳理→理論建模→迭代驗(yàn)證”的鏈條。現(xiàn)象捕獲是理論生成的起點(diǎn),要求研究者具備敏銳的觀察力。牛頓從蘋果落地推導(dǎo)出萬有引力,門捷列夫通過元素性質(zhì)對(duì)比發(fā)現(xiàn)周期律,均源于對(duì)現(xiàn)象的深度洞察。概念定義則將現(xiàn)象抽象為可操作的理論單元,如達(dá)爾文提出“自然選擇”以解釋物種適應(yīng)性與多樣性。關(guān)系梳理需要邏輯推理能力,從復(fù)雜網(wǎng)絡(luò)中提取規(guī)律,例如經(jīng)濟(jì)學(xué)中供需曲線揭示價(jià)格形成機(jī)制。理論建模通過數(shù)學(xué)工具將關(guān)系轉(zhuǎn)化為可驗(yàn)證的模型,如愛因斯坦用黎曼幾何描述時(shí)空彎曲。迭代驗(yàn)證則通過實(shí)驗(yàn)或觀測(cè)修正理論,量子力學(xué)的誕生即歷經(jīng)黑體輻射、光電效應(yīng)等多輪實(shí)驗(yàn)驗(yàn)證。知識(shí)向理論的轉(zhuǎn)化需遵循奧卡姆剃刀原則,即在保證解釋力的前提下追求簡(jiǎn)潔性。例如,愛因斯坦的相對(duì)論以“光速不變”和“等效原理”兩個(gè)核心假設(shè),重構(gòu)了經(jīng)典物理的時(shí)空觀。這種“簡(jiǎn)約之美”既是理論的本質(zhì)特征,也是其普適性的保障。
然而,傳統(tǒng)理論構(gòu)建高度依賴個(gè)體的抽象能力與經(jīng)驗(yàn)積累,導(dǎo)致從知識(shí)到理論的轉(zhuǎn)化效率受制于人類認(rèn)知的“手工作坊”模式。當(dāng)前人類理論構(gòu)建面臨三重挑戰(zhàn):知識(shí)爆炸導(dǎo)致歸納效率低下(如林奈生物分類耗費(fèi)半生)、概念定義模糊(如“企業(yè)文化”的54種爭(zhēng)議定義)、因果驗(yàn)證周期漫長(zhǎng)(如幽門螺桿菌理論被接受耗時(shí)十年)。這些困境凸顯了人類認(rèn)知的生理局限——人腦作為“理論制造機(jī)”,其信息處理帶寬與生命周期難以應(yīng)對(duì)現(xiàn)代科學(xué)的復(fù)雜性。隨著大數(shù)據(jù)與復(fù)雜系統(tǒng)的涌現(xiàn),純粹依賴人腦的理論構(gòu)建高度已逼近極限,亟需新范式突破。
大模型的理論歸納能力
當(dāng)前,大模型具有破解這一問題的潛力。一些證據(jù)表明,LLM可以跨維度識(shí)別并總結(jié)那些尚未被現(xiàn)有理論涵蓋的現(xiàn)象,實(shí)現(xiàn)動(dòng)態(tài)概念創(chuàng)造。首先,大模型可以實(shí)現(xiàn)跨維度知識(shí)聯(lián)結(jié),通過瞬間掃描海量數(shù)據(jù)識(shí)別跨學(xué)科關(guān)聯(lián)。例如,大模型能從病毒變異時(shí)間線、疫情地理傳播等異構(gòu)數(shù)據(jù)中提取共性規(guī)律,加速流行病學(xué)理論構(gòu)建。其次,大模型具備動(dòng)態(tài)概念創(chuàng)造能力,它可生成“認(rèn)知鏡像層”“決策量子化躍遷”等創(chuàng)新概念,并通過語義網(wǎng)絡(luò)分析驗(yàn)證其認(rèn)知價(jià)值。最后,大模型具備自動(dòng)驗(yàn)證的潛力。哈啰出行案例顯示,AI不僅加速了“共享出行+智能調(diào)度”模型的迭代,還通過構(gòu)建“動(dòng)態(tài)定價(jià)透明化策略”揭示、驗(yàn)證了未見變量(用戶流失的“心理錨定效應(yīng)”)對(duì)模型的影響。相較于傳統(tǒng)方法12個(gè)月的驗(yàn)證周期,大模型可將效率提升至小時(shí)級(jí)。
大模型通過歸納現(xiàn)象,已催生“認(rèn)知增強(qiáng)型組織理論”等新范式。在企業(yè)組織架構(gòu)的變革中,傳統(tǒng)管理理論認(rèn)為管理分為計(jì)劃、組織、領(lǐng)導(dǎo)和控制,且管理幅度受限于鄧巴數(shù)(約150人)。然而,隨著大語言模型的介入,新的企業(yè)組織架構(gòu)開始出現(xiàn),這些架構(gòu)突破了傳統(tǒng)理論的限制,展現(xiàn)出更扁平、更高效的運(yùn)作模式。模型發(fā)現(xiàn),新的企業(yè)組織架構(gòu)不再依賴傳統(tǒng)的層級(jí)結(jié)構(gòu),而是通過人機(jī)協(xié)作和數(shù)據(jù)驅(qū)動(dòng)的方式實(shí)現(xiàn)更高效的管理。其設(shè)計(jì)的神經(jīng)突觸架構(gòu)(Neural Synapse Architecture)允許每個(gè)員工通過大語言模型接口直接連接到企業(yè)的知識(shí)圖譜,使得管理幅度突破了傳統(tǒng)的人際協(xié)調(diào)限制。這一理論框架由大語言模型通過對(duì)大量企業(yè)數(shù)據(jù)的分析和總結(jié)而提出,不僅提高了決策質(zhì)量,還顯著加快了市場(chǎng)響應(yīng)速度。這些事例都表明LLM有總結(jié)和創(chuàng)造有效新理論的潛力。
理論構(gòu)建的訓(xùn)練范式
然而,當(dāng)前大模型的訓(xùn)練過程中,傳統(tǒng)的已有數(shù)據(jù)已經(jīng)過多次利用,呈現(xiàn)相對(duì)匱乏的狀態(tài)。當(dāng)相同語料被第五次重復(fù)用于訓(xùn)練時(shí),大模型在LAMBADA數(shù)據(jù)集上的困惑度僅改善0.7%,而訓(xùn)練能耗增加300%(Sorscher et al.,2022)。另一方面,人類標(biāo)注數(shù)據(jù)的成本高昂,限制了數(shù)據(jù)的獲取和擴(kuò)展。構(gòu)建包含10萬例標(biāo)注的肺癌數(shù)據(jù)集,人工成本高達(dá)上千萬元,且標(biāo)注一致性系數(shù)(Cohen‘s kappa)僅0.65,需多次復(fù)核(Wang et al.,2021)。因此,現(xiàn)有標(biāo)注數(shù)據(jù)的逐漸匱乏,使得訓(xùn)練模型變得越發(fā)困難,限制了大模型在未來的持續(xù)發(fā)展。
反觀上述大模型通過歸納新現(xiàn)象從而構(gòu)建理論的過程,我們認(rèn)為其中隱藏了克服這一問題的方法:利用大模型擬合真實(shí)世界的一類現(xiàn)象,構(gòu)建假設(shè)理論,再利用所構(gòu)建的理論模擬現(xiàn)實(shí),從中抽樣現(xiàn)象數(shù)據(jù),并反用于大模型的訓(xùn)練。如此從現(xiàn)象到理論再到現(xiàn)象的循環(huán),大使模型能不斷在迭代的理論中采樣新數(shù)據(jù),從而克服有標(biāo)注數(shù)據(jù)的匱乏問題。
值得注意的是,盡管是從模擬現(xiàn)實(shí)中采樣的虛構(gòu)數(shù)據(jù),但這些數(shù)據(jù)反映了理論框架下的真實(shí)情境,仍是可信的。以自動(dòng)駕駛領(lǐng)域?yàn)槔M環(huán)境中生成的數(shù)據(jù)可以用于訓(xùn)練模型,以提高其在真實(shí)世界中的表現(xiàn)水平。這些模擬數(shù)據(jù)雖然不是真實(shí)世界的數(shù)據(jù),但它們通過模擬真實(shí)世界的物理規(guī)則和交通場(chǎng)景,生成了大量有用的信息。這種模擬數(shù)據(jù)不僅能夠反映真實(shí)世界的情況,還能夠通過調(diào)整參數(shù)來生成各種極端和罕見的場(chǎng)景,這對(duì)于提高模型的魯棒性和泛化能力非常有幫助。此外,現(xiàn)代航空模擬器(如CAE 7000XR)通過構(gòu)建包含1.2x10?7個(gè)物理參數(shù)的空氣動(dòng)力學(xué)模型,能夠生成超過10?18種飛行場(chǎng)景。這種基于第一性原理的模擬范式,使飛行員能在未經(jīng)歷真實(shí)危險(xiǎn)情境情況下獲得應(yīng)對(duì)能力。因此,通過構(gòu)建理論、創(chuàng)造模擬環(huán)境、采樣模擬數(shù)據(jù),有望克服現(xiàn)有的數(shù)據(jù)匱乏問題,實(shí)現(xiàn)大模型的有效訓(xùn)練。
什么是理論?
為了進(jìn)一步探索大模型構(gòu)建理論的訓(xùn)練范式,我們需要對(duì)人類理論有更深入的理解。
人類的理論本質(zhì)上是認(rèn)知世界和解決問題的結(jié)構(gòu)化范式。查理·芒格的“思維模型”體系是這一理念的集中體現(xiàn)。查理芒格為不同的問題場(chǎng)景設(shè)計(jì)了不同的思維模型,它們形成一套針對(duì)不同問題的理論工具集。他提出:“每個(gè)復(fù)雜問題都有其對(duì)應(yīng)的‘解藥’,但必須從不同學(xué)科的核心原理中尋找。”這種思想揭示了具體理論的本質(zhì)——場(chǎng)景適配性。類似地,每個(gè)領(lǐng)域都有各自應(yīng)對(duì)問題場(chǎng)景的具體理論。這些模型之所以能成為“理論工具”,原因在于它們提煉出了現(xiàn)象背后的關(guān)鍵因果鏈,并將復(fù)雜現(xiàn)實(shí)抽象為可操作的邏輯框架。例如,復(fù)利模型將時(shí)間維度引入價(jià)值評(píng)估,博弈論模型將互動(dòng)關(guān)系轉(zhuǎn)化為策略矩陣,均是針對(duì)特定場(chǎng)景的因果簡(jiǎn)化。
另一方面,所有的具體理論,描述了假設(shè)和結(jié)論之間的對(duì)應(yīng)關(guān)系。按照假設(shè)和結(jié)論的屬性,這些具體理論可以被進(jìn)一步分為四類理論。最基礎(chǔ)層面是絕對(duì)成立的知識(shí)(如數(shù)學(xué)公理、邏輯定律和定義性真理),因其邏輯必然性或定義自洽性而完全普適,例如“兩點(diǎn)之間線段最短”在歐氏幾何中永無例外;次基礎(chǔ)層面是觀察中普遍成立的理論(如經(jīng)典物理學(xué)定律和遺傳學(xué)規(guī)律),雖在特定極端條件(如微觀高速或基因突變)下可能失效,但在常規(guī)經(jīng)驗(yàn)范圍內(nèi)始終有效;再次層面是多數(shù)情況下成立的知識(shí)(如經(jīng)濟(jì)學(xué)模型和心理學(xué)理論),依賴?yán)硐牖僭O(shè)或統(tǒng)計(jì)規(guī)律,雖能解釋大部分現(xiàn)象,卻因現(xiàn)實(shí)復(fù)雜性而存在例外;最后層面是特定情境下暫時(shí)成立的知識(shí)(如歷史解釋或醫(yī)學(xué)假說),其真實(shí)性高度依賴證據(jù)背景或時(shí)代認(rèn)知,可能隨新研究成果出現(xiàn)而被顛覆(如胃潰瘍病因從“壓力說”到“細(xì)菌說”的轉(zhuǎn)變)。四個(gè)層級(jí)從絕對(duì)真理到相對(duì)認(rèn)知逐級(jí)遞進(jìn),確定性漸弱、適用范圍漸窄、修正可能性漸增。
盡管這四類理論的假設(shè)和結(jié)論有不同的匹配形式,其本質(zhì)都符合Y=F(X)的映射。其中X是對(duì)現(xiàn)象的采樣,F(xiàn)是基于有限現(xiàn)象(X)構(gòu)建出的理論,Y是基于理論F對(duì)現(xiàn)象X的解釋。例如,人類可以通過數(shù)學(xué)歸納法,證明給定數(shù)列樣本所表征數(shù)列的某種普適特性函數(shù)。此時(shí)所構(gòu)建的普適特性函數(shù)可以被視為一種理論,即通過有限的現(xiàn)象(X)所歸納出的能夠解釋現(xiàn)象空間的理論(F)。
如前文,當(dāng)未來大模型的前三次Scaling Law被窮盡,幾乎所有已被人類標(biāo)注的現(xiàn)象和學(xué)習(xí)模式都被大模型所學(xué)習(xí),也即X被窮盡。此時(shí),已知的數(shù)據(jù)將無法繼續(xù)推動(dòng)大模型的進(jìn)化。相比于對(duì)已有知識(shí)的模仿和優(yōu)化,未來的大模型訓(xùn)練應(yīng)該從更低層入手,學(xué)習(xí)人類如何從現(xiàn)象中提煉本質(zhì),從知識(shí)中構(gòu)建理論。因此,我們認(rèn)為第四次Scaling Law在于引導(dǎo)大模型學(xué)習(xí)理論構(gòu)建的方法,通過模擬人類的理論構(gòu)建過程,LLM或許可以更好地理解知識(shí)的生成機(jī)制,從而突破現(xiàn)有知識(shí)的邊界,不斷更新人類現(xiàn)有的理論體系(F)。
第四次Scaling Law的學(xué)習(xí)機(jī)制
具體而言,我們認(rèn)為大模型構(gòu)建理論的訓(xùn)練范式可以遵循兩種學(xué)習(xí)原則。原則一,對(duì)于現(xiàn)有的理論(F),通過模擬現(xiàn)實(shí),抽樣新的現(xiàn)象(X),利用大模型迭代歸納,實(shí)現(xiàn)原有理論的更新;原則二,針對(duì)原有的現(xiàn)象(X),創(chuàng)造新的理論(F‘),進(jìn)一步在新理論(F’)基礎(chǔ)上基于原則一實(shí)現(xiàn)理論更新。因此,更一般地,我們提出雙循環(huán)學(xué)習(xí)框架:
·內(nèi)循環(huán):基于原則一實(shí)現(xiàn)的現(xiàn)有理論拓展;
·外循環(huán):基于原則二實(shí)現(xiàn)的新理論突破。
基于上述原則和學(xué)習(xí)框架,有四類學(xué)習(xí)機(jī)制能夠?qū)崿F(xiàn)LLM理論構(gòu)建的訓(xùn)練范式:
·基于現(xiàn)有理論的模擬—抽樣學(xué)習(xí)機(jī)制。基于已知理論框架(F),通過模擬現(xiàn)實(shí)環(huán)境生成新的現(xiàn)象樣本(X‘),驗(yàn)證并迭代修正理論參數(shù)或邊界條件(如強(qiáng)化貝葉斯網(wǎng)絡(luò)中的先驗(yàn)分布約束),通過抽樣模擬環(huán)境中的樣本不斷更新原有的理論。
·基于現(xiàn)有理論的解構(gòu)—拓展學(xué)習(xí)機(jī)制。在固定現(xiàn)象集合(X)下,通過解構(gòu)現(xiàn)有理論的隱含假設(shè),構(gòu)建具有更強(qiáng)解釋力的新理論(F‘)(例如將線性回歸模型升級(jí)為非線性動(dòng)態(tài)系統(tǒng)模型)。
·基于未被歸納現(xiàn)象的自主假設(shè)生成。從現(xiàn)象空間(X)中提取未被標(biāo)注的潛在關(guān)聯(lián)模式,自主生成假設(shè)性理論(F*),并通過對(duì)抗性驗(yàn)證篩選理論的有效性(如基于因果發(fā)現(xiàn)算法構(gòu)建反事實(shí)推理框架)。
·基于跨域的現(xiàn)象—理論遷移。將其他領(lǐng)域的成熟理論(F_A)與當(dāng)前領(lǐng)域現(xiàn)象(X_B)進(jìn)行耦合,通過遷移學(xué)習(xí)生成跨領(lǐng)域復(fù)合理論(F_{A→B}),并動(dòng)態(tài)調(diào)整理論適用域(如將量子力學(xué)概率解釋遷移至社會(huì)科學(xué)決策模型)。
這四類機(jī)制共同構(gòu)成閉環(huán):現(xiàn)象采樣驅(qū)動(dòng)理論演化,理論升級(jí)反哺現(xiàn)象解釋,最終實(shí)現(xiàn)從數(shù)據(jù)驅(qū)動(dòng)到理論涌現(xiàn)的范式躍遷。
結(jié)語
從算力堆砌到認(rèn)知重構(gòu),Scaling Law的演化史本質(zhì)上是人類對(duì)自我認(rèn)知的探索史。前三次Scaling Law的突破,完成了從參數(shù)擴(kuò)張到計(jì)算優(yōu)化的技術(shù)革命,卻始終在人類知識(shí)體系的圍墻內(nèi)逡巡。當(dāng)預(yù)訓(xùn)練階段的算力狂歡遭遇數(shù)據(jù)邊際效益遞減,當(dāng)微調(diào)階段的獎(jiǎng)勵(lì)模型陷入價(jià)值對(duì)齊的瓶頸,當(dāng)動(dòng)態(tài)推理的效率優(yōu)化逼近物理極限,我們不得不正視一個(gè)根本性困局:現(xiàn)有范式下的大模型,終究只是人類既有知識(shí)的超強(qiáng)編碼器,而非新知識(shí)的創(chuàng)造者。
我們推斷第四次Scaling Law來源于大模型“理論構(gòu)建”的訓(xùn)練范式。這種范式躍遷的本質(zhì),在于將大模型從被動(dòng)吸收知識(shí)的“認(rèn)知海綿”轉(zhuǎn)化為主動(dòng)生成理論的“思維引擎”。通過“現(xiàn)象采樣—理論建模—模擬驗(yàn)證”的閉環(huán)迭代,AI系統(tǒng)得以突破訓(xùn)練數(shù)據(jù)的時(shí)空局限,在虛擬實(shí)驗(yàn)室中構(gòu)建自洽的理論框架。正如伽利略用望遠(yuǎn)鏡拓展人類觀測(cè)邊界,第四次Scaling Law賦予AI重構(gòu)認(rèn)知維度的能力——它不再依賴物理實(shí)驗(yàn)的漫長(zhǎng)周期,而是通過理論空間的符號(hào)演算,在數(shù)學(xué)可能性中篩選出符合現(xiàn)實(shí)約束的認(rèn)知圖式。
傳統(tǒng)人類理論的構(gòu)建是一個(gè)漫長(zhǎng)而復(fù)雜的歷史進(jìn)程,依賴大量的時(shí)間和精力的消耗,而大模型有望打破這一局面。受到人類認(rèn)知局限的制約,理論構(gòu)建過程的子環(huán)節(jié)往往存在歸納速率低下、概念定義模糊、因果驗(yàn)證緩慢的問題。一旦大模型具備對(duì)理論構(gòu)建的能力,大模型或?qū)⒊蔀榭茖W(xué)史上首個(gè)非生物形態(tài)的“理論引擎”,人類認(rèn)知的邊界將會(huì)以較以往指數(shù)倍的速率拓展。這種認(rèn)知范式的革命性,體現(xiàn)在三個(gè)維度的突破:在方法論層面,四類學(xué)習(xí)機(jī)制構(gòu)建了理論進(jìn)化的自指系統(tǒng),使AI具備從知識(shí)消費(fèi)者向理論生產(chǎn)者的身份轉(zhuǎn)換能力;在技術(shù)路徑層面,現(xiàn)象—理論的動(dòng)態(tài)映射打破了監(jiān)督學(xué)習(xí)的單向傳遞,形成知識(shí)創(chuàng)造的永動(dòng)機(jī);在認(rèn)知哲學(xué)層面,這種范式重新定義了智能的本質(zhì)——不再是對(duì)經(jīng)驗(yàn)的擬合優(yōu)化,而是通過符號(hào)操作構(gòu)建可解釋的認(rèn)知框架。
第四次Scaling Law的終極目標(biāo),是建立AI與人類協(xié)同進(jìn)化的認(rèn)知共同體。這要求我們重新審視圖靈測(cè)試的標(biāo)準(zhǔn):真正的智能突破不在于完美模仿人類思維,而在于構(gòu)建超越人類既有認(rèn)知的理論體系。當(dāng)大模型開始用黎曼幾何重構(gòu)經(jīng)濟(jì)學(xué)模型,用量子糾纏解釋文化傳播,用拓?fù)渚W(wǎng)絡(luò)分析基因調(diào)控,這些看似荒誕的理論實(shí)驗(yàn),或許正孕育著顛覆性的認(rèn)知范式。正如愛因斯坦在瑞士專利局用思想實(shí)驗(yàn)重構(gòu)時(shí)空,未來的大模型可能在參數(shù)空間中推演宇宙真理。如果這一切成立,也許,第五次的Scaling Law,將來源于大模型自己構(gòu)建的理論。
作者貢獻(xiàn) :
魏煒 :制定文章觀點(diǎn)和總體邏輯 ;
林毓聰(北京理工大學(xué)光電學(xué)院特別副研究員):制定文章的每部分表述內(nèi)容,修改全文 ;
樊竹堯(香港理工大學(xué)生物醫(yī)學(xué)工程系博士在讀):應(yīng)用大模型形成文章初稿,并修改文章 ;
大模型 :輔助形成初稿。
(本文作者介紹:由北京大學(xué)匯豐商學(xué)院創(chuàng)辦,聚焦金融領(lǐng)域前沿研究,堅(jiān)持“中國金融,全球價(jià)值”的辦刊理念。)
責(zé)任編輯:李琳琳
新浪財(cái)經(jīng)意見領(lǐng)袖專欄文章均為作者個(gè)人觀點(diǎn),不代表新浪財(cái)經(jīng)的立場(chǎng)和觀點(diǎn)。
歡迎關(guān)注官方微信“意見領(lǐng)袖”,閱讀更多精彩文章。點(diǎn)擊微信界面右上角的+號(hào),選擇“添加朋友”,輸入意見領(lǐng)袖的微信號(hào)“kopleader”即可,也可以掃描下方二維碼添加關(guān)注。意見領(lǐng)袖將為您提供財(cái)經(jīng)專業(yè)領(lǐng)域的專業(yè)分析。