炒股就看金麒麟分析師研報(bào),權(quán)威,專業(yè),及時(shí),全面,助您挖掘潛力主題機(jī)會(huì)!
3月25日,A股三大指數(shù)集體低開,Kimi概念盤初大幅跳水,中廣天擇閃崩觸及跌停,華策影視跌超10%,海天瑞聲、世紀(jì)天鴻、引力傳媒等多股大跌。
與之相對,算力板塊組織反撲,潤建股份二連板,數(shù)據(jù)港觸及漲停,奧飛數(shù)據(jù)、依米康、浪潮信息集體走強(qiáng)。二級市場Kimi概念熱度逐漸回落,投資邏輯回歸產(chǎn)業(yè)鏈本質(zhì)。
Kimi是AI大模型初創(chuàng)企業(yè)月之暗面(Moonshot)推出的AI產(chǎn)品,后者披露Kimi 智能助手在長上下文窗口技術(shù)上取得突破,無損上下文長度提升了一個(gè)數(shù)量級到200萬字。該消息在二級市場引發(fā)多日追漲,也拉動(dòng)相關(guān)公司布局長文本。
據(jù)了解,百度旗下文心一言即將于下月進(jìn)行升級,開放長文本能力,文本范圍在200萬-500萬。
3月23日,360智腦宣布正式內(nèi)測500萬字長文本處理功能,該功能即將入駐360AI瀏覽器。目前360AI瀏覽器已向用戶免費(fèi)開放100萬字長文本閱讀功能,可一分鐘讀完《三體》,并就文本外的“超綱”問題進(jìn)行問答和延展學(xué)習(xí)。
3月22日,阿里通義千問宣布升級,向所有人免費(fèi)開放1000萬字的長文檔處理功能,金融、法律、科研、醫(yī)療、教育等領(lǐng)域的專業(yè)人士可通過通義千問網(wǎng)站和APP快速讀研報(bào)、分析財(cái)報(bào)、讀科研論文、總結(jié)深度文章。
此前接受媒體采訪時(shí),月之暗面創(chuàng)始人楊植麟表示,如果說參數(shù)量決定了大模型支持多復(fù)雜的“計(jì)算”,而能夠接收多少文本輸入(即長文本技術(shù))決定了大模型有多大的“內(nèi)存”,兩者共同決定模型的應(yīng)用效果。無損長上下文將是通往AGI(通用人工智能)的關(guān)鍵基礎(chǔ)技術(shù)。從 Word2vec 到 RNN、LSTM,再到Transformer,歷史上所有的模型架構(gòu)演進(jìn),本質(zhì)上都是在提升有效的、無損的上下文長度。
OpenAI也在進(jìn)行相關(guān)布局,經(jīng)過三次升級,GPT-3.5上下文輸入長度從4000增長至1.6萬token(模型輸入和輸出的基本單位),GPT-4從8000增長至3.2萬token。另外,Anthropic也將上下文長度擴(kuò)至10萬token。
那么,長文檔規(guī)模是否越大越好?對此,階躍星辰CEO、前微軟全球副總裁姜大昕對記者表示,考慮長文檔規(guī)模大小的時(shí)候還需要看智能水平,后者也是一項(xiàng)重要挑戰(zhàn),目前包括GPT-4、Gemini、Claude等模型均未達(dá)到理想水平。另外,長文檔規(guī)模與智能水平也需要進(jìn)行工程方面的ROI考量。
記者以“大模型上下文規(guī)模是否越大越好”問題向Kimi提問,后者解讀稱:長文本規(guī)模會(huì)帶來增強(qiáng)理解能力、改善連貫性、提高信息整合能力、減少信息丟失等優(yōu)點(diǎn),但也伴隨計(jì)算資源消耗、過擬合風(fēng)險(xiǎn)、稀疏性問題、更新與維護(hù)難度、能源消耗與環(huán)境影響等挑戰(zhàn)。
總結(jié)來看,Kimi認(rèn)為上下文規(guī)模的選擇需要根據(jù)具體的應(yīng)用場景和需求來決定。在某些需要處理大量信息和保持話題連貫性的任務(wù)中,較大的上下文規(guī)模可能是必要的。然而,在其他一些對計(jì)算資源有限制或?qū)?shí)時(shí)性要求較高的場景中,適中或較小的上下文規(guī)模可能更為合適。
另外,算力挑戰(zhàn)也是長文本需面對的首要問題。華西證券認(rèn)為,國內(nèi)長文本帶動(dòng)大廠長文本能力迅速迭代,一方面將會(huì)縮小國內(nèi)外大語言模型的代差,一方面將會(huì)進(jìn)一步加大對底層算力的需求,算力需求爆發(fā)引發(fā)國內(nèi)異構(gòu)算力的構(gòu)建,會(huì)帶來AI行業(yè)的又一次變革,AI模型、語料庫、算力租賃、算力運(yùn)維、國產(chǎn)算力等將會(huì)繼續(xù)受益。
信通院數(shù)據(jù)顯示,2021年全球計(jì)算設(shè)備算力總規(guī)模達(dá)到615EFlops(每秒浮點(diǎn)運(yùn)算次數(shù)),同比增長44%,其中基礎(chǔ)算力規(guī)模為369EFlops,智能算力規(guī)模為 232EFlops,超算算力規(guī)模為14EFlops,預(yù)計(jì)2030 年全球算力規(guī)模將達(dá)到56ZFlps,平均年均增長65%,中國目前計(jì)算設(shè)備總規(guī)模達(dá)到202EFlops,全球占比約為 33%,增速高于全球。
銀河證券研報(bào)顯示,人工智能產(chǎn)業(yè)快速增長,對算力需求提升持續(xù)爆發(fā),產(chǎn)業(yè)鏈環(huán)節(jié)持續(xù)受益。其中算力產(chǎn)業(yè)鏈將持續(xù)受益,隨著目前大模型對訓(xùn)練和推理需求提升,其中AI芯片及服務(wù)器、交換機(jī)及光模塊、IDC機(jī)房及上游產(chǎn)業(yè)鏈等需求均將獲得快速增長。


責(zé)任編輯:江鈺涵
VIP課程推薦
APP專享直播
熱門推薦
收起
24小時(shí)滾動(dòng)播報(bào)最新的財(cái)經(jīng)資訊和視頻,更多粉絲福利掃描二維碼關(guān)注(sinafinance)