Kimi概念盤初大幅跳水 布局長文本并非越大越好

Kimi概念盤初大幅跳水 布局長文本并非越大越好
2024年03月25日 10:59 第一財(cái)經(jīng)

  炒股就看金麒麟分析師研報(bào),權(quán)威,專業(yè),及時(shí),全面,助您挖掘潛力主題機(jī)會(huì)!

  3月25日,A股三大指數(shù)集體低開,Kimi概念盤初大幅跳水,中廣天擇閃崩觸及跌停,華策影視跌超10%,海天瑞聲世紀(jì)天鴻引力傳媒等多股大跌。

  與之相對,算力板塊組織反撲,潤建股份二連板,數(shù)據(jù)港觸及漲停,奧飛數(shù)據(jù)依米康浪潮信息集體走強(qiáng)。二級市場Kimi概念熱度逐漸回落,投資邏輯回歸產(chǎn)業(yè)鏈本質(zhì)。

  Kimi是AI大模型初創(chuàng)企業(yè)月之暗面(Moonshot)推出的AI產(chǎn)品,后者披露Kimi 智能助手在長上下文窗口技術(shù)上取得突破,無損上下文長度提升了一個(gè)數(shù)量級到200萬字。該消息在二級市場引發(fā)多日追漲,也拉動(dòng)相關(guān)公司布局長文本。

  據(jù)了解,百度旗下文心一言即將于下月進(jìn)行升級,開放長文本能力,文本范圍在200萬-500萬。

  3月23日,360智腦宣布正式內(nèi)測500萬字長文本處理功能,該功能即將入駐360AI瀏覽器。目前360AI瀏覽器已向用戶免費(fèi)開放100萬字長文本閱讀功能,可一分鐘讀完《三體》,并就文本外的“超綱”問題進(jìn)行問答和延展學(xué)習(xí)。

  3月22日,阿里通義千問宣布升級,向所有人免費(fèi)開放1000萬字的長文檔處理功能,金融、法律、科研、醫(yī)療、教育等領(lǐng)域的專業(yè)人士可通過通義千問網(wǎng)站和APP快速讀研報(bào)、分析財(cái)報(bào)、讀科研論文、總結(jié)深度文章。

  此前接受媒體采訪時(shí),月之暗面創(chuàng)始人楊植麟表示,如果說參數(shù)量決定了大模型支持多復(fù)雜的“計(jì)算”,而能夠接收多少文本輸入(即長文本技術(shù))決定了大模型有多大的“內(nèi)存”,兩者共同決定模型的應(yīng)用效果。無損長上下文將是通往AGI(通用人工智能)的關(guān)鍵基礎(chǔ)技術(shù)。從 Word2vec 到 RNN、LSTM,再到Transformer,歷史上所有的模型架構(gòu)演進(jìn),本質(zhì)上都是在提升有效的、無損的上下文長度。

  OpenAI也在進(jìn)行相關(guān)布局,經(jīng)過三次升級,GPT-3.5上下文輸入長度從4000增長至1.6萬token(模型輸入和輸出的基本單位),GPT-4從8000增長至3.2萬token。另外,Anthropic也將上下文長度擴(kuò)至10萬token。

  那么,長文檔規(guī)模是否越大越好?對此,階躍星辰CEO、前微軟全球副總裁姜大昕對記者表示,考慮長文檔規(guī)模大小的時(shí)候還需要看智能水平,后者也是一項(xiàng)重要挑戰(zhàn),目前包括GPT-4、Gemini、Claude等模型均未達(dá)到理想水平。另外,長文檔規(guī)模與智能水平也需要進(jìn)行工程方面的ROI考量。

  記者以“大模型上下文規(guī)模是否越大越好”問題向Kimi提問,后者解讀稱:長文本規(guī)模會(huì)帶來增強(qiáng)理解能力、改善連貫性、提高信息整合能力、減少信息丟失等優(yōu)點(diǎn),但也伴隨計(jì)算資源消耗、過擬合風(fēng)險(xiǎn)、稀疏性問題、更新與維護(hù)難度、能源消耗與環(huán)境影響等挑戰(zhàn)。

  總結(jié)來看,Kimi認(rèn)為上下文規(guī)模的選擇需要根據(jù)具體的應(yīng)用場景和需求來決定。在某些需要處理大量信息和保持話題連貫性的任務(wù)中,較大的上下文規(guī)模可能是必要的。然而,在其他一些對計(jì)算資源有限制或?qū)?shí)時(shí)性要求較高的場景中,適中或較小的上下文規(guī)模可能更為合適。

  另外,算力挑戰(zhàn)也是長文本需面對的首要問題。華西證券認(rèn)為,國內(nèi)長文本帶動(dòng)大廠長文本能力迅速迭代,一方面將會(huì)縮小國內(nèi)外大語言模型的代差,一方面將會(huì)進(jìn)一步加大對底層算力的需求,算力需求爆發(fā)引發(fā)國內(nèi)異構(gòu)算力的構(gòu)建,會(huì)帶來AI行業(yè)的又一次變革,AI模型、語料庫、算力租賃、算力運(yùn)維、國產(chǎn)算力等將會(huì)繼續(xù)受益。

  信通院數(shù)據(jù)顯示,2021年全球計(jì)算設(shè)備算力總規(guī)模達(dá)到615EFlops(每秒浮點(diǎn)運(yùn)算次數(shù)),同比增長44%,其中基礎(chǔ)算力規(guī)模為369EFlops,智能算力規(guī)模為 232EFlops,超算算力規(guī)模為14EFlops,預(yù)計(jì)2030 年全球算力規(guī)模將達(dá)到56ZFlps,平均年均增長65%,中國目前計(jì)算設(shè)備總規(guī)模達(dá)到202EFlops,全球占比約為 33%,增速高于全球。

  銀河證券研報(bào)顯示,人工智能產(chǎn)業(yè)快速增長,對算力需求提升持續(xù)爆發(fā),產(chǎn)業(yè)鏈環(huán)節(jié)持續(xù)受益。其中算力產(chǎn)業(yè)鏈將持續(xù)受益,隨著目前大模型對訓(xùn)練和推理需求提升,其中AI芯片及服務(wù)器、交換機(jī)及光模塊、IDC機(jī)房及上游產(chǎn)業(yè)鏈等需求均將獲得快速增長。

股市回暖,抄底炒股先開戶!智能定投、條件單、個(gè)股雷達(dá)……送給你>>
新浪聲明:此消息系轉(zhuǎn)載自新浪合作媒體,新浪網(wǎng)登載此文出于傳遞更多信息之目的,并不意味著贊同其觀點(diǎn)或證實(shí)其描述。文章內(nèi)容僅供參考,不構(gòu)成投資建議。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
海量資訊、精準(zhǔn)解讀,盡在新浪財(cái)經(jīng)APP

責(zé)任編輯:江鈺涵

AI

VIP課程推薦

加載中...

APP專享直播

1/10

熱門推薦

收起
新浪財(cái)經(jīng)公眾號
新浪財(cái)經(jīng)公眾號

24小時(shí)滾動(dòng)播報(bào)最新的財(cái)經(jīng)資訊和視頻,更多粉絲福利掃描二維碼關(guān)注(sinafinance)

股市直播

  • 圖文直播間
  • 視頻直播間

7X24小時(shí)

  • 04-01 宏鑫科技 301539 --
  • 03-29 燦芯股份 688691 --
  • 03-25 中瑞股份 301587 21.73
  • 03-22 廣合科技 001389 17.43
  • 03-20 芭薇股份 837023 5.77
  • 新浪首頁 語音播報(bào) 相關(guān)新聞 返回頂部