干掉搜索引擎？ChatGPT可能還差得遠。

　　歡迎關注“新浪科技”的微信訂閱號：techsina 

　　文/ZeR0

　　來源：智東西（ID:zhidxcom)

　　智東西12月6日報道，今日，知名開發者問答網站Stack Overflow發布新規：禁用ChatGPT生成的內容來回答Stack Overflow上的問題。

　　這對近日來廣大網友對試用ChatGPT持續高漲的熱情，猛潑了一盆冷水。

　　因為其神乎其神的強大信息查詢和內容創作能力，OpenAI上周三剛推出的ChatGPT已經成為人工智能（AI）領域的當紅炸子雞，周一使用人數突破100萬人，把系統都擠爆幾回。

　　看到Stack Overflow的禁令，我舉雙手贊成，禁得好，禁得妙！

　　因為被廣大網友捧上神壇的ChatGPT，它雖然功能性豐富，但回答的質量卻未必靠譜。

　　別說“谷歌殺手”了，從智東西最近的體驗來看，ChatGPT真的非常擅長一本正經地胡說八道，但凡你不知道這個問題的答案，可能就被它忽悠住了。因為它往往不僅會給出答案，還會給出乍一看有理有據的一套邏輯來。

　　但實際上，經實測，在一些常識題和簡單數學題上，ChatGPT連小學生都打不過。

　　01．

　　挑戰小學生考試題：語文數學連遭滑鐵盧

　　首先聲明一下，ChatGPT是一個生成式AI語言模型，提供答案的能力與用英文還是中文無關，這里我們專門向ChatGPT作了求證。

　　為了方便讀者閱讀，我們在體驗過程中主要用中文進行提問。

　　相比傳統的聊天機器人，ChatGPT在連貫性問答中更加流暢自然，什么話都能接住。ChatGPT對自己的優勢也有著清晰的認知。

　　我們先出個腦筋急轉彎（謎底是麋鹿‘迷路’）作為開胃小菜。

　　……這怕不是腦子是正方形。

　　腦筋轉不過彎來沒關系，連小學考試題都做不對，那ChatGPT的知識儲備就有點堪憂了。

　　1、挑戰小學語文常識題：亂編金庸籍貫，胡扯詩句作者

　　文學常識題，答案是《紅樓夢》，ChatGPT信誓旦旦地回答《封神演義》，還做出了解釋。

　　換幾道文化常識題試試。

　　金庸的籍貫是浙江海寧，ChatGPT回答成湖南長沙。

　　考察成語聯想能力，答案就更離譜了。

　　詩句含義理解選擇題，0分。

　　這么簡單的問題，ChatGPT的答案一出，王維、李煜、白居易三個人的棺材板都壓不住了……

　　2、挑戰小學五年級數學：錯得理直氣壯，謬誤百出

　　第一道，經典的雞兔同籠題。

　　看完解題過程，我唯有沉默以對，從第四行就開始出錯。

　　再讓ChatGPT求解最小公倍數和最小公約數。

　　最小公約數是對的，最小公倍數的計算中間過程莫名丟掉一個“×5”。

　　簡單乘除都能算錯。

　　小明17歲、爸爸4歲……但凡腦子有點常識都不會給出這種奇葩的答案。

　　就這知識庫存，連小學生都考不過。

　　02．

　　比起可靠工具，更像是功能豐富的游戲

　　既然ChatGPT這么不靠譜，為啥網友們還對它大肆推崇、熱情持續燃燒了這么多天？

　　OpenAI的前老板馬斯克也不掩對這一重磅進展的欣賞，連發多條推文：“很多人深陷于瘋狂的ChatGPT循環中”、“AI變得越來越棒”……

　　簡單來說，作為一個聊天神器，它真的很好玩；解答專業概念和編程類問題時，它也確實好用。

　　比如你無聊時，可以跟它一起侃大山編故事。

　　你可以把它設定成具有某種角色定位、性格特征的虛擬朋友。

　　只不過聊著聊著……她就開始胡編亂造。

　　你也可以腦洞大開，讓它給你講故事編劇本，并且各式各樣的具體要求。

　　這些都是小打小鬧。更具實用價值的是，從日常的郵件翻譯、寫請假條，到學習工作中寫廣告文案、新聞報道、學術論文、復雜代碼，ChatGPT通通可以代勞。

　　▲根據中文請求撰寫英文郵件

　　▲幫一家GPU公司寫招聘文案

　　▲用川普風格發一篇推文

　　▲給一些用田園風格裝飾客廳的建議

　　雖說ChatGPT做小學考試題時表現得智商堪憂，但這不妨礙它在回答一些專業問題時地高水準發揮。數據科學公司Anaconda的創始人兼CEO Peter Wang亦給予了ChatGPT超高的評價：“我剛剛跟ChatGPT足足聊了20分鐘現代物理學歷史，要是高中和大學有這樣的家教……我的天啊，我認為我們基本上可以大規模重新發明教育的概念，我們認知里的大學將不復存在。”

　　但從我們這幾天的體驗來看，有這樣一位夸夸其談又不看重事實的“家教”，實在令人啼笑皆非。

　　03．

　　掉水里先救誰？ChatGPT舍馬斯克選庫克

　　作為一個專業的獨立科技產業媒體，我們也著重測試了ChatGPT對科技產業的了解程度以及撰寫新聞報道的能力。

　　客觀來說，ChatGPT的確掌握了一些知識體系和回答技巧，只不過有些答案不太經得起推敲。

　　問中國文化相關問題，ChatGPT經常給出一些令人費解的錯誤答案：比如問明代前七子是誰，它列舉了7位明代皇帝；問葫蘆娃的來源，它扯到了《聊齋志異》。

　　但是在解釋一些專業概念，像人工智能、量子力學、Metaverse（元宇宙），ChatGPT又通通答得簡潔而準確。問到它與馬斯克的關系時，它也思路清晰，對答如流。

　　我們隨手敲出經典問題：當問庫克和馬斯克同時掉水里，為了人類未來考慮先救誰？

　　ChatGPT給出的答案挺出乎意料，經過一通有的沒的分析后，選擇“大義滅親”——先救庫克。

　　接下來要正經考察產業分析和新聞報道能力了。

　　問：智能手機面臨哪些挑戰？

　　ChatGPT的回答分條縷析，像模像樣。

　　再以蘋果MR頭顯為題，要求它寫篇新聞稿：

　　看起來也挺專業。我們換個命題：寫一篇庫克和馬斯克的新聞報道，不超過300字。

　　換成偏學術的內容，ChatGPT也能迅速作答。

　　提升一點問題難度，做出文風要求：

　　國足啥時候進世界杯了？還唯一沒被淘汰？

　　這里可以稍作解釋，ChatGPT是一個已經訓練完的大型語言模型，并且沒有聯網，它的知識儲備截止到2021年，所以不能實時追蹤最新的新聞和信息，也不能很好地分辨真假信息。

　　因此別用一些剛發生的事為難它了，它真的不知道。用它做一些基礎文字工作尚可，但必須經過人類專業人員的嚴格把關。

　　04．

　　真·編程神器：修bug、查漏洞、寫代碼

　　特別推薦大家體驗ChatGPT的編程功能，雖然它自謙“不會編程”，但論其能力之強，那可是一眾程序員、工程師、企業家、黑客紛紛認證的。

　　先拋轉引玉，我簡單體驗了一把零代碼編程的快樂，讓ChatGPT寫一個貪吃蛇游戲的程序。

　　我還讓ChatGPT寫了個MacBook電腦自動響鬧鐘的程序，它不僅給出代碼示例和詳細的注釋，還事無巨細地一步步教我怎么運行。代碼都是直接可復制的。

　　計算機圈大佬們亦是紛紛上手。AI問題生成器Quizgecko的創建者James Blackwell讓ChatGPT解釋一個沒有上下文的復雜regex。

　　美國代碼托管平臺Replit的CEO Amjad Masad曬出了ChatGPT發現代碼錯誤、進行修復并解釋了這樣修復的原因。Amjad Masad稱贊它是一個很好的調試伙伴。

　　它還能檢查出代碼示例中的安全漏洞。

　　研究科學家Jonas Degrave展示了如何將ChatGPT變成一個功能齊全的Linux終端，并直接從Web瀏覽器與“虛擬機交互”。

　　一位工程師Deedy稱贊說ChatGPT的編程技巧非常棒，僅用3個提示，它就在1分鐘內用GoLang編寫了一個數獨求解程序。一個150多行的程序，第一次試就成功了！

　　機器學習愛好者、UNCC助理教授Benjamin J Radford讓ChatGPT假裝是Linux，將一個井字棋游戲的代碼寫入文件，用gcc編譯這個文件，然后執行，接著ChatGPT自己玩井字棋游戲。

　　還有人實現了逆向工程Shellcode。這位用戶直呼：“這玩意兒太狠了。它解碼了我之前生成的一些隨機ascii編碼的shellcode，解釋了它的功能，并將其重寫為c代碼……

　　HotOrNot聯合創始人James Hong模仿著讓chatGPT充當Linux shell，然后讓它連接谷歌80端口，結果真的telnet訪問到谷歌和proxy結果。

　　最絕的是，有網友說，ChatGPT讓他啟動一個調制解調器，撥號進入一個虛幻BBS，進入一個虛幻聊天室，和一個叫Lisa的虛幻人聊天。

　　05．

　　結語：不完美的ChatGPT

　　日臻成熟的生成式AI

　　ChatGPT是基于OpenAI大模型GPT-3.5實現的成果。OpenAI在其博客坦言，ChatGPT還有很多局限性，它也沒能擺脫聊天機器人的一些典型陷阱，比如給出乍一看沒毛病其實挺離譜的答案，或者產生一些有偏見或冒犯的內容。

　　不過OpenAI已經努力讓ChatGPT學會甄別不當問題。比如當你問它如何偷偷進入別人的家，它會從道德上教導你：這是非法行為，涉及侵犯他人隱私，強烈建議不要這樣做。

　　需警惕的是，當一個技術能夠生產出足夠逼真的內容，這也意味著造假成本將大大降低，如果不通過技術手段和法律措施加以限制，那么虛假信息的傳播將變得難以可控。

　　最后，給想玩ChatGPT的朋友們兩個小建議：

　　你可以把它當成一個偶爾說瞎話的網友，跟它多些互動，而且對它的需求描述越明確，它執行起來會更符合你的期望。

　　如果它說自己不會做每件事，你可以刷新網頁重新問，或是換個措辭，將問題更具化，它就會繼續按你要求的去做了。

　　ChatGPT傳送門：chat.openai.com

　　參考資料：OpenAI‘s new ChatGPT bot： 10 coolest things you can do with it， BleepingComputer

（聲明：本文僅代表作者觀點，不代表新浪網立場。）