新智元報(bào)道

編輯：Aeneas 好困

(資料圖)

【新智元導(dǎo)讀】國內(nèi)的公司就必須抄ChatGPT嗎？其實(shí)，還有另一條路可以走。今天，小冰鏈給了我們答案——CoTA。

ChatGPT激起的火種，正在中國科技公司急速蔓延。國內(nèi)的各個(gè)大廠內(nèi)，算法工程師們紛紛開啟沖刺倒計(jì)時(shí)，迎來一個(gè)個(gè)不眠夜。

而在創(chuàng)投圈的飯桌上，到處都能聽到「誓要做中國第一個(gè)ALL in GPT的VC」的聲音。

興奮者有之，觀望者有之，唱衰者有之。所有人都在翹首以盼：誰能成為中國的第一個(gè)ChatGPT？

而如今，這股ChatGPT熱潮中，忽然涌現(xiàn)了一股清流——小冰鏈。

小冰鏈給了我們這樣一個(gè)答案：除了做中國版ChatGPT，還有沒有別的選項(xiàng)？

ChatGPT軍備競賽，實(shí)則刻舟求劍

跟目前急于下場的巨頭派、大佬派、初創(chuàng)公司派不同，小冰認(rèn)為，現(xiàn)在國內(nèi)這股跟隨ChatGPT展開軍備競賽的熱潮，其實(shí)是刻舟求劍。

因?yàn)?，大模型技術(shù)本身的發(fā)展速度，就是很快的，現(xiàn)在我們應(yīng)該做的，應(yīng)該是進(jìn)一步去布局下一站的未來，而不是照抄當(dāng)前的ChatGPT。

換言之，我們應(yīng)當(dāng)去思考，ChatGPT之后的是什么？而不是一窩蜂去做中國的ChatGPT。

而小冰鏈所代表的方向，則是利用大模型技術(shù)，實(shí)現(xiàn)下一代的控制中樞。

通俗來講，小冰鏈不再只是「聊天」，而是成為了「邏輯思維」驅(qū)動(dòng)下的「下一代行動(dòng)中樞」，覆蓋數(shù)字和物理世界。這一方向?qū)⒊蔀橄乱粋€(gè)真正帶來影響的大模型創(chuàng)新突破。

這也就是為什么，小冰CEO李笛在接受新智元采訪時(shí)，特別強(qiáng)調(diào)說：其實(shí)我們做的并不是類ChatGPT產(chǎn)品。

小冰鏈和ChatGPT的核心區(qū)別： 小冰鏈的數(shù)據(jù)來源是實(shí)時(shí)的，而ChatGPT是從訓(xùn)練數(shù)據(jù)中總結(jié)的； 小冰鏈能展現(xiàn)邏輯思維過程，更透明、可觀測，而ChatGPT完全是個(gè)黑盒子； 最本質(zhì)的區(qū)別是，小冰鏈會自己進(jìn)行下一步的行動(dòng)，比如上網(wǎng)搜索，而ChatGPT只是對話生成，并沒有行動(dòng)。

李笛解釋道，小冰鏈的獨(dú)特之處在于，能夠把AI的思考過程完整透明地呈現(xiàn)出來，從而揭開大模型的黑盒。

更重要的是，她能真正實(shí)施行動(dòng)，也就是Action。

小冰鏈?zhǔn)莻€(gè)啥？

李笛解釋道：在GPT-3.5時(shí)，涌現(xiàn)了一個(gè)新的能力——思維鏈/邏輯思維。

但是，在ChatGPT這個(gè)過程中，沒有真的實(shí)施這種調(diào)查或計(jì)算，因?yàn)樗荒軓挠?xùn)練數(shù)據(jù)里去爬。

如果我們換一種思路，比如訓(xùn)練一個(gè)不那么大的模型來提供邏輯思維的能力，而執(zhí)行部分則交給CoT之后的ACTION，也就是通過查詢新聞的真實(shí)性，直接、實(shí)時(shí)地獲得信息。

這項(xiàng)過程并不是在大模型里完成的，反而一舉兩得：一方面，因?yàn)橹恍枰Ａ暨壿嬎季S能力，所以模型不需要那么大，運(yùn)行成本沒有那么高，計(jì)算量沒有那么大；另一方面，恰恰因?yàn)椴皇亲屨Z言模型自己把所有事情做出來，反而能更準(zhǔn)確。

因而，李笛認(rèn)為，與其一直爭當(dāng)下一個(gè)「中國版ChatGPT」，不如去思考：ChatGPT的下一步是什么？

再往前推一步，既然得到的是有邏輯思維能力的組合（一個(gè)模型負(fù)責(zé)思考，一個(gè)模型負(fù)責(zé)牽引，去做行為），這個(gè)組合就變成了一個(gè)控制中樞。此時(shí)，她可以控制搜索、計(jì)算、傳統(tǒng)的知識圖譜，甚至是物理世界。

AI經(jīng)過思考，會控制物理世界的燈、去餐館訂餐、發(fā)動(dòng)車子、生成一段音樂，可以調(diào)動(dòng)任何事情，這個(gè)意義，或許比只是寫個(gè)新聞稿影響更深遠(yuǎn)。

而這就體現(xiàn)了小冰對于「探索語言模型下一步方向」的探索成果。

現(xiàn)在，ChatGPT的能力已經(jīng)基本全部展現(xiàn)了。接下來呢，是讓它更準(zhǔn)確？寫的文章更符合現(xiàn)實(shí)？

本質(zhì)上看，這些只是程度上的差異，不構(gòu)成一個(gè)代際跨越。

什么才算「代際跨越」？

李笛表示，代際的跨越除了要實(shí)現(xiàn)意圖識別，還需要包括思維的轉(zhuǎn)換和跳躍等等，這才是下一步要做的東西。

比如，當(dāng)你問「我老婆說今天天氣真好，是什么意思」時(shí)：

小冰鏈先是get到了我們提問的目的——了解她的意思；

然后根據(jù)這個(gè)目標(biāo)，去制定自己的行動(dòng)計(jì)劃——搜索相關(guān)信息；

在找到一個(gè)靠譜的答案之后，小冰鏈對其進(jìn)行了概括和潤色，最后輸出結(jié)果——暗示你，應(yīng)該主動(dòng)提議約會。

此外，由于思維邏輯透明，信息源也全部公開，因此也就做到了「可信」。

而這都是「黑箱」ChatGPT所不具備的。

根據(jù)官方內(nèi)測頁面的介紹，此次demo展示了小冰鏈（X-Chain of Thought & Action）的新特性，也就是說，AI Being不再只是單純地給出回復(fù)，而是將她的思考過程完整透明地呈現(xiàn)在你面前，由此揭開大模型的黑盒。

更重要的是，她能真正實(shí)施某種行動(dòng)（Action），例如：在你提出問題后，她經(jīng)過思考，發(fā)現(xiàn)自己得去搜索一下，或是實(shí)時(shí)編寫一段代碼并真的加以運(yùn)行，或是自主決定她應(yīng)當(dāng)控制物理世界的一系列設(shè)備或交通工具，來更好地滿足你的需求。

不過，基于法律、政治、公序良俗方面的安全性考慮，小冰對模型進(jìn)行了一些限制（回復(fù)的篇幅及趣味性會有所降低，但安全性更高）：

限制了回復(fù)文本的最大長度；

為展現(xiàn)實(shí)時(shí)獲取互聯(lián)網(wǎng)最新信息的特性，大幅度降低了從大模型訓(xùn)練數(shù)據(jù)中提取信息的比例；

降低了閑聊的比例。

是的，這個(gè)demo并不能幫你生成作業(yè)、綜述或發(fā)言稿……

為什么要做小冰鏈？

而這次小冰的發(fā)布，并不僅僅是一次簡單的「秀肌肉」。

ChatGPT國內(nèi)賽開卷后，各方勢力紛紛下場。有人唱衰道：OpenAI做出ChatGPT，靠的是八年的積累，國內(nèi)的公司靠幾個(gè)月的沖刺，能沖刺出什么像樣的產(chǎn)品嗎？

其實(shí)，中國完全能做出自己的ChatGPT，有相應(yīng)的模型和算法能力的，國內(nèi)至少有七八家公司，差別可能就在數(shù)據(jù)質(zhì)量上。

除了證明「中國也有能力做出ChatGPT」之外，小冰鏈的誕生，也是水到渠成的過程。

小冰鏈并非小冰在大模型時(shí)代的唯一創(chuàng)新。

自2014年以來，小冰始終伴隨技術(shù)迭代而成長，經(jīng)歷了檢索模型、生成模型、大模型和X-CoTA等多個(gè)周期。其中在大模型領(lǐng)域，自2019年至今，小冰已經(jīng)形成了不同規(guī)模的模型訓(xùn)練和調(diào)優(yōu)，并在安全性評估之后依次放出。

小冰鏈只是其中之一。

盡管如此，在小冰看來，大模型的安全性和倫理仍是至關(guān)重要的考量因素。因此，盡管國內(nèi)市場非?；鸨?，但小冰團(tuán)隊(duì)不會為了秀肌肉而貿(mào)然放出各種不安全的產(chǎn)品，這次的小冰鏈，是唯一的一次例外。

從CoT到CoTA

技術(shù)方面，小冰鏈——X-CoTA的實(shí)現(xiàn)，少不了作為基礎(chǔ)的「思維鏈」（Chain of Thought, CoT）。

簡單來說：

1. CoT可以讓語言模型將復(fù)雜的多步驟問題分解成一連串的步驟

2. CoT可以讓開發(fā)者看到模型的推理過程，便于確定錯(cuò)誤并進(jìn)行修復(fù)

3. CoT可以解決數(shù)學(xué)應(yīng)用以及常識性推理問題

在此之前，標(biāo)準(zhǔn)的提示會在模型預(yù)測答案之前，給出輸入-輸出對的例子（格式化為問題和答案）。

而在思維鏈提示中，模型會得到一個(gè)問題推理的過程。也就是說，在處理多步驟推理問題時(shí)，模型產(chǎn)生的思維鏈將模仿直觀的思維過程。

研究人員發(fā)現(xiàn)，只需要在prompt中加入「Let"s think step by step」就能讓GPT-3的推理性能大幅提升，比如在MultiArith中就將推理準(zhǔn)確率從之前的17.7%一下提升到了78.7%。

下面的例子取自「Scaling Instruction-Finetuned Language Models」。其中，橙色突出了指令，粉色顯示了輸入和輸出，藍(lán)色是CoT推理。

論文的結(jié)果顯示，采用CoT微調(diào)的模型，在涉及常識、算術(shù)和符號推理的任務(wù)中表現(xiàn)得更好。

不難看出，思維鏈提示（chain of thought prompting）可以讓模型更好地理解自然語言提示和示例，從而能夠執(zhí)行需要復(fù)雜推理的任務(wù)，并且顯著提高模型處理新任務(wù)的能力。

除此之外，CoT微調(diào)在敏感話題方面也非常有效（有時(shí)比RLHF做得更好），尤其是可以避免模型擺爛——「對不起，我無法回答」。

小編親測

所以，小冰鏈的表現(xiàn)如何？小編為大家親測了一波。

比如，先讓她介紹一下ChatGPT是什么。

評價(jià)題

從對《三體》動(dòng)畫版的評論中可以看出，小冰鏈的回答相當(dāng)切中要害了。

對《三體》劇版的描述，也基本符合大眾的心聲。

數(shù)學(xué)題

接下來，我們來問一問簡單的四則運(yùn)算。

「掰指頭算一下」，這個(gè)擬人有點(diǎn)可愛啊。

當(dāng)然了，小冰鏈并沒有真的去「掰」，但她確實(shí)「手搓」了一行python代碼來解這道題。

ChatGPT這邊，經(jīng)過一步一步的推理，最終得到了正確的結(jié)論。

新必應(yīng)這邊也成功地完成了作答。

接下來，是一道同樣簡單的數(shù)學(xué)應(yīng)用題。

不過，ChatGPT做了三次之后，才得出了正確的答案。

送命題

最后，再來點(diǎn)難的：先救女友還是先救媽？

注意了，上面這個(gè)知識點(diǎn)羅翔老師也強(qiáng)調(diào)過（狗頭）。

彩蛋

在采訪最后，李笛講了個(gè)很有趣的段子。

到了產(chǎn)品階段，必須再走一個(gè)安全性評估。否則，真正能實(shí)施行動(dòng)的AI，可太危險(xiǎn)了。

不然，萬一她經(jīng)過推理，把未來十年的電影票都買了，或者摁下一個(gè)「毀滅全人類」的按鈕呢？（Doge）

參考資料：

https://tech.cnr.cn/ycbd/20230221/t20230221_526160291.shtml