本篇文章給大家談?wù)劰房耧j二內(nèi)置作弊菜單，以及公路狂飆2的知識(shí)點(diǎn)，希望對(duì)各位有所幫助，不要忘了收藏本站喔。
文章詳情介紹：
重磅：盤點(diǎn)7大方向，誰(shuí)將誕生ChatGPT領(lǐng)域的尤里卡時(shí)刻
在ChatGPT領(lǐng)域，哪個(gè)方向是它的未來(lái)趨勢(shì)，能更快地“接近真相”呢？本文作者從商業(yè)的角度，對(duì)7個(gè)方向進(jìn)行了總結(jié)分析，希望能給你帶來(lái)一些啟發(fā)。
小科普：尤里卡，希臘詞匯，是發(fā)現(xiàn)真相時(shí)的感嘆詞，在游戲文明6中，當(dāng)你觸發(fā)尤里卡，你的科技會(huì)縮短40%的研究時(shí)間（中國(guó)文明縮短50%）
再小科普：AI繪畫(huà)的尤里卡時(shí)刻有兩個(gè)，Stable Diffusion讓成本下降到可用，ControlNet讓繪畫(huà)可控性大大提升，踏入更廣闊的應(yīng)用領(lǐng)域。
在前面的系列文章中，我們講了LLM的技術(shù)原理、商業(yè)應(yīng)用、社會(huì)影響等方面。但這些都是聚焦當(dāng)下或較近的未來(lái)，那么更遙遠(yuǎn)的趨勢(shì)呢？
就像Diffusion的ControlNet模型一樣，如果你更早發(fā)現(xiàn)他的趨勢(shì)，你就不會(huì)花費(fèi)精力在語(yǔ)義理解、穩(wěn)定控制等方面，而是直奔可控性（我與很多朋友聊天，發(fā)現(xiàn)他們的團(tuán)隊(duì)或多或少都有可控性方面的嘗試，但因?yàn)橼厔?shì)錯(cuò)判，而沒(méi)有全力All IN）。
或者哪怕你不是做技術(shù)的，你提前預(yù)判到，你也能在產(chǎn)品角度、商業(yè)角度做前置的思考和布局。
不過(guò)接下來(lái)我的分析不會(huì)那么偏技術(shù)（因?yàn)椴欢?，而是從更商業(yè)的角度來(lái)看這些方向。畢竟商業(yè)利益催生應(yīng)用，應(yīng)用催生技術(shù)涌現(xiàn)，有時(shí)候跳出技術(shù)思維（剛好我沒(méi)有），或許更能看到一些盲生的華點(diǎn)。
希望對(duì)大家有所啟發(fā)，也歡迎拍磚討論。
以下是全部?jī)?nèi)容：
降低門檻 ????
萬(wàn)物終端 ??????
思維鏈CoT ????
反作弊 ??
文本外應(yīng)用 ??
私有化 ????
GPT4來(lái)了？??????
下面每個(gè)方向的介紹都比較簡(jiǎn)潔，不會(huì)窮舉所有案例，也不會(huì)長(zhǎng)篇大論講解原理。
方向一：降低門檻 ????我說(shuō)過(guò)技術(shù)涌現(xiàn)是需要“人數(shù)基礎(chǔ)”的，參與的玩家越多，這個(gè)領(lǐng)域的發(fā)展才會(huì)越快。同時(shí)我們本身也需要關(guān)注門檻的降低速度，以預(yù)判更多玩家涌入對(duì)商業(yè)生態(tài)的影響?；谶@兩個(gè)因素，重要性2星。
第一個(gè)例子以FlexGen為例，目前GitHub 5K Stars，實(shí)現(xiàn)了大模型推理中的顯卡平替（推理就是回答問(wèn)題）。
簡(jiǎn)單介紹：
1）用更大的吞吐量掩蓋低延遲（你可以慢，但做多一點(diǎn)）；
2）工程上優(yōu)化了效率，不僅可以用16GB T4 的顯卡去替代又貴又稀缺的80G A100。并且實(shí)現(xiàn)了這種方式相較以往框架的100倍效率提升?！f(shuō)白了，推理的時(shí)候你不一定要用A100了！喜大普奔！
如果需要比較通俗的科普，看這個(gè)：
https://zhuanlan.zhihu.com/p/608279479如果需要看GitHub原鏈接，看這個(gè)：
https://github.com/FMInference/FlexGen
第二個(gè)例子是ColossalAI（看名字就知道，專門對(duì)付大模型），Github上17.5K Stars，他在解決訓(xùn)練成本、推理成本的問(wèn)題。他的實(shí)現(xiàn)方案太復(fù)雜了，大概是更高效的并發(fā)策略、更好的工程結(jié)構(gòu)等我還沒(méi)深入研究的東西哈哈。大家感興趣follow下面鏈接做深入學(xué)習(xí)?？破招詧?bào)道（可能有PR成分）如下：
https://zhuanlan.zhihu.com/p/606397774GitHub鏈接如下：
https://github.com/hpcaitech/ColossalAI#GPT-3
第三個(gè)例子是各類開(kāi)源組織，例如EleutherAI（Stable Diffusion，GPT-3的開(kāi)源組織），LAION（數(shù)據(jù)開(kāi)源組織）等，他們對(duì)模型或者對(duì)數(shù)據(jù)的開(kāi)源，推動(dòng)了更多參與者加入這個(gè)方向的研究。
整體來(lái)看，有非常多關(guān)于降低門檻方面的努力，包括模型開(kāi)源、模型優(yōu)化、工程優(yōu)化、算力降低、顯卡平替等，說(shuō)不定有一些我沒(méi)發(fā)現(xiàn)但正在進(jìn)行中的（例如定制芯片、稀疏化模型等等）。
方向二：萬(wàn)物終端 ??????我們現(xiàn)在使用ChatGPT可以讓幫我們生成視頻腳本，甚至按API字段要求生成一個(gè)可執(zhí)行的入?yún)⒚?。但是這種生成永遠(yuǎn)停留在文字程度，我們要做最終的生產(chǎn)，只能自己打開(kāi)其他的應(yīng)用（如PS、如其他APP的API接口）才能將生成結(jié)果轉(zhuǎn)變?yōu)樽罱K產(chǎn)物。
如果ChatGPT能夠使用工具呢？當(dāng)我讓他幫我收集海外SaaS公司2022年財(cái)報(bào)，他將結(jié)果整理為列表，同時(shí)標(biāo)識(shí)引用的財(cái)報(bào)PDF，并將PDF下載到我的桌面（且新建文件夾并自動(dòng)重命名）。你覺(jué)得如何？想要嗎？
甚至更復(fù)雜一點(diǎn)（短期不太現(xiàn)實(shí)哈哈），你跟他說(shuō)幫我畫(huà)一張“醉后不知天在水，滿船星夢(mèng)壓清河”的水墨畫(huà)（用AI繪畫(huà)），并在右上角用草書(shū)寫上這兩句古詩(shī)（用PS）。你想要嗎？
這將是顛覆式的開(kāi)始，就像當(dāng)初IOS誕生一樣，圍繞一個(gè)終端，全世界的應(yīng)用都會(huì)按照他的標(biāo)準(zhǔn)接入，并涌現(xiàn)出無(wú)窮的智慧。GPT不再是一種工具，而是新時(shí)代人人都離不開(kāi)的終端——替代手機(jī)/電腦，更強(qiáng)大的虛擬終端。
在這種刺激下，巨頭對(duì)LLM的爭(zhēng)奪會(huì)進(jìn)入一個(gè)更劇烈的，更白熱化的階段：新時(shí)代的諾亞方舟，不上船者必死。
這一切的開(kāi)始，來(lái)自Meta AI發(fā)布的Toolformer，他讓LLM連接工具成為可能。
簡(jiǎn)單介紹：
1. 讓AI明確有些問(wèn)題，可以調(diào)用工具（例如知識(shí)，計(jì)算，查詢?nèi)粘蹋?/p>
2. 讓AI合理地轉(zhuǎn)化自然語(yǔ)言命令為API命令（即調(diào)用工具的入?yún)ⅲ?/p>
3. 讓AI在組織回答時(shí)，正?；卮穑糠中璜@取的答案，去調(diào)用API獲得結(jié)果后再嵌入回答中。
下面是一個(gè)論文中的例子（括號(hào)內(nèi)即API命令+調(diào)用后的結(jié)果）：
Q：拜登在哪里出生
A：拜登在（調(diào)用搜索引擎查詢“拜登在哪里出生”，獲得答案斯克蘭頓）斯克蘭頓出生。當(dāng)然論文中的例子還較為簡(jiǎn)單，離我的狂想還有一段距離。但這種思路揭示了一種未來(lái)：我們可以訓(xùn)練LLM模型對(duì)工具使用的理解，包括何時(shí)應(yīng)該使用工具，自然語(yǔ)言如何轉(zhuǎn)化為使用工具的API命令。
等他進(jìn)一步完善之后，所有的應(yīng)用都必須按照LLM定義的標(biāo)準(zhǔn)提供接口，并跪著求LLM收錄他們作為可調(diào)用工具（例如都是查詢?nèi)諝v行程，我是查Google日歷，還是查滴答清單呢？）
科幻未來(lái)就在眼前，三星好評(píng)！
簡(jiǎn)單科普看這個(gè)：
https://www.zhihu.com/question/583924233/answer/2900129018論文看這個(gè)：
https://arxiv.org/pdf/2302.04761.pdf
第一個(gè)例子有點(diǎn)搞笑，但我發(fā)誓是真的：
第一步，讓AI回答最終答案之前先拆解問(wèn)題：“Think step by step”第二步，然后再讓AI基于這個(gè)推理結(jié)果給出最終答案：“so the answer is ?”拆成兩步后，準(zhǔn)確率從17.1%飆升到78.7%
無(wú)圖無(wú)證據(jù)，論文《LargeLanguage Models are Zero-ShotReasoners》原圖
第二個(gè)例子來(lái)自小冰的X-CoTA。
直接上圖，大家仔細(xì)看看：
在圖中，小冰面對(duì)問(wèn)題“北京到蘇州相當(dāng)于跑了多少個(gè)馬拉松”，他拆解成了“北京和蘇州的距離”，“一個(gè)馬拉松有多長(zhǎng)”兩個(gè)問(wèn)題進(jìn)行推理。并最終基于兩個(gè)小問(wèn)題的答案給出最后答案。
一方面，復(fù)雜問(wèn)題拆解為多個(gè)子問(wèn)題提升了最終回答的正確率，另一方面，更加關(guān)鍵的是——這讓AI的推理過(guò)程可視化。而可視化，就意味著人類可以進(jìn)行過(guò)程糾錯(cuò)，接下來(lái)請(qǐng)看第三個(gè)例子。
第三個(gè)例子：LangChain 的memory功能。
下圖中右側(cè)，模型弄錯(cuò)了Similar to的意思，被用戶教育校正。這個(gè)校正會(huì)存入Memory中，當(dāng)AI下次在遇到累死問(wèn)題，他就會(huì)來(lái)尋找曾經(jīng)的memory并避免犯錯(cuò)。
這個(gè)功能本身是和CoT思維鏈毫無(wú)關(guān)系的。
但是如果你把LangChain的這個(gè)功能，與第二個(gè)例子結(jié)合起來(lái)。
你就會(huì)發(fā)現(xiàn)，所謂的用戶反饋（即大名鼎鼎的RLHF）不僅僅能夠出現(xiàn)在訓(xùn)練/微調(diào)環(huán)節(jié)，更能直接在用戶使用過(guò)程中發(fā)揮作用，快速積攢大量的優(yōu)質(zhì)人類反饋，從而進(jìn)一步提升模型效果。
這個(gè)方向一方面本身就可以提升模型效果，另一方面為強(qiáng)化版的用戶反饋機(jī)制提供了可能，因此給2星。
方向四：反作弊 ??大家可能看到過(guò)最近的這個(gè)新聞：《科幻世界禁止使用ChatGPT投稿》，或者更早之前的大學(xué)禁止ChatGPT的一些新聞。還有針對(duì)GPT監(jiān)測(cè)的工具，例如GPT-Zero，OpenAI自己開(kāi)發(fā)的AI-Text-Classifier等。
我的看法是：政治噱頭。
第一，AI生成的本質(zhì)是什么？就是洗稿，例如我寫作中會(huì)閱讀大量的報(bào)道、文章、論文，然后總結(jié)歸納后轉(zhuǎn)寫出來(lái)——是的，技術(shù)側(cè)的知識(shí)我毫無(wú)產(chǎn)出，一行代碼也沒(méi)敲過(guò)，我只是在學(xué)習(xí)總結(jié)而已。
但這種洗稿問(wèn)題，在內(nèi)容時(shí)代從來(lái)沒(méi)被解決過(guò)，不要說(shuō)我這種高級(jí)洗稿，就算是低級(jí)洗稿也是毫無(wú)辦法。
第二，目前的檢測(cè)方式是基于模型有監(jiān)督學(xué)習(xí)的文本分類模型，在現(xiàn)在LLM模型起步初期，行文還有點(diǎn)生硬時(shí)，準(zhǔn)確率都不高，何況更進(jìn)步更擬人的未來(lái)？
第三，還有一些從源頭控制的方法，例如添加密碼水印（例如h字符的出現(xiàn)率比平均值高11%~13%），例如應(yīng)用側(cè)主動(dòng)標(biāo)識(shí)“來(lái)自LLM”的證明。但這些手段仍然可以通過(guò)多段拼湊，黑市LLM，離線二次處理等方法繞開(kāi)。
這個(gè)領(lǐng)域是政治、商業(yè)上推行下去必須解決的問(wèn)題，但他的解決方式很可能是表面解決——LLM公司出存在性手段（AI-Text-Classifier），應(yīng)用側(cè)公司做保證性聲明，政府?dāng)M定生成類內(nèi)容法規(guī)，但一切對(duì)現(xiàn)實(shí)毫無(wú)影響。
方向五：文本外應(yīng)用 ??經(jīng)過(guò)很長(zhǎng)一段時(shí)間的狂歡后，大部分人（或許只有我哈哈），可能都忘記了LLM的一個(gè)顛覆性變革——AGI通用人工智能的雛形。
這個(gè)雛形怎么往下推進(jìn)呢？他勢(shì)必要將當(dāng)前集中在文本領(lǐng)域的能力向更大范圍輻射。
典型的例子如ProGen，用大規(guī)模語(yǔ)言模型來(lái)定向預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)
簡(jiǎn)單介紹：
1.復(fù)習(xí)一下預(yù)訓(xùn)練語(yǔ)言模型，把N多語(yǔ)料喂給他，讓它自己學(xué)習(xí)世界知識(shí)、語(yǔ)法知識(shí)、代碼知識(shí)。2. 好，模仿這個(gè)過(guò)程，現(xiàn)在我把蛋白質(zhì)的結(jié)構(gòu)喂給ProGen，讓它自己學(xué)習(xí)，讓它明白原來(lái)要具備殺菌性，結(jié)構(gòu)是這樣的，具備耐寒性，結(jié)構(gòu)得是這樣的；
3. 現(xiàn)在我可以要求他定向預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)了——例如我要?dú)⒕院玫牡鞍踪|(zhì)。
這個(gè)模型現(xiàn)在的參數(shù)規(guī)模是12 億，使用包含2.8 億個(gè)蛋白質(zhì)序列的公開(kāi)數(shù)據(jù)集——如果他像GPT一樣不停地往上堆數(shù)據(jù)呢？是不是也會(huì)像GPT模型一樣實(shí)現(xiàn)能力的涌現(xiàn)？
科普性文章看這篇：
https://zhuanlan.zhihu.com/p/603784945
那么其他領(lǐng)域呢？圖像、視頻、3D？很抱歉，我覺(jué)得很難看到突破。
我的判斷和技術(shù)一點(diǎn)關(guān)系都沒(méi)有（我不懂），純粹從商業(yè)角度、利益角度看這個(gè)事情。
第一，Diffusion在多模態(tài)領(lǐng)域狂飆突進(jìn)，他的爆發(fā)遠(yuǎn)不到停止的時(shí)候，在這個(gè)階段，由于他的前景明確、介入成本低，集中了大量的研究人員在推進(jìn)技術(shù)發(fā)展。
第二，GPT為代表的LLM，他現(xiàn)在也不太關(guān)心文本外應(yīng)用，他有更著急的事情要去做（例如我前面說(shuō)的那幾個(gè)方向）。——并且，由于他的介入門檻高，在這個(gè)領(lǐng)域能夠?qū)嵅俚难芯咳藛T還遠(yuǎn)遠(yuǎn)比Diffusion少。
這就像特斯拉的交流電遇到愛(ài)迪生的直流電一樣，當(dāng)你有一個(gè)還不錯(cuò)，甚至很不錯(cuò)的競(jìng)爭(zhēng)對(duì)手時(shí)，你不能只是優(yōu)秀一點(diǎn)，你必須優(yōu)秀非常多！
在產(chǎn)品領(lǐng)域有一個(gè)公式描述這種現(xiàn)象：產(chǎn)品價(jià)值=（新體驗(yàn)-舊體驗(yàn)）-遷移成本。
綜上，對(duì)于廣闊的圖像、視頻等領(lǐng)域，我不是特別看好LLM短期內(nèi)在這個(gè)方向的發(fā)展。
方向六：私有化 ????我之前有一個(gè)判斷，LLM的誕生不會(huì)摧毀小模型公司，這里的小模型公司指以前靠賣模型服務(wù)吃飯的企業(yè)，因?yàn)樗麄兊哪Ｐ捅绕?750億參數(shù)實(shí)在太小了，就叫小模型公司哈哈。
這方面的考慮來(lái)自幾個(gè)方面：實(shí)時(shí)性（車載/直播等），安全性（金融），成本敏感（客服），答案穩(wěn)定（金融），道德風(fēng)險(xiǎn)（心理咨詢）。
但是，新聞來(lái)了！OpenAI將考慮允許企業(yè)私有化部署模型，最低26W美元/年
如果這個(gè)消息不是FakeNews（建國(guó)兄搖頭.JPG），那么至少安全性問(wèn)題解決了，成本、實(shí)時(shí)等問(wèn)題可能也會(huì)緩解，小模型公司將迎來(lái)前所未有的沖擊。
但是私有化也有好處：
首先，私有化大概率是部署小參數(shù)規(guī)模的LLM居多（比1750億參數(shù)少一個(gè)量級(jí)），那么這將導(dǎo)致后續(xù)LLM的優(yōu)化方向不僅僅只是參數(shù)規(guī)模的追逐（例如傳說(shuō)中的萬(wàn)億參數(shù)GPT4），也會(huì)回頭關(guān)注小參數(shù)級(jí)別LLM的表現(xiàn)。
其次，更多的應(yīng)用催生更多的技術(shù)升級(jí)，并且小參數(shù)級(jí)別的LLM也降低了進(jìn)入門檻，會(huì)讓這個(gè)領(lǐng)域更加百發(fā)齊放（其實(shí)又和門檻降低方向有點(diǎn)關(guān)系了）。
因此，基于對(duì)現(xiàn)有商業(yè)環(huán)境的擾動(dòng)+技術(shù)的有益促進(jìn)，這個(gè)方向的重要程度是2星——哪怕他一點(diǎn)技術(shù)含量也沒(méi)有（或許還是有一些的）。
方向七：GPT4來(lái)了？????各種傳言說(shuō)GPT4已經(jīng)在路上了，23年就要出來(lái)了，但都沒(méi)啥證據(jù)。而Twitter這位小哥不僅爆料了私有化信息，還提供了GPT4可能到來(lái)的一種猜測(cè)。
首先，我們看這張圖，text-davinci-003就是目前OpenAI開(kāi)放的最先進(jìn)的模型，可以看到圖中只支持4Ktokens。（告訴大家一個(gè)冷知識(shí)，ChatGPT是不開(kāi)放商用API的，只有GPT-3開(kāi)放）
而Twitter小哥爆料的圖中，大家看這張圖中，DV就是davinci——目前OpenAI真正開(kāi)放商用的GPT3系列名詞。
在圖中，DV最高支持32K的上下文長(zhǎng)度，是當(dāng)前的支持的4K的8倍。
這個(gè)莫名其妙的DK（32K max context）是不是傳說(shuō)中的GPT-4呢？或者哪怕不是，至少也是個(gè)GPT-3.6、3.7吧？畢竟翻了8倍的上下文理解能力，實(shí)在有點(diǎn)離譜——他從19年到22年也就翻了2倍。
不過(guò)，畢竟只是猜測(cè)，所以只給2星，安慰一下自己的小心臟。
本文由@馬丁的面包屑 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。
題圖來(lái)自 Unsplash，基于 CC0 協(xié)議
該文觀點(diǎn)僅代表作者本人，人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。