中版ChatGPT登場數小時就崩潰 複旦大學道歉

人工智慧AI機器人ChatGPT當紅，中國複旦大學搶跟潮流卻出包，此前開發的一個類似ChatGPT的聊天機器人平台在向大眾發布後數小時內，因流量突然激增而崩潰。複旦大學周二（21日）公開道歉。

該團隊周一宣布稱為MOSS的平台立即在中國社交媒體上瘋傳，並在微博上產生數千萬的點閱量。官方媒體將其描述成為OpenAI熱門ChatGPT平台的第一個中國競爭對手。但MOSS很快就崩潰了，到周二，複旦大學團隊表示將不再向公眾開放。

MOSS的推出和公眾的反應凸顯了中國對ChatGPT的熱情，以及國內行業麵臨的挑戰，因為中國的幾所頂尖大學和科技公司都競相生產中國版的微軟支持的聊天機器人。

複旦大學網站發表的聲明表示，MOSS仍然是一個非常不成熟的模型，它在達到ChatGPT之前還有很長的路要走；像我們這樣的學術研究實驗室無法生產出能力接近ChatGPT的模型。

中國版ChatGPT「MOSS」服務器被擠爆，複旦團隊致歉：還不成熟

新智元

取名MOSS，致敬《流浪地球》

2月20日，複旦大學邱錫鵬團隊推出中國版ChatGPT「MOSS」。發布當晚，服務器被擠爆。2月21日，複旦MOSS團隊致歉，稱模型還不成熟。

今天，MOSS又火了。不僅登頂知乎熱榜，收獲近千萬流量，還引來諸多媒體競相報道。

不過，這次出圈的，不是陪劉培強流浪的MOSS，而是複旦大學研發的中國版ChatGPT。

 

 

國內首個對話式大型語言模型

ChatGPT自發布以來，已經收獲了全球巨大關注。尤其是在春節後，ChatGPT突然走紅，許多網友開始期待中國版聊天機器人的誕生。

現在，這個願望得以實現。複旦大學自然語言處理實驗室表示，國內第一個對話式大型語言模型「MOSS」已由邱錫鵬教授團隊發布至公開平台，邀公眾參與內測。

MOSS可以執行一係列任務，如對話生成、編程、事實問答等。官網稱，MOSS為生成的語言模型打開所有技術路徑，以理解人類意圖並具有對話能力。

MOSS的出現為國內學術界和業界提供了重要經驗，並有助於進一步探索和應用大型語言模型。

團隊負責人邱錫鵬表示：「盡管MOSS仍有很大的改進空間，但其推出證明，國內科研團隊有能力在開發ChatGPT產品的道路上克服重要的技術挑戰。」

據悉，MOSS研發項目得到了上海人工智能實驗室的大力支持。後期，該項目將會通過開源方式，和行業人士與社區分享。

 

 

 

 

開源代碼，打造MaaS生態

MOSS的回答語言流暢、邏輯清晰且觀點正確。科研團隊在演示時，用英文輸入多個指令，展示了MOSS多輪交互、表格生成、代碼生成和解釋能力。

「告訴我5部科幻電影。」「生成一張展示這5部電影和導演的表格。」「增加一列表格，顯示這些電影上映的時間。」在這個包含表格生成的多輪交互中，MOSS都順利完成了任務。

然而，MOSS與ChatGPT最大的不同，在於其開源屬性。

由於ChatGPT並未開源，其技術解決方案的細節尚未披露，研究人員對此有很多猜測。一些專家認為，ChatGPT是一個複雜的組合係統，無法通過單一的生成語言模型實現。

作為自然語言處理專家，邱錫鵬近年來一直致力於研究具有多任務學習能力的一般模型。為了探索ChatGPT的技術路線並獲得LLM研究的一手經驗，他帶領團隊加快了MOSS的開發。

MOSS開發的基本步驟與ChatGPT相同，包括兩個階段：自然語言模型的基座訓練和理解人類意圖的對話能力訓練。

在對話能力培訓階段，OpenAI收集了至少數十萬條人工指令，要求各行各業的專業標注員編寫指令回複，然後將其輸入模型庫，以幫助ChatGPT逐步理解各種指令。

複旦團隊采用不同的技術路線，通過允許MOSS與人類和其他對話模式互動，並在短時間內高效完成對話能力培訓，從而顯著提高學習效率和研發效率。

為了提高研發效率，MOSS團隊選擇開源代碼。對此，MOSS模型的官方公告表示：

預訓練大語言模型的研發門檻很高，需要大量算力、訓練語料和人工標注。在我國產業界，隻有大型機構才有實力開發大模型。

MOSS開源後，可有效降低預訓練語言模型的研發和應用門檻，讓中小企業在其基礎上開發出智能客服、智能家居、人工智能律師等各種垂直類產品。

推出伊始便開源代碼，雖然可以提高數據收集和研發效率，但也不得不稱為一個冒險的舉動。然而，這也為未來企業的發展提供了一個新的思路：MaaS（基礎模型服務）。

在未來，企業或許不需要在大模型領域「卷生卷死」，有了類似於MOSS的高質量LLM，企業隻需對已經完備的模型進行微調，就能獲得所需的品質良好的垂類產品。

 

 

 

 

取名MOSS，致敬《流浪地球》

隨著MOSS的推出，互聯網上出現了懷疑的聲音：為什麽要叫MOSS？

麵對「蹭熱度」的質疑，MOSS團隊發公告予以澄清。公告稱：

盡管我們的對話模型和《流浪地球》中MOSS的能力不能相提並論，但就像過去NLP領域的其它優秀模型一樣，作者們都希望使用自己喜歡的影視角色名稱命名自己的模型，我們在訓練完成第一代模型的時候，正值流浪地球2熱映，片中MOSS給團隊每個人都留下了深刻的印象，因此便使用了這樣一個名稱來指代我們的模型，以表示我們對最前沿AI模型的不懈追求。

事實上，用大IP給科研項目命名並不是什麽新鮮事。ChatGPT基礎技術之一的Transformer，其名稱來源於大熱電影《變形金剛》（Transformer）。

 

 

 

 

網友評價

MOSS一上線，官網都快被擠爆了，小編也隻能乖乖排隊等內測資格啦。

體驗地址：https://moss.fastnlp.top/，項目地址：https://txsun1997.github.io/blogs/moss.html

不過，根據網上記者的對話以及知乎答友們的評價，咱也能來仔細瞅瞅MOSS了。

 

 

 

 

文風很AI，但未來可期

基於目前已知的信息，「段小草」對Moss的特點進行了總結：

1. 上下文的能力是有的，但不確定能保留多少，畢竟展示出來的上下文對話都不是太長；

2. 文風很 AI，不過生成的內容不算長。即使是分 1、2、3、4 點回答的時候，句子也比較短。ChatGPT
一般會生成更長的展開。

3. 文章中也專門展示了英文能力，但還不確定訓練集中不同語言語料的效果。

4. 吸取 ChatGPT 和 NewBing 翻車的教訓，在上線初期就套上了足夠的道德枷鎖。

最後，「段小草」表示：「希望能盡快體驗到產品，也期待看到更多產業落地。」

MOSS回答：

ChatGPT回答：

回答地址：https://www.zhihu.com/question/585248111/answer/2903132579

 

 

 

 

給國內AI開了個好頭

的確，MOSS的發布對國內AI的發展肯定大有益處。

知友「極智視界」表示，在AI領域，技術源於美國而盛行於世界，例如框架類的pytorch、tensorflow，目標檢測算法YOLO以及造就ChatGPT的transformer。我們「對標」國外的技術，雖然趕超美國可能做不到，但是「對標」的過程一定會讓國內的AI有一個快速的發展。

回答地址：https://www.zhihu.com/question/585248111/answer/2903303710

「極智視界」還提到，國內首個類ChatGPT模型MOSS的發布既符合預期但也有些意外。

符合預期是因為近段時間以來也一直有國內版ChatGPT摩拳擦掌的消息，所以遲早都會來的；意外的是在當前這種強大的利益驅動下，研究機構居然還走到了大廠的前頭。

但總的來說這是一個令業界比較振奮的消息，咱們終於可以用上咱們自己的AI問答係統了。

 

 

 

 

高校的重點還是理論探索

知友「卜寒兮」表示，想研發出類ChatGPT的產品，需要一個團隊能撬動各個方麵的資源，還要有過硬的技術做支撐。

以ChatGPT為例，單單想要研發出一個成規模的LLM模型，就需要以下四個方麵：

海量數據的語料庫：ChatGPT背後的模型的GPT-3、GPT-3.5係列，初代的GPT-3是2020年發布的，這個模型有1750億個參數，訓練它所使用的語料庫包含45TB的數據、約3000億個單詞

大量的人力：畢竟ChatGPT成功的背後是時薪不到2美刀的血汗工廠

算力的支撐：訓練chatGPT這樣規模的LLM模型需要目前世界上最強大的GPU來滿足算力要求而像NVIDIA Tesla
A100這種最新的AI超級計算機芯片已經禁止對國內出售了。國內除了幾家互聯網大廠，很少有公司有實力能長期投入大量資金在算力上，更不要提校內的科研團隊了，靠點科研經費可遠遠不夠。

技術上的壁壘：GPT-3的初代版本在2020年就出現了，而到2022年11月首次推出ChatGPT產品，這期間花了三四年的時間迭代不同的版本。這是一個長期的過程，意味著花大量的時間找到關鍵的訓練tricks，反複調參，在不同的訓練集上反複訓練、微調，並且還有找到合適的訓練方法，才能迭代出一個優秀的版本

回答地址：https://www.zhihu.com/question/585248111/answer/2903161180

目前來看，還真的隻有大公司才有能力做得出來。對於高校的科研團隊，其優勢在於技術和方法上的創新，所以還是要在這方麵做更多功夫，為將來有一天該方向的發展做技術儲備。

 

 

 

 

複旦MOSS團隊：還不成熟

2月20日，就在MOSS模型公布的當晚，不少測試的網友發現，MOSS已經顯示服務器流量過載，隻能第二天再重試。

2月21日，複旦團隊在MOSS官網發布公告稱：首先非常感謝大家的關注!MOSS還是一個非常不成熟的模型，距離ChatGPT還有很長的路需要走。

我們一個學術研究的實驗室無法做出和ChatGPT能力相近的模型，MOSS隻是想在百億規模參數上探索和驗證
ChatGPT的技術路線，並且實現各種對話能力。

我們最初的想法隻是想將MOSS進行內測，以便我們可以進一步優化，沒有想到會引起這麽大的關注，我們的計算資源不足以支持如此大的訪問量，並且作為學術團隊我們也沒有相關的工程經驗，給大家造成非常不好的體驗和第一印象，在此向大家致以真誠的歉意。

在
MOSS完成初步的驗證之後，我們會將MOSS的經驗、代碼、模型參數開源出來供大家參考。中國版ChatGPT的誕生還需要中國全體AI從業者的努力，也更需要不斷。和人交互以提高能力。

 

 

 

 

參考資料

https://txsun1997.github.io/blogs/moss.html

https://www.zhihu.com/question/585248111

https://m.weibo.cn/status/4871507265982631?wm=3333_2001&from=10D2293010&sourcetype=weixin&featurecode=newtitle

 

 

 

 

特別鳴謝：（授權轉載）

「段小草」https://www.zhihu.com/question/585248111/answer/2903132579

「極智視界」https://www.zhihu.com/question/585248111/answer/2903303710

「卜寒兮」https://www.zhihu.com/question/585248111/answer/2903161180

本文來自微信公眾號“新智元”（ID:AI_era），作者：新智元，36氪經授權發布。