ChatGPT 有多燒錢？大模型訓練一次 200-1200 萬美元

ChatGPT 風靡全球後，科技巨頭們紛紛入局，生成式 AI 其背後以大模型為基礎的人工智能成為業界投入的方向。

IT之家了解到，所謂“大模型”，通常是在無標注的大數據集上，采用自監督學習的方法進行訓練。之後在其他場景的應用中，開發者隻需要對模型進行微調，或采用少量數據進行二次訓練，就可以滿足新應用場景的需要。

然而，訓練通用大模型非常“燒錢”。據國盛證券報告《ChatGPT 需要多少算力》估算，GPT-3 訓練一次的成本約為 140
萬美元，對於一些更大的 LLM（大型語言模型），訓練成本介於 200 萬美元至 1200 萬美元之間。以 ChatGPT 在 1
月的獨立訪客平均數 1300 萬計算，其對應芯片需求為 3 萬多片英偉達 A100 GPU，初始投入成本約為 8 億美元，每日電費在
5 萬美元左右。

如果將當前的 ChatGPT 部署到穀歌進行的每次搜索中，需要 512820.51 台 A100 HGX 服務器和總共 4102568
個 A100 GPU，這些服務器和網絡的總成本僅資本支出就超過 1000 億美元。

在公有雲上，對於以穀歌等全球科技大企業而言，百萬至千萬美元級別的訓練成本並不便宜，但尚在可接受範圍內、並非昂貴。

相關閱讀 解讀ChatGPT：“舉一千反一”，距離人類“舉一反三”還很遠

·“ChatGPT更多還是在一些場景裏提效，而不是希望能聚合人類的現有知識推導出新的知識，這樣的算法技術距離毀滅人類還太過遙遠。”

·“相較於AI會毀滅人類的遠慮，我們更應該關注這樣的新技術會帶來哪些近憂，比如類似生成式人工智能會生成假新聞，對內容生態治理造成影響。在某些創作領域，這項技術成為作弊工具，造成一定程度上的不公平。”

由人工智能實驗室OpenAI發布的對話式大型語言模型ChatGPT近日引發熱議。它可以輕鬆與人類進行各個領域的對話，回答各種問題，無論是寫代碼改bug、回答科學問題，甚至給推特的發展提建議。

“ChatGPT的功能很強大，對於在這個行業的研究人員來說，ChatGPT的水準可謂是相當驚豔了。”北京智源人工智能研究院NLP/多模態模型研究負責人伍昱對澎湃科技（www.thepaper.cn）表示，“當然，它還有升級優化的空間，但的確向著更強大的對話模型跨出了一大步。”多名人工智能領域的研究者對澎湃科技解釋稱，ChatGPT目前還有較大局限性。

自發布以來，ChatGPT引發的既有讚賞也有擔憂。一向走在“科技前沿”的OpenAI聯合創始人埃隆·馬斯克表示，“我們離強大到危險的AI（人工智能）不遠了。”北京瑞萊智慧科技有限公司高級產品經理張旭東對澎湃科技表示，相較於AI會毀滅人類的“遠慮”，我們更應該關注這樣的新技術會帶來哪些“近憂”，比如假新聞和作弊問題。

“我一直在學習和改進”

ChatGPT的強大表現來源於哪些方麵的技術進步？上海人工智能研究院高級研究員王天逸對澎湃科技解釋，ChatGPT作為InstructGPT的姐妹版本，采用了和InstructGPT一樣的人類反饋中強化學習（RLHF，Reinforcement
Learning from Human
Feedback）技術，通過將抹去個人信息的人工注釋添加到訓練集之前，利用這些數據來進行模型的微調，達到了提高幫助性和真實性，同時減輕語言模型的危害和偏見的效果。

伍昱說，ChatGPT是建立在InstructGPT之上的，InstructGPT采用了強化學習來使得模型的生成結果和標注者給的反饋更加接近，這點對於提升生成質量、使生成結果更符合用戶預期等多方麵都有顯著作用。

當《時代》雜誌記者要求ChatGPT介紹自己時，它回複道：“我是一個大型語言模型，已經過大量文本數據的訓練，這使我能夠對各種輸入生成類似人類的響應。當你問我一個問題時，我會使用我的訓練和一組算法來生成與你的問題相關並以自然的方式編寫的回答。我盡我所能提供準確和有用的信息，但我不是一個完美的知識來源，我可能並不總是能夠提供完整或正確的答案。”

在對話中，ChatGPT多次強調自己會在學習中不斷改進，“我一直在學習和改進，所以隨著我不斷從新數據中學習，我的回答可能會隨著時間而改變。”

張旭東對澎湃科技表示，這類大模型訓練成本很高，對數據量和算力資源要求很高。比如最近很火的Stable
Diffusion在4000台A100顯卡集群上訓練了一個月時間，學習了近59億條圖片數據才實現。ChatGPT對計算資源的要求同樣會很大。

ChatGPT有哪些局限性？

在個人的體驗中，張旭東表示，ChatGPT生成的質量很高，這點毋庸置疑。“最明顯的感受是之前很多類似的模型回答會文不對題或者沒有信息量，導致沒法用。但ChatGPT‘能力’非常全麵，基本各領域問題都能答上來。然而這其實是‘舉一千反一’的過程，有些類似於基於龐大的文本庫，凝練了多領域問題的很多數據做相互校驗，然後挑了一些基礎性的內容回答出來。”

“但ChatGPT對一些常識性、事實性的內容掌握得並不是很好，經常還是會出現一些不合乎實際的內容。”伍昱說。

張旭東表示，這樣的過程與人類舉一反三的能力還相差較遠，不代表有創新意識，所以感覺ChatGPT更多還是在一些場景裏提效，而不是希望能聚合人類的現有知識推導出新的知識，這樣的算法技術距離毀滅人類還太過遙遠。

ChatGPT在對話中也談到了自己的局限，“像我這樣的大型語言模型有很多局限性。盡管我很先進，但我仍然隻是一個機器學習模型，我不具備與人類相同的能力。”

一位專業人士用如下例子展示了ChatGPT的弱點。

提問：韓梅梅喜歡畫畫，她的兒子也是。李華是韓梅梅唯一的兒子。所以李華喜歡畫畫嗎？

ChatGPT：不太清楚李華是否喜歡畫畫。

這位專業人士對澎湃科技評價稱，ChatGPT仍舊依賴於成名已久的GPT語言模型。此類模型依賴於大規模離線收集的語料進行訓練，但是對於在線提供的即時信息，往往並不能進行充分理解並且納入自己的回複中。更進一步的，對於對話中提供的因果關係，ChatGPT也往往缺乏很好的理解能力。

“針對ChatGPT的問題，我們認為技術發展就是這樣，進步的同時也都會伴隨著問題。其實已經看到開發者在這塊花了不少心思，比如針對很多有爭議的問題（它）不會給出答案。但模型是不可避免會從開放的信息裏學到一些誤導性的信息，甚至於有攻擊者通過主動投毒讓模型發生偏差，但這個與我們在搜索引擎搜到一些虛假信息類似，我們沒必要因噎廢食。”張旭東說。

AI毀滅人類的“遠慮”與AI治理的“近憂”

對於認為教師、程序員等很大程度上可以被ChatGPT替代的觀點，王天逸對澎湃科技表示，“因為ChatGPT隻是一個功能拓展之後的聊天機器人，而完成複雜工作需要其他硬件和模塊的集成，所以類似的單一模型算法並不會給人類社會帶來什麽樣的改變。”

王天逸說，從功能性而言，人工智能算法與硬件的結合確實已經可以在非常多的場景下代替甚至超過人類的平均水平，比如在安防、醫療、製造、金融等行業中，尤其是機械重複的工作和存在強邏輯規律性的任務，擁有數據作為底層邏輯支撐且不會因為勞累而產生失誤的人工智能算法，往往會比人類擁有更加良好的表現。

但同時，王天逸指出，通過算法加硬件完成的工作，因為缺少了人的參與而缺失了一種人性，人工智能技術發展日益成熟的今天，AI也往往隻是以輔助者的角色出現在各種應用場景中，我們把這一係列問題歸結為人工智能倫理，涉及到人工智能的社會角色、責任分配、認知表現等一係列目前無法得到妥善解決的問題。比如人們無法接受關乎親人生命的手術完全由機器人操刀，哪怕它是世界頂尖的機器人；也很難接受孩子從小由AI教育，因為教師的任務也不僅僅是傳遞知識而已。

張旭東則對澎湃科技表示，相較於AI會毀滅人類的“遠慮”，我們更應該關注這樣的新技術會帶來哪些“近憂”，比如類似生成式人工智能會生成假新聞，對內容生態治理造成影響。另外在某些創作領域，這項技術成為“作弊工具”，造成一定程度上的不公平，這些需要在發展技術的同時對應用邊界加以管控。

北京智源人工智能研究院的研究員曹越則提出一個不同的思考視角，“GPT-3的API需要收費，並且國內IP是沒法直接訪問的，我個人也和很多國內自然語言處理的研究者進行了交流，大家對於GPT-3甚至後GPT-3時代語言模型的進展了解寥寥，對於GPT-3、GPT-3.5有什麽樣的能力了解都這麽少，更遑論訓練出這樣的模型了。這確確實實讓我強烈感受到了‘卡脖子’的感覺。”

曹越認為，ChatGPT的出現打破了國內國外的信息壁壘。更多人可以看到國外模型的能力，也就有更多的人可以看到差距，激發更多人去思考。

“期待國內也早日能有像OpenAI一樣的公司出現，產出GPT-3級別的工作。”曹越說。