Skip to content

英偉達贏麻了!馬斯克xAI曝光,10萬塊H100…

英偉達:儘管建,用的還是我的晶片…

——題記

近幾年,隨著大語言模型的快速發展與迭代,科技巨頭們都競相投入巨額財力打造超級電腦(或大規模GPU 叢集)。他們認為,更強大的運算能力是實現更強大AI 的關鍵。

早在2022 年,Meta 就宣布與英偉達共同打造大型AI 研究超級電腦「AI Research SuperCluster」(RSC),它由760 個英偉達DGX A100 系統組成,共有6080 塊GPU,性能非常強大。

如今,馬斯克旗下人工智慧新創公司xAI 傳出了打造超級電腦的消息。

根據外媒The Information 報道,最近馬斯克向投資者透露,xAI 計劃建造超級算力工廠“Gigafactory of Compute”,為AI 聊天機器人Grok 的下一個版本提供算力支持。

據悉,xAI 計劃將10 萬塊H100 專用GPU 串聯一台超級計算機,其規模至少是當前最大AI 集群的四倍。如果xAI 的計劃能夠順利完成,這台超級電腦將耗費數十億美元和大量電力。

不過,馬斯克似乎很有信心,他的目標是在2025 年秋季之前讓這台超級電腦「跑」起來,並親自負責按時交付。

英偉達贏麻了!馬斯克xAI曝光,10萬塊H100…

當然,xAI 不想單打獨鬥, 其有望與甲骨文公司(Oracle)合作建造超級電腦。我們知道,xAI 是Oracle 最大的H100 伺服器晶片租賃客戶,已經使用了後者超過15,000 塊H100 晶片。

屆時,xAI 超級算力工廠建成後,10 萬塊GPU 晶片集群將加速Grok 聊天機器人的開發,減少語音限制。目前,Grok 的最新版本為Grok 1.5,該版本實現了長上下文理解和高級推理能力,可以處理128K token 的長上下文視窗。

而據馬斯克先前透露,xAI 正在訓練的Grok 2 已經耗費了約2 萬塊H100 GPU,未來進階版本Grok 3 可能需要高達10 萬塊H100 GPU。看來,馬斯克已經在為Grok 3 未雨綢繆了。

英偉達贏麻了!馬斯克xAI曝光,10萬塊H100…

最後,對於超級算力工廠而言,最關鍵的找到一個電力充沛(可能需要100MW)的位置。因此,AI 資料中心位置的選擇非常重要。

至於建成的意義是什麼?這個規模龐大的超級算力工廠將幫助xAI 追趕OpenAI、微軟等資金更為雄厚的競爭對手。

先前同樣根據The Information 報道,微軟和OpenAI 擬投入超1000 億美元打造一個資料中心項目,其中包括一台「星際之門」(Stargate)的AI 超級計算機,配備了數百萬個專用伺服器晶片,旨在為OpenAI 實現AGI 提供動力。

英偉達贏麻了!馬斯克xAI曝光,10萬塊H100…

其實,這也不是馬斯克第一次投入超算項目。此前,特斯拉就被曝出到2024 年底,投入遠超10 億美元打造一台“Dojo 項目”的內部超級計算機,用於處理數據和視頻,提高自動駕駛能力並最終實現完全自動駕駛。

此次, 馬斯克又在大語言模型領域斥巨資建造超級電腦。有人表示,如果消息屬實的話,這將成為遊戲改變者。當然,英偉達是最大的贏家。

華客|新聞與歷史:英偉達贏麻了!馬斯克xAI曝光,10萬塊H100…