Skip to content

Google:我的AI超級電腦比輝達的更快更環保

Google:我的AI超級電腦比輝達的更快更環保Google表示,他們的超級電腦比輝達的超級電腦快1.7倍、節能1.9倍。(路透)

〔財經頻道/綜合報導〕Google週二(4日)發布了用於訓練人工智慧(AI)模型的超級電腦新細節,並稱建構該電腦的系統將比輝達(Nvidia)的同類系統更快、更環保。

Google週二發表1篇科學論文,詳細介紹他們是如何使用自研的張量處理器(TPU),將4000多個晶片組合成1台超級電腦,來連接各種機器。Google的TPU目前已發展至第4代。

因為Google的Bard和OpenAI的ChatGPT其語言模型規模太大,無法儲存在單個晶片上,必須分散在數千個晶片上運作,透過晶片協同工作數週以上來訓練模型。因此,如何有效改善這些晶片之間的連接,就成為AI超級電腦公司勝出的關鍵。

例如Google的PaLM,是當今公開披露中最大的語言模型,它是通過在50天內,將其分拆到2台裝有4000個晶片的超級電腦中交互訓練而成。

Google表示,他們的超級電腦可以輕鬆動態配置晶片之間的連接,有助於避免問題出現,並隨時隨地進行調整,以提高性能。

Google研究員Norm Jouppi曾表示:「電路切換可以更容易避開故障的地方。這種靈活性甚至讓我們可以改變超級電腦的拓撲結構,加速機器學習模型的性能。」

Google在論文中表示,他們的超級電腦比輝達使用自家A100晶片的相同系統,快1.7倍、節能1.9倍。輝達A100跟第4代TPU同時上市。

因為目前輝達的旗艦晶片H100採用的是更新穎的技術,Google指出,他未將第4代TPU與之比較,不過暗示已經在開發下一代TPU來與之抗衡。

華客新聞 | 真實新聞與歷史:Google:我的AI超級電腦比輝達的更快更環保