英偉達(dá)的挑戰(zhàn)者登場(chǎng)！近日，美國(guó)企業(yè)Groq公布新型Al芯片（LPU）爆火全網(wǎng)，推理速度較英偉達(dá)GPU提高10倍，成本只有英偉達(dá)的1/10。Groq主打一個(gè)「快」，每秒能輸出500個(gè)tokens（註：語(yǔ)言模型中用來(lái)表示最小文本單元）。相比之下，ChatGPT-3.5每秒生成速度為40個(gè)tokens。有芯片專家認(rèn)為，Groq的芯片目前並不能取代英偉達(dá)，Groq極高的速度是建立在很有限的單卡吞吐能力上，要保證H100同樣吞吐量，則需要更多的卡，成本要比英偉達(dá)高出不少。（謝燁挺）
電話：（香港）852-2564 0768
（深圳）86-755-83518792 83517835 83518291
地址：香港九龍觀塘道332號(hào)香港商報(bào)大廈
