近期,B站知名UP主“雖然但是張黑黑”發(fā)布了一段引人注目的視頻,視頻內(nèi)容聚焦于蘋果最新推出的滿血版M3 Ultra芯片在高性能計(jì)算領(lǐng)域的卓越表現(xiàn)。該UP主通過一系列測(cè)試,展示了M3 Ultra在運(yùn)行大型AI模型時(shí)的驚人速度,甚至在某些場(chǎng)景下超越了使用8張NVIDIA A100顯卡的配置。
測(cè)試中,M3 Ultra被用于運(yùn)行擁有6710億參數(shù)的DeepSeek R1模型。在GGUF格式下,雖然M3 Ultra的速度略低于8張A100顯卡,達(dá)到了15.78 Tokens/s,但當(dāng)切換至更能發(fā)揮其統(tǒng)一內(nèi)存優(yōu)勢(shì)的MLX格式時(shí),M3 Ultra的速度飆升至19.17 Tokens/s,成功反超了A100顯卡的組合。在DeepSeek V3模型的測(cè)試中,M3 Ultra同樣展現(xiàn)出了出色的性能,速度高達(dá)19.66 Tokens/s。
值得注意的是,這次測(cè)試中使用的滿血版M3 Ultra搭載在Mac Studio上,僅需一臺(tái)機(jī)器就能實(shí)現(xiàn)如此強(qiáng)大的性能,這無疑大大提升了其性價(jià)比。據(jù)透露,這款配備512GB統(tǒng)一內(nèi)存的M3 Ultra總價(jià)為74249元人民幣,相比之下,8張A100顯卡的成本則要高得多。
然而,盡管M3 Ultra在某些場(chǎng)景下表現(xiàn)出色,但它并非無所不能。在單用戶進(jìn)行單一模型推理時(shí),由于主要依賴內(nèi)存帶寬和容量,A100顯卡的性能仍然非常強(qiáng)勁,其潛力并未被完全釋放。而在多用戶推理和大模型訓(xùn)練等更為復(fù)雜的場(chǎng)景下,M3 Ultra則顯得力不從心,無法與A100相提并論。
盡管如此,M3 Ultra的出色表現(xiàn)仍然引起了業(yè)界的廣泛關(guān)注。隨著技術(shù)的不斷進(jìn)步和應(yīng)用的日益廣泛,高性能計(jì)算領(lǐng)域?qū)τ谛酒阅艿囊笠苍絹碓礁?。蘋果此次推出的M3 Ultra芯片,無疑為這一領(lǐng)域帶來了新的選擇和可能性。