近期，Epoch AI這一非營利性人工智能研究機(jī)構(gòu)發(fā)布了一份引人深思的報告，揭示了AI企業(yè)在推理模型領(lǐng)域面臨的性能增長瓶頸。報告預(yù)測，未來一年內(nèi)，推理模型的性能提升速度或?qū)@著放緩。

這份報告深入分析了公開數(shù)據(jù)與多項假設(shè)，指出計算資源的有限性以及研究成本的急劇上升，成為了制約AI性能持續(xù)飛躍的關(guān)鍵因素。長久以來，AI行業(yè)依靠推理模型不斷刷新基準(zhǔn)測試成績，然而這一模式正遭遇前所未有的挑戰(zhàn)。

Epoch AI的分析師Josh You指出，推理模型之所以備受矚目，是因為它們在特定應(yīng)用場景下展現(xiàn)出了卓越的能力。以O(shè)penAI的o3模型為例，該模型近幾個月來在數(shù)學(xué)與編程技能方面取得了顯著進(jìn)步。然而，這些推理模型性能的提升，往往是以增加計算資源為代價的。面對復(fù)雜任務(wù)，它們需要更多的計算力，從而導(dǎo)致了處理時間的延長。

推理模型的訓(xùn)練過程頗具創(chuàng)新性，它首先基于海量數(shù)據(jù)進(jìn)行常規(guī)模型的訓(xùn)練，隨后引入強(qiáng)化學(xué)習(xí)技術(shù)。這種技術(shù)如同為模型提供“智慧反饋”，幫助其不斷優(yōu)化解決難題的策略。這一方法極大地加速了AI的迭代速度，但同時也暴露出了潛在的局限性。

OpenAI等前沿AI實驗室正加大對強(qiáng)化學(xué)習(xí)的投入。據(jù)透露，在訓(xùn)練o3模型時，OpenAI使用了約十倍于前代o1模型的計算資源，其中大部分用于強(qiáng)化學(xué)習(xí)階段。研究者Dan Roberts表示，OpenAI的未來規(guī)劃將繼續(xù)優(yōu)先發(fā)展強(qiáng)化學(xué)習(xí)，并計劃投入更多的計算力，這一力度甚至將超過初始模型訓(xùn)練時的水平。

盡管這種策略在一定程度上加速了模型的改進(jìn)，但Epoch AI的分析卻提醒我們，這種改進(jìn)并非沒有邊界。隨著計算資源的增加，物理與經(jīng)濟(jì)的雙重約束開始顯現(xiàn)。Josh You在報告中詳細(xì)闡述了性能增長的差異，指出標(biāo)準(zhǔn)AI模型訓(xùn)練的性能目前保持著每年翻番的速度，而強(qiáng)化學(xué)習(xí)的性能則每3-5個月就能增長十倍。然而，這種快速增長的趨勢預(yù)計將在2026年前后與整體AI前沿進(jìn)展趨于一致。

Josh You還強(qiáng)調(diào)，推理模型的規(guī)模化不僅面臨著計算資源的問題，高昂的研究開銷同樣不容忽視。他警告說：“如果研究成本持續(xù)高企，推理模型可能無法達(dá)到預(yù)期的規(guī)模?！边@一觀點無疑為AI行業(yè)的未來發(fā)展蒙上了一層陰影。