近期，科技界迎來了一項(xiàng)新的突破，谷歌DeepMind團(tuán)隊(duì)推出了一款名為QuestBench的基準(zhǔn)測(cè)試工具，專為評(píng)估大型語(yǔ)言模型（LLMs）在推理任務(wù)中的信息獲取能力而設(shè)計(jì)。這款工具采用約束滿足問題（CSPs）的框架，旨在探索LLMs在面對(duì)信息不完整情境時(shí)的應(yīng)對(duì)策略。

在實(shí)際應(yīng)用中，推理任務(wù)涉及數(shù)學(xué)、邏輯、規(guī)劃和編程等多個(gè)領(lǐng)域，但往往受到信息不確定性的挑戰(zhàn)。例如，用戶在提出數(shù)學(xué)難題時(shí)可能會(huì)遺漏關(guān)鍵信息，而自動(dòng)駕駛系統(tǒng)等自主設(shè)備則需在信息不全的環(huán)境中運(yùn)行。這種理想與現(xiàn)實(shí)之間的鴻溝，促使LLMs不斷提升主動(dòng)獲取缺失信息的能力。

為了衡量LLMs在這一方面的表現(xiàn)，DeepMind的研究人員開發(fā)了QuestBench基準(zhǔn)測(cè)試。該測(cè)試專注于評(píng)估LLMs在推理過程中識(shí)別信息缺口，并提出恰當(dāng)澄清問題的能力。通過將問題轉(zhuǎn)化為約束滿足問題（CSPs），特別是關(guān)注“1-sufficient CSPs”——即僅需一個(gè)未知變量即可解決目標(biāo)變量的問題，QuestBench能夠精準(zhǔn)地評(píng)估模型的這一能力。

QuestBench覆蓋了邏輯推理、規(guī)劃以及小學(xué)數(shù)學(xué)三大領(lǐng)域，并根據(jù)變量數(shù)量、約束條件、搜索深度以及暴力搜索所需猜測(cè)次數(shù)等四個(gè)難度維度進(jìn)行分類。這種細(xì)致的分類方式有助于揭示模型的推理策略和性能瓶頸，為改進(jìn)提供了明確的方向。

在為期數(shù)月的測(cè)試中，QuestBench對(duì)多個(gè)前沿模型進(jìn)行了評(píng)估，包括GPT-4o、Claude 3.5 Sonnet以及Gemini 2.0 Flash Thinking Experimental等。測(cè)試場(chǎng)景涵蓋了零樣本、思維鏈提示和四樣本提示等多種設(shè)置，測(cè)試內(nèi)容則包括288個(gè)小學(xué)數(shù)學(xué)問題（GSM-Q）和151個(gè)擴(kuò)展版小學(xué)數(shù)學(xué)問題（GSME-Q）。

測(cè)試結(jié)果顯示，思維鏈提示在多數(shù)情況下能夠顯著提升模型的性能。在規(guī)劃任務(wù)中，Gemini 2.0 Flash Thinking Experimental模型展現(xiàn)出了卓越的能力。而在邏輯推理方面，開源模型表現(xiàn)出了較強(qiáng)的競(jìng)爭(zhēng)力。然而，在面對(duì)復(fù)雜數(shù)學(xué)問題時(shí)，這些模型的性能普遍較弱。

值得注意的是，盡管當(dāng)前模型在解決簡(jiǎn)單代數(shù)問題時(shí)表現(xiàn)出色，但隨著問題復(fù)雜性的增加，其性能顯著下滑。這表明，在信息缺口識(shí)別和澄清能力方面，LLMs仍有較大的提升空間。

QuestBench還揭示了不同模型在處理不同難度問題時(shí)的差異。例如，在變量數(shù)量較多或約束條件復(fù)雜的情況下，某些模型可能更容易陷入困境，而另一些模型則能夠靈活應(yīng)對(duì)。

這一基準(zhǔn)測(cè)試的推出，不僅為L(zhǎng)LMs的性能評(píng)估提供了新的視角和方法，也為未來的研究和開發(fā)指明了方向。隨著技術(shù)的不斷進(jìn)步和應(yīng)用場(chǎng)景的不斷拓展，LLMs在信息獲取和推理能力方面的提升將變得更加重要。