近期,耶魯大學(xué)攜手劍橋大學(xué)及達(dá)特茅斯學(xué)院,在醫(yī)療人工智能領(lǐng)域取得了突破性進(jìn)展,聯(lián)合發(fā)布了一款名為MindLLM的創(chuàng)新工具。這款A(yù)I工具能夠?qū)?fù)雜的腦部功能性磁共振成像(fMRI)數(shù)據(jù)轉(zhuǎn)化為清晰可讀的文字信息,其性能在多項(xiàng)基準(zhǔn)測(cè)試中超越了現(xiàn)有的UMBRAE、BrainChat和UniBrain等技術(shù)。
MindLLM的核心架構(gòu)融合了fMRI編碼器與大型語(yǔ)言模型,具備強(qiáng)大的數(shù)據(jù)分析能力。它通過(guò)解析fMRI掃描中的立體像素(Voxels),深入解讀腦部活動(dòng)模式。該工具的fMRI編碼器采用了先進(jìn)的神經(jīng)科學(xué)注意力機(jī)制,能夠靈活適應(yīng)多樣化的輸入信號(hào)形態(tài),從而高效完成多種分析任務(wù)。
為了進(jìn)一步提升MindLLM的性能,研究團(tuán)隊(duì)引入了創(chuàng)新的腦部指令調(diào)優(yōu)(BIT)方法。這一方法顯著增強(qiáng)了模型從fMRI信號(hào)中提取豐富語(yǔ)義信息的能力,使其能夠勝任圖像描述、問(wèn)答推理等多種解碼任務(wù),展現(xiàn)出廣泛的應(yīng)用潛力。
在嚴(yán)格的基準(zhǔn)測(cè)試中,MindLLM展現(xiàn)出了卓越的表現(xiàn)。在文字解碼、跨個(gè)體泛化以及新任務(wù)適應(yīng)性等方面,相較于業(yè)界現(xiàn)有模型,其性能提升幅度分別高達(dá)12.0%、16.4%和25.0%。這一結(jié)果表明,MindLLM在適應(yīng)新受試者以及處理未知語(yǔ)言推理任務(wù)時(shí),均展現(xiàn)出了優(yōu)于傳統(tǒng)模型的顯著優(yōu)勢(shì)。
盡管目前MindLLM僅能分析靜態(tài)圖像信號(hào),但研究人員對(duì)其未來(lái)發(fā)展前景充滿(mǎn)信心。他們表示,通過(guò)持續(xù)的改進(jìn)和優(yōu)化,MindLLM有望發(fā)展成為實(shí)時(shí)fMRI解碼器,并在神經(jīng)控制、腦機(jī)接口以及認(rèn)知神經(jīng)科學(xué)等領(lǐng)域發(fā)揮重要作用。這一創(chuàng)新技術(shù)有望為神經(jīng)假肢修復(fù)感知能力、精神狀態(tài)監(jiān)控以及腦機(jī)交互等應(yīng)用帶來(lái)革命性的突破。