近日，一場聚焦新質(zhì)生產(chǎn)力產(chǎn)業(yè)實(shí)踐的洞見活動(dòng)在京成功舉辦，該活動(dòng)由環(huán)球時(shí)報(bào)、中國科協(xié)新技術(shù)開發(fā)中心及清華大學(xué)技術(shù)創(chuàng)新研究中心等機(jī)構(gòu)聯(lián)合發(fā)起，吸引了眾多行業(yè)內(nèi)外專家的關(guān)注。

活動(dòng)中，清華大學(xué)計(jì)算機(jī)系教授、中國工程院院士鄭緯民針對(duì)國內(nèi)大模型產(chǎn)業(yè)的發(fā)展趨勢發(fā)表了獨(dú)到見解。他指出，2024年，國內(nèi)大模型產(chǎn)業(yè)將呈現(xiàn)出兩大顯著特點(diǎn)：一是從基礎(chǔ)大模型向多模態(tài)的拓展，二是大模型與各行各業(yè)的深度融合。鄭緯民院士認(rèn)為，我國在推動(dòng)大模型與行業(yè)結(jié)合方面具有顯著優(yōu)勢，有望在全球范圍內(nèi)走在前列。

鄭緯民院士進(jìn)一步剖析了大模型生命周期的五個(gè)關(guān)鍵環(huán)節(jié)，并逐一指出了各環(huán)節(jié)存在的問題。在數(shù)據(jù)獲取環(huán)節(jié)，他強(qiáng)調(diào)了大模型訓(xùn)練所需處理的數(shù)據(jù)量之龐大，以及數(shù)據(jù)讀取頻繁所帶來的挑戰(zhàn)。數(shù)據(jù)預(yù)處理環(huán)節(jié)則面臨數(shù)據(jù)質(zhì)量不高的問題，需要耗費(fèi)大量時(shí)間進(jìn)行預(yù)處理，以GPT-4為例，其訓(xùn)練過程中有近半年的時(shí)間用于數(shù)據(jù)預(yù)處理，效率亟待提升。

針對(duì)當(dāng)前國際主流的數(shù)據(jù)處理軟件Spark，鄭緯民院士指出其優(yōu)勢在于生態(tài)良好、可擴(kuò)展性和容錯(cuò)性強(qiáng)，但同時(shí)也存在處理速度慢、受限于Java語言以及內(nèi)存成本高、容量低等缺點(diǎn)。為此，清華大學(xué)的研究團(tuán)隊(duì)正在探索使用C++編寫部分模塊，并采取措施降低內(nèi)存占用，以期將數(shù)據(jù)預(yù)處理時(shí)間減半。

在模型訓(xùn)練環(huán)節(jié)，鄭緯民院士強(qiáng)調(diào)了可靠性的重要性。他指出，大規(guī)模計(jì)算系統(tǒng)在訓(xùn)練過程中頻繁出錯(cuò)會(huì)嚴(yán)重影響訓(xùn)練效率。當(dāng)前業(yè)界的做法是定期記錄軟硬件狀態(tài)，以便在出錯(cuò)時(shí)恢復(fù)到上一個(gè)標(biāo)記點(diǎn)繼續(xù)訓(xùn)練，但這一方法仍面臨數(shù)據(jù)量大、復(fù)雜度高的問題。行業(yè)正在積極探索更高效的讀寫方案以提高訓(xùn)練效率。

模型微調(diào)環(huán)節(jié)則涉及基礎(chǔ)大模型在特定行業(yè)或場景下的二次訓(xùn)練。鄭緯民院士以醫(yī)療行業(yè)為例，闡述了基礎(chǔ)大模型如何結(jié)合醫(yī)院數(shù)據(jù)進(jìn)行二次訓(xùn)練，進(jìn)而得到醫(yī)療領(lǐng)域的大模型。這一過程可以連續(xù)進(jìn)行多次，逐步縮小模型的應(yīng)用領(lǐng)域，提高模型的針對(duì)性和準(zhǔn)確性。

推理環(huán)節(jié)則是將訓(xùn)練好的大模型應(yīng)用于具體場景的關(guān)鍵步驟。鄭緯民院士指出，AI芯片作為大模型產(chǎn)業(yè)的焦點(diǎn)，其發(fā)展對(duì)于支撐國產(chǎn)大模型訓(xùn)練具有重要意義。他強(qiáng)調(diào)，產(chǎn)業(yè)各界應(yīng)著力探索構(gòu)建國產(chǎn)萬卡系統(tǒng)和異構(gòu)卡聯(lián)合訓(xùn)練，以優(yōu)化國產(chǎn)AI芯片的性能和生態(tài)。

鄭緯民院士還指出，盡管國產(chǎn)AI芯片在近年來取得了顯著進(jìn)步，但用戶接受度仍有待提高。他認(rèn)為，這主要?dú)w因于國產(chǎn)AI芯片的生態(tài)不夠完善。他強(qiáng)調(diào)，良好的生態(tài)應(yīng)能夠支持軟件在不同硬件平臺(tái)上的快速移植和優(yōu)化，以提高整體性能和用戶體驗(yàn)。

活動(dòng)中，科大訊飛聯(lián)合創(chuàng)始人、高級(jí)副總裁江濤也分享了科大訊飛在AI領(lǐng)域的最新進(jìn)展。他透露，科大訊飛已聯(lián)合華為推出國內(nèi)首個(gè)萬卡規(guī)模大模型算力平臺(tái)“飛星一號(hào)”，該平臺(tái)能夠?qū)崿F(xiàn)大模型訓(xùn)練推理一體化設(shè)計(jì)，有效解決大模型時(shí)代的“卡脖子”問題。江濤還表示，訊飛星火大模型已迭代至4.0 Turbo版本，在綜合指標(biāo)上已達(dá)到GPT-4 Turbo水平，并在數(shù)學(xué)能力和代碼能力上超越GPT-4。

華為云大數(shù)據(jù)與AI領(lǐng)域總裁尤鵬則對(duì)未來基礎(chǔ)模型的發(fā)展趨勢進(jìn)行了預(yù)測。他認(rèn)為，未來基礎(chǔ)模型可能會(huì)收斂到少數(shù)幾家企業(yè)手中，而大量的企業(yè)則將專注于行業(yè)模型的開發(fā)和行業(yè)落地。尤鵬還結(jié)合AI To B實(shí)踐提出了三個(gè)觀點(diǎn)：一是并非每個(gè)企業(yè)都需要大規(guī)模建設(shè)AI算力；二是選擇業(yè)界主流基礎(chǔ)模型應(yīng)用于自己的場景是更經(jīng)濟(jì)的選擇；三是并非所有應(yīng)用都需要追求大模型，原有的專業(yè)小模型可以繼續(xù)使用，并通過大模型進(jìn)行調(diào)度和優(yōu)化。