近日，科技巨頭meta與斯坦福大學攜手，共同推出了一個名為Apollo的全新AI模型系列，這一創(chuàng)新成果在提升機器對視頻內(nèi)容的理解能力上取得了顯著突破。

長久以來，盡管人工智能在圖像處理和文本分析領(lǐng)域取得了長足進步，但讓機器真正“看懂”視頻仍然是一個極具挑戰(zhàn)性的難題。視頻中包含的動態(tài)信息錯綜復雜，處理起來不僅需要強大的計算能力作為支撐，更需要在系統(tǒng)設(shè)計層面進行精細化的考量。

針對視頻處理的復雜性，Apollo模型采用了雙組件設(shè)計。其中一個組件專注于分析單個視頻幀的內(nèi)容，而另一個組件則負責追蹤對象和場景隨時間的變化。這種設(shè)計思路使得Apollo能夠更全面地捕捉視頻中的信息。

在模型訓練方面，meta與斯坦福大學的研究團隊發(fā)現(xiàn)，訓練方法的選擇比單純追求模型規(guī)模更為重要。Apollo模型采用了分階段訓練策略，按順序激活模型的不同部分，這種訓練方法相較于一次性訓練所有部分，能夠取得更好的效果。

研究團隊還對數(shù)據(jù)組合進行了不斷優(yōu)化。他們發(fā)現(xiàn)，當數(shù)據(jù)組合中文本數(shù)據(jù)占比約為10%~14%，且其余部分略微偏向視頻內(nèi)容時，能夠最好地平衡語言理解和視頻處理能力。這一發(fā)現(xiàn)為Apollo模型的訓練提供了有力的數(shù)據(jù)支持。

Apollo模型在不同規(guī)模上均展現(xiàn)出了卓越的性能。其中，較小的Apollo-3B模型已經(jīng)超越了同等規(guī)模的Qwen2-VL等模型，而更大的Apollo-7B模型更是超過了參數(shù)更大的同類模型。這一系列成就充分證明了Apollo模型在視頻理解領(lǐng)域的領(lǐng)先地位。

為了推動AI技術(shù)的進一步發(fā)展，meta已經(jīng)開源了Apollo模型的代碼和模型權(quán)重，并在Hugging Face平臺上提供了公開演示。這一舉措將有助于更多開發(fā)者和研究人員深入了解Apollo模型的工作原理，并基于其進行更深入的研究和應(yīng)用開發(fā)。