近期，Anthropic公司推出了一項(xiàng)創(chuàng)新的安全技術(shù)——“憲法分類器”，旨在解決大型語言模型中普遍存在的濫用自然語言提示問題。這項(xiàng)技術(shù)通過在大型語言模型中嵌入類似人類價(jià)值觀的“憲法”，為模型設(shè)定了明確的安全邊界，防止其生成超出預(yù)期的輸出。

在最新發(fā)布的學(xué)術(shù)論文中，Anthropic公司的安全保障研究團(tuán)隊(duì)詳細(xì)介紹了這一新安全措施。他們指出，在引入憲法分類器后，Claude3.5 Sonnet（Anthropic公司的最新大型語言模型）的越獄成功率顯著降低，降幅高達(dá)81.6%。同時(shí)，該技術(shù)對(duì)模型性能的影響微乎其微，生產(chǎn)流量的拒絕率僅增加了0.38%，推理開銷也僅提升了23.7%。

為了驗(yàn)證憲法分類器的有效性，Anthropic公司還發(fā)起了一項(xiàng)挑戰(zhàn)活動(dòng)。他們?cè)O(shè)計(jì)了一系列與化學(xué)、生物、放射和核（CBRN）相關(guān)的越獄關(guān)卡，邀請(qǐng)用戶嘗試突破。然而，這一活動(dòng)也引發(fā)了一些爭(zhēng)議。有批評(píng)者認(rèn)為，這實(shí)際上是在利用社區(qū)成員作為免費(fèi)的安全志愿者或“紅隊(duì)隊(duì)員”，幫助他們測(cè)試閉源模型的安全性。

面對(duì)這些質(zhì)疑，Anthropic公司進(jìn)行了回應(yīng)。他們解釋說，成功越獄的模型是通過繞過憲法分類器的防御措施，而非直接規(guī)避這些措施。同時(shí)，他們也承認(rèn)了在測(cè)試過程中存在的一些問題。例如，一些基于規(guī)則的測(cè)試系統(tǒng)可能產(chǎn)生了誤報(bào)和漏報(bào)，導(dǎo)致部分提示的拒絕率異常高。

盡管存在這些挑戰(zhàn)和爭(zhēng)議，但Anthropic公司的憲法分類器仍被視為在解決大型語言模型安全問題上邁出的重要一步。它不僅在遏制模型越獄方面取得了顯著成果，還展示了將人類價(jià)值觀融入AI技術(shù)中的潛力。然而，需要明確的是，這項(xiàng)技術(shù)并非萬能的解決方案。它仍然需要不斷的研究和改進(jìn)，以應(yīng)對(duì)日益復(fù)雜的安全威脅。