本站 4 月 7 日消息，Meta 公司上周發(fā)布了一款名為 Maverick 的新旗艦 AI 模型，并在 LM Arena 測(cè)試中取得了第二名的成績(jī)。然而，這一成績(jī)的含金量卻引發(fā)了諸多質(zhì)疑。據(jù)多位 AI 研究人員在社交平臺(tái) X 上指出，Meta 在 LM Arena 上部署的 Maverick 版本與廣泛提供給開(kāi)發(fā)者的版本并不一致。

Meta 在其公告中明確提到，參與 LM Arena 測(cè)試的 Maverick 是一個(gè)“實(shí)驗(yàn)性聊天版本”。而根據(jù)官方 Llama 網(wǎng)站上公布的信息，Meta 在 LM Arena 的測(cè)試中所使用的實(shí)際上是“針對(duì)對(duì)話性?xún)?yōu)化的 Llama 4 Maverick”。這表明，該版本經(jīng)過(guò)了專(zhuān)門(mén)的優(yōu)化調(diào)整，以適應(yīng) LM Arena 的測(cè)試環(huán)境和評(píng)分標(biāo)準(zhǔn)。

然而，LM Arena 作為一項(xiàng)測(cè)試工具，其可靠性本身就存在一定的爭(zhēng)議。盡管如此，以往 AI 公司通常不會(huì)對(duì)模型進(jìn)行專(zhuān)門(mén)的定制或微調(diào)，以在 LM Arena 上獲得更高的分?jǐn)?shù)，至少?zèng)]有公開(kāi)承認(rèn)過(guò)這種做法。

這種對(duì)模型進(jìn)行針對(duì)性?xún)?yōu)化，然后只發(fā)布一個(gè)“普通版”的行為，給開(kāi)發(fā)者帶來(lái)了諸多困擾。因?yàn)檫@使得開(kāi)發(fā)者難以準(zhǔn)確預(yù)測(cè)該模型在特定場(chǎng)景下的實(shí)際表現(xiàn)。此外，這種行為也具有一定的誤導(dǎo)性。理想情況下，盡管現(xiàn)有的基準(zhǔn)測(cè)試存在諸多不足，但它們至少能夠?yàn)槿藗兲峁┮粋€(gè)關(guān)于單一模型在多種任務(wù)中優(yōu)缺點(diǎn)的概覽。

事實(shí)上，研究人員在 X 上已經(jīng)觀察到了公開(kāi)可下載的 Maverick 版本與 LM Arena 上托管的模型之間存在顯著的行為差異。例如，LM Arena 版本似乎更傾向于使用大量的表情符號(hào)，并且給出的答案往往冗長(zhǎng)且拖沓。

截至本站發(fā)稿，Meta 公司以及負(fù)責(zé)維護(hù) LM Arena 的 Chatbot Arena 組織暫未對(duì)此做出回應(yīng)。