作者丨鄭佳美

編輯丨岑 峰

Perplexity 這次直接改了模型處理判斷任務的方式:同一份上下文可以同時交給多個問題使用,模型只需進行一次前向傳播,就能輸出各個問題的答案機率。 過去需要重複呼叫 LLM、產生文字、解析結果的流程,現在可以收斂到一次模型計算中。

為了讓多個問題共享運算時不互相干擾,Perplexity 也重新設計了 Attention 機制,讓共享狀態讀取全部問題,同時限制問題之間直接交換資訊。 v1.3 進一步加入 Locate 能力,可以根據字段描述直接定位原文跨度,將判斷與文字抽取整合進同一套架構。

這套模型已經進入 Perplexity 的生產系統。在一次內部安全審查中,它單日處理了 7000 個 Agent 會話,累計讀取 10 億 token,並推動 14 項規則修復。

從技術架構來看,Decider 有三個緊密關聯的設計層次:輸入端如何把共享上下文與獨立問題組織在一起,注意力層如何控制不同問題的資訊交互,訓練與輸出層又如何讓同一套模型兼顧分類判斷和文字定位。

其中,隔離式問題注意力改變了多任務共享運算的底層方式,也是理解整個 Decider 架構的關鍵切口。

01

一份上下文,承載多個判斷任務

Decider 的輸入其實是由共享狀態(State)和若干問題區塊(Question)組成。 State 保存網頁、文件或 Agent 執行記錄,Question 描述具體判斷目標,並列出候選答案。每個候選項對應到預定義標籤 Token,例如 A、B、C,特殊的 <|marker|> Token 則標記答案讀取位置。

模型處理時,會擷取 Marker 對應位置的隱藏狀態,交給決策頭計算各候選項的分數,再轉換為機率分佈。

這裡的決策頭由基礎模型原有的語言模型輸出層改造而來:Perplexity 保留 A、B、C 等候選標籤對應的權重行,移除其餘詞表輸出權重,再針對決策任務進行訓練。原本用來計算下一個 Token 機率的輸出層,由此轉為專門處理選項判斷。

這個設計讓任務定義與輸出計算分離。呼叫方可以透過自然語言描述問題,透過選項限定答案空間,模型則負責根據上下文計算各選項的機率。

情緒分析、自然語言推理、意圖偵測、實體配對、內容審核、事實查核和評分,可以採用同一套輸入協議,不需要為每種任務單獨建立一套模型結構。

Perplexity 將數百個公開資料集轉換為 State、Question、選項和目標組成的統一訓練格式。訓練目標既可以是正確標籤,也可以是完整的答案機率分佈。對於同一段長文本需要執行多項判斷的情況,多個 Question 可以放進同一次前向傳播,模型只需處理一份共享上下文。

不過計算收益需要準確理解:增加問題仍然會增加 Question Token 和注意力計算,Decider 節省的主要是長文本被重複編碼的開銷,以及生成式模型逐 Token 解碼和外部解析的成本。題數越多、分享文本越長,復用價值越明顯。

輸出機率也保留了業務策略的調整空間。模型負責給出候選項的機率分佈,應用根據誤報、漏報的業務代價設定閾值。網頁過濾和 Agent 執行審查可以使用不同門檻,而無需為每種業務重新訓練決策模型。

02

多工如何分享訊息,互不干擾

輸入協議確定後,新的問題落在模型內部:多個 Question 同時進入 Transformer,它們之間應該建立怎樣的資訊連結?

Decider 以生成式 LLM 為骨幹,原有因果注意力依照文字順序組織訊息,目前位置只能讀取自身及前面的 Token。這種結構適合逐步生成文本,卻不利於需要理解完整上下文的判斷任務。

Perplexity 因此改用雙向注意力,讓 Token 可以讀取完整輸入。消融實驗顯示,這項調整改善了模型的決策表現。

雙向注意力開放了完整上下文,但也讓多個問題之間出現資訊互動。 v1.2 使用完全互見模式,State 和全部 Question 可以互相讀取。這樣一來,某個問題的表示可能受到其他問題的影響,當呼叫方調整問題組合時,原有判斷也可能隨之改變。

v1.3 引入的 Isolated Question Attention 改變了這套連接關係:State 可以讀取全部 Question,而每個 Question 只能讀取 State 和自身 Token,不能直接讀取其他問題。

這裡有一個關鍵細節:State 不再只是保存原始文字的容器,它還承擔了跨任務的資訊匯聚作用。它可以读取整组问题,在多层注意力计算中形成包含任务条件的上下文表示,每个 Question 则通过 State 获取相关信息,并保留自身的任务描述。

這種結構切斷了 Question 之間直接傳遞局部表示的路徑,但沒有消除全部間接影響。由于 State 已经读取其他问题的信息,经过多层 Transformer 的传播,问题 A 的信息仍可能先进入 State 的后续表示,再被问题 B 读取。

Perplexity 控制的是直接注意力連接,而非讓各項任務在數學意義上完全獨立。這個差異也解釋了為什麼 v1.3 沒有選擇完全可緩存模式。團隊測試過另一種結構:State 只讀取自身內容,Question 再讀取 State 和自身 Token。雷峰網

這樣同一段文字可以在不同請求之間重複使用緩存,因為 State 表示不依賴特定問題集合。但代價是 State 編碼時看不到任務要求,無法根據當前問題調整上下文表示。 Perplexity 最終選擇隔離式問題注意力,保留問題對情境的條件作用。

團隊也透過標籤擾動測試檢驗輸出穩定性。在 372 道多项选择题上,改变选项顺序、标签映射和标签名称后,Decider v1.3 只有 0.27% 的问题发生语义答案变化,Jev 1.14 的变化比例为 2.69% 至 4.84%。相同輸入重複執行時,Decider v1.3 的輸出保持一致。

隔離式註意力由此成為 Decider 的核心架構設計:它決定了共享脈絡怎樣參與多項判斷,也決定了不同問題之間可以透過哪些路徑交換資訊。

03

從選項判斷,到文字跨度抽取

普通決策頭的輸出範圍由預設選項限定。當任務要求模型從原文找出一段未知長度的文字時,僅靠 A、B、C 這樣的標籤已經無法滿足需求。 Decider v1.3 因此增加 Locate,將輸出擴展到文字跨距定位。

Locate 新增了 <|locate|> Token、跨度頭(Span Head)和 LoRA 轉接器。每個待抽取字段擁有獨立的 Locate Token,其嵌入由此前訓練得到的 ​​Marker 表示初始化。跨度头结合 Locate Token 与 State 中各 Token 的隐藏表示,对候选文本片段的起点、终点及两端配对关系进行评分,同时为字段生成专属阈值。

起點與終點評分負責尋找文字邊界,配對評分則判斷兩個位置能否組成有效片段。單獨找到兩個高分位置,並不代表它們一定屬於同一段合理文本,因此配對關係也需要獨立學習。模型傳回原文字元區間,下游程式可以直接讀取對應內容。 leifengwan

訓練採用改進版 InfoNCE 目標,讓正確跨距的分數高於閾值,同時讓閾值高於其他候選跨距。當原文沒有對應欄位時,模型需要將閾值抬高,使候選片段無法通過篩選,進而傳回空白列表。

Perplexity 使用命名实体识别、PII 检测和抽取式问答数据训练 Locate,字段描述既有简短标签,也有自然语言指令。這樣的資料組織讓模型需要理解欄位意義與文字內容之間的關係,而非只記憶固定欄位名稱。

Locate 也帶來了參數幹擾問題。原有决策头学习候选选项之间的概率分布,跨度头学习文本边界和片段配对,两种任务对模型内部表示的要求存在差异。

Perplexity 發現,將 Locate 適配器合併進主幹後,普通決策請求會出現退化,因此保留獨立 LoRA 適配器,只在文字定位任務中啟用。

主模型采用分阶段训练。較大版本以 Qwen3.8-27B 為基礎,先進行大規模通用全量微調,並排除公開評測基準的訓練劃分,隨後透過 LoRA 加入領域任務,再進行視覺適配。團隊將三個不同隨機種子的文本訓練權重取平均,以改善模型整體表現。

Flash 版本以 Qwen3.5-4B 為基礎,透過較大 Decider 蒸餾獲得能力。學生模型適合教師給出的完整機率分佈,透過 KL 散度學習教師對不同候選項的相對判斷。雷峰網(公眾號:雷峰網)

相較於只學習正確標籤,分佈蒸餾也保留了其他候選項的相對置信程度。 Perplexity 表示,在相同訓練資料下,KL 蒸餾在留出任務上的泛化表現優於標準交叉熵目標。

評測中,Decider v1.3 在 63 項分類任務上的平均準確率為 91.6%,比 Perplexity 原有生產分類器高 6.54 個百分點,在 72 項檢索任務中,逐點重排的平均 nDCG@10 達到 83.99,比 QwenB-Rekerker-81 分高 1.81 分。

八種語言任務的平均準確率為 88.16%,Jev 1.14 為 85.41%。 Locate 在 17 個域外任務的平均分數為 69.0,Flash 為 63.6。生產評估涵蓋 API 上線後前 18 天的一百萬個請求,去重後包含 2,318,887 個問題。由於生產請求缺乏人工標註,團隊使用前沿 LLM 評判模型產生參考答案。

Decider v1.3 與參考答案的一致性為 93.98%,略高於 v1.2 的 93.68% 和 Jev 1.14 的 93.35%。此數據反映模型與評判模型的吻合程度,但不能直接等同於人工標註下的真實準確率。

04

判斷,開始擁有獨立運算架構

Decider 的技術路線圍繞著一個明確問題:如何讓模型在保留上下文理解能力的同時,高效處理大量結構化判斷。它透過輸入協定、隔離式註意力和 Locate 擴展,建立了從選項判斷到文字定位的完整能力體系。

但这套架构仍有边界。目前公開的評測結果展示了它在分類、檢索重排和文字抽取上的表現,生產案例也說明 Perplexity 已經將其用於內部工作流程。

不過,模型的實際效益仍取決於任務類型、情境長度、平行問題數量和部署成本。現有數據還不足以說明這種架構適合所有 AI 應用,尤其是開放式推理和複雜規劃,通用 LLM 仍然有自己的優勢。

對於 Agent 系統,Decider 確實是提供了一個值得繼續驗證的分工思路:讓通用 LLM 處理複雜理解與生成,將邊界清楚的分類、篩選和評估交給專門模型。但兩者能否形成更合適的協作方式,還需要結合真實工作負載中的延遲、資源消耗和任務表現進一步檢驗。

參考連結:https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider

雷峰網原創文章,未經授權禁止轉載。詳情請見轉載須知。

編輯

重發郵箱修改郵箱