著者丨鄭嘉美
編集者丨セン・フェン
Perplexity は今回、モデルが判断タスクを処理する方法を直接変更しました。同じコンテキストを複数の質問で同時に使用でき、モデルは各質問の回答確率を出力するために 1 回の前方伝播を実行するだけで済みます。以前は LLM の繰り返し呼び出し、テキストの生成、結果の解析が必要だったプロセスを 1 つのモデル計算に集約できるようになりました。
複数の問題が互いに干渉することなく計算を共有できるようにするために、Perplexity はアテンション メカニズムも再設計し、問題間の情報の直接交換を制限しながら、共有状態ですべての問題を読み取ることができるようにしました。 v1.3 ではさらに、フィールドの説明に従って元のテキスト スパンを直接特定できる位置特定機能が追加され、判断とテキスト抽出が同じアーキテクチャに統合されます。
この一連のモデルはすでに Perplexity の実稼働システムに組み込まれています。内部セキュリティレビューでは、1 日で 7,000 のエージェントセッションを処理し、合計 10 億のトークンを読み取り、14 件のルール修正を推進しました。
技術アーキテクチャの観点から見ると、Decider には密接に関連した 3 つの設計レベルがあります。入力側で共有コンテキストと独立した質問をまとめて整理する方法、アテンション層が異なる質問の情報の相互作用をどのように制御するか、トレーニング層と出力層が同じモデルで分類判断とテキストの位置決めの両方を考慮できるようにする方法です。
その中でも、分離された問題への注意は、マルチタスク共有コンピューティングの基礎となる方法を変え、Decider アーキテクチャ全体を理解するための鍵でもあります。
01
1 つのコンテキストに複数の判断タスクが含まれる
Decider の入力は、実際には共有状態 (State) といくつかの質問ブロック (Question) で構成されます。 State は Web ページ、ドキュメント、またはエージェントの実行記録を保存し、Question は特定の判断目標を説明し、回答の候補をリストします。各候補は、A、B、C などの事前定義されたラベル トークンと特別な <|マーカー|> にマッピングされます。トークンは解答の読み取り位置をマークします。
モデル処理中に、マーカーの対応する位置の隠れた状態が抽出され、意思決定責任者に渡されて各候補のスコアが計算され、確率分布に変換されます。
ここでの意思決定ヘッドは、基本モデルの元の言語モデル出力層から変更されています。Perplexity は、A、B、C などの候補ラベルに対応する重み行を保持し、残りの語彙出力重みを削除して、意思決定タスクのトレーニングを行います。出力層は、もともと次のトークンの確率を計算するために使用されていましたが、現在は特にオプションの判断を処理するために使用されています。
この設計では、タスク定義を出力計算から分離します。呼び出し元は自然言語を通じて質問を説明し、オプションを通じて回答スペースを制限できます。モデルはコンテキストに基づいて各オプションの確率を計算します。
感情分析、自然言語推論、意図検出、エンティティ マッチング、コンテンツ モデレーション、ファクト チェックおよびスコアリングでは、タスクごとに個別のモデル構造を構築する必要なく、同じ入力プロトコルのセットを使用できます。
Perplexity は、数百の公開データセットを、状態、質問、オプション、目標で構成される統一トレーニング形式に変換します。トレーニング ターゲットは、正解ラベルまたは完全な回答確率分布のいずれかになります。同じ長いテキストに対して複数の判断を実行する必要がある状況では、複数の質問を同じ順伝播に入れることができ、モデルは 1 つの共有コンテキストを処理するだけで済みます。
ただし、利点を計算するには、正確に理解する必要があります。質問を追加しても、質問トークンと注意力の計算は増加します。 Decider が節約できるのは主に、長いテキストを繰り返しエンコードするコストと、トークンごとのデコードと生成モデルの外部解析のコストです。質問の数が増え、共有テキストが長ければ長いほど、再利用の価値がより明確になります。
生産確率も事業戦略の調整の余地を残している。モデルは候補者の確率分布を与える役割を果たし、アプリケーションは偽陽性と偽陰性のビジネス コストに基づいてしきい値を設定します。 Web フィルタリングとエージェント実行レビューでは、ビジネスごとに意思決定モデルを再トレーニングすることなく、異なるしきい値を使用できます。
02
複数のタスク間で相互に干渉せずに情報を共有する方法
入力プロトコルが決定された後、新しい質問がモデル内に含まれます。複数の質問が同時に Transformer に入ります。それらの間でどのような種類の情報接続を確立する必要がありますか?
Decider はバックボーンとして生成 LLM を使用します。オリジナルの因果的注意は、情報をテキスト順に整理します。現在の位置は、それ自体と前のトークンのみを読み取ることができます。この構造はテキストを段階的に生成するのには適していますが、完全なコンテキストを理解する必要がある判断タスクには適していません。
したがって、Perplexity は代わりに双方向のアテンションを使用し、Token が完全な入力を読み取ることができるようにします。アブレーション実験では、この調整によりモデルの意思決定パフォーマンスが向上することが示されています。
双方向の注意により、完全なコンテキストが開かれるだけでなく、複数の問題間の情報の相互作用も可能になります。 v1.2 は完全な相互可視性モードを使用しており、状態とすべての質問は相互に読み取ることができます。このように、ある質問の表現は他の質問の影響を受ける可能性があり、呼び出し側が質問の組み合わせを調整すると、元の判断もそれに応じて変化する可能性があります。
v1.3 で導入された分離質問アテンションは、この一連の接続関係を変更します。状態はすべての質問を読み取ることができますが、各質問は状態と独自のトークンのみを読み取ることができ、他の質問を直接読み取ることはできません。
ここには重要な詳細があります。状態はもはや生のテキストを保存するための単なるコンテナーではなく、タスク間で情報を集約する役割も担っています。質問のセット全体を読み取り、多層の注意計算でタスク条件を含む文脈表現を形成できます。各質問はステートを通じて関連情報を取得し、独自のタスクの説明を保持します。
この構造は、質問間のローカル表現の直接的な転送を遮断しますが、すべての間接的な効果を排除するわけではありません。 State は他の Issue の情報を読み取っているため、多層 Transformer の伝播後も、Issue A の情報は引き続き State のその後の表現に入り、その後 Issue B によって読み取られる可能性があります。
Perplexity コントロールは、数学的な意味でタスクを完全に独立させるのではなく、注意のつながりを直接制御します。この違いは、v1.3 で完全キャッシュ可能モードが選択されない理由も説明しています。チームは別の構造をテストしました。State はそれ自体のコンテンツのみを読み取り、Question は State と独自のトークンを読み取ります。雷峰.com
この方法では、状態表現が特定の質問セットに依存しないため、リクエスト間で同じテキストをキャッシュ内で再利用できます。しかしその代償として、州はコーディング時にタスク要件を確認できず、現在の問題に合わせてコンテキスト表現を調整できないということになります。 Perplexity は最終的に、文脈に対する質問の条件付き効果を保持しながら、孤立した質問の注意を選択します。
チームはラベル摂動テストを通じて出力の安定性もチェックしました。 372 個の多肢選択式質問について、オプションの順序、ラベル マッピング、およびラベル名を変更すると、Decider v1.3 では質問の 0.27% のみがセマンティックな回答を変更しましたが、Jev 1.14 では 2.69% から 4.84% に変更されました。 Decider v1.3 の出力は、同じ入力で繰り返し実行しても一貫性を保ちます。
したがって、分離された注意は、Decider の中核となるアーキテクチャ設計となっています。これは、共有コンテキストが複数の判断にどのように関与するかを決定し、また、異なる問題間で情報を交換するためのパスも決定します。
03
選択肢判定からテキストスパン抽出まで
通常の決定ヘッダーの出力範囲は、事前に設定されたオプションによって制限されます。タスクでモデルが元のテキストから長さが不明なテキストを検索する必要がある場合、A、B、C などのラベルでは要求を満たすことができなくなります。したがって、Decider v1.3 では Locate が追加され、出力がテキスト スパン位置決めに拡張されます。
Locate は <|locate|> を追加します。トークン、スパンヘッド、LoRA アダプター。抽出される各フィールドには独立した位置特定トークンがあり、その埋め込みは以前のトレーニングから取得されたマーカー表現によって初期化されます。スパン ヘッダーは、Locate Token と State の各トークンの非表示表現を組み合わせて、開始点、終了点、および候補テキスト フラグメントの両端間のペア関係をスコア化し、同時にフィールドの一意のしきい値を生成します。
開始点と終了点のスコアはテキスト境界を見つける役割を果たしますが、ペアリング スコアは 2 つの位置が有効なセグメントを形成できるかどうかを決定します。 2 つの高スコア位置を見つけるだけでは、それらが同じ合理的なテキストに属している必要があるという意味ではないため、ペア関係も個別に学習する必要があります。モデルは元の文字範囲を返し、ダウンストリーム プログラムは対応するコンテンツを直接読み取ることができます。雷峰湾
トレーニングでは、正しいスパンのスコアがしきい値よりも高く、しきい値が他の候補スパンよりも高くなるように、InfoNCE 目標の修正バージョンを使用します。元のテキストに対応するフィールドがない場合、モデルは、候補フラグメントがフィルタリングを通過できず、空のリストを返せないように、しきい値を上げる必要があります。
パープレキシティ トレーニングにより、名前付きエンティティ認識、PII 検出、および抽出的な質問と回答データを使用して、短いラベルから自然言語命令に至るまでのフィールド説明を使用して位置を特定します。このようなデータ編成では、モデルが固定フィールド名を単に記憶するのではなく、フィールドの意味とテキストの内容の間の関係を理解する必要があります。
位置特定はパラメータ干渉の問題も引き起こします。元のディシジョン ヘッドは候補オプション間の確率分布を学習し、スパン ヘッドはテキストの境界とセグメントのペアを学習します。 2 つのタスクには、モデルの内部表現に対する異なる要件があります。
Perplexity は、Locate アダプターをバックボーンにマージすると共通の意思決定リクエストが低下することを発見したため、スタンドアロンの LoRA アダプターをテキスト ロケーション タスクに対してのみ有効にしたままにしました。
メインモデルは段階的にトレーニングされます。大きいバージョンは Qwen3.8-27B に基づいています。まず大規模な全体的かつ完全な微調整を実施し、公的評価ベンチマークのトレーニング部門を除外します。次に、LoRA を通じてドメイン タスクを追加し、視覚的な適応を実行します。チームは、3 つの異なるランダム シードからのテキスト トレーニングの重みを平均して、モデル全体のパフォーマンスを向上させました。
Flash バージョンは Qwen3.5-4B に基づいており、より大きな Decider 蒸留によって機能が強化されています。学生モデルは、教師によって与えられた完全な確率分布に適合し、KL 発散を通じてさまざまな候補者に対する教師の相対的な判断を学習します。 Leifeng.com (パブリックアカウント: Leifeng.com)
正しいラベルのみを学習する場合と比較して、分布蒸留では他の候補の相対的な信頼性も維持されます。 Perplexity は、同じトレーニング データが与えられた場合、KL 蒸留がホールドアウト タスクにおける標準のクロスエントロピー目標よりもよく一般化することを示しています。
評価では、Decider v1.3 は 63 の分類タスクで 91.6% の平均精度を達成しました。これは、Perplexity のオリジナルの実動分類子よりも 6.54 パーセント高い精度でした。 72 の検索タスクにおいて、ポイントごとの再ランキングの平均 nDCG@10 は 83.99 に達し、Qwen3-Reranker-8B よりも 1.81 ポイント高かった。
8 つの言語タスクの平均精度は 88.16%、Jev 1.14 は 85.41% でした。 17 のドメイン外タスクに対する Locate の平均スコアは 69.0 で、Flash の平均スコアは 63.6 でした。実稼働評価では、API が公開されてから最初の 18 日間の 100 万件のリクエストが対象となり、重複排除後の 2,318,887 件の問題が含まれます。制作リクエストには人間による注釈がなかったため、チームは最先端の LLM 判定モデルを使用して参照回答を生成しました。
Decider v1.3 と参照回答との一貫性は 93.98% で、v1.2 の 93.68% や Jev 1.14 の 93.35% よりわずかに高くなります。このデータは、モデルと評価モデル間の一致度を反映していますが、手動アノテーションの下での真の精度率と直接同等に考えることはできません。
04
判断、独立したコンピューティング アーキテクチャを持ち始める
Decider の技術的なルートは、コンテキストを理解する能力を維持しながら、モデルが多数の構造化された判断を効率的に処理できるようにする方法という明確な問題を中心に展開します。オプションの判断から、入力プロトコル、分離された注意、Locate 拡張機能を介したテキストの位置決めまで、完全な機能システムを確立します。
しかし、このアーキテクチャにはまだ限界があります。現在公開されている評価結果では、分類、検索の並べ替え、テキスト抽出におけるパフォーマンスが示されており、運用事例では Perplexity が内部ワークフローに使用していることも示されています。
ただし、モデルの実際の利点は、タスクの種類、コンテキストの長さ、並列問題の数、および展開コストによって異なります。既存のデータは、このアーキテクチャがすべての AI アプリケーション、特にオープンエンド推論や複雑な計画に適していることを証明するには十分ではなく、一般的な LLM には依然として独自の利点があります。
エージェント システムに関して、Decider は確かに検証し続ける価値のある分業のアイデアを提供します。つまり、一般的な LLM に複雑な理解と生成を処理させ、明確な境界のある分類、スクリーニング、および評価を特殊なモデルに引き渡します。ただし、この 2 つがより適切なコラボレーション方法を形成できるかどうかは、実際のワークロードにおけるレイテンシー、リソース消費、タスクのパフォーマンスに基づいてさらにテストする必要があります。
参考リンク:https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider
Leifeng.com からのオリジナル記事、無断転載は禁止されています。詳細については、再印刷の手順を参照してください。
編集
メールを再送信 メールを変更




