Auteur 丨Zheng Jiamei
Editeur 丨Cen Feng
Cette fois, la perplexité a directement changé la façon dont le modèle gère les tâches de jugement : le même contexte peut être utilisé par plusieurs questions en même temps, et le modèle n'a besoin d'effectuer qu'une seule propagation vers l'avant pour générer la probabilité de réponse de chaque question. Le processus qui nécessitait auparavant d'appeler à plusieurs reprises LLM, de générer du texte et d'analyser les résultats peut désormais être fusionné en un seul modèle de calcul.
Afin de permettre à plusieurs problèmes de partager des calculs sans interférer les uns avec les autres, Perplexity a également repensé le mécanisme Attention pour permettre à l'état partagé de lire tous les problèmes tout en limitant l'échange direct d'informations entre les problèmes. La v1.3 ajoute en outre la fonctionnalité de localisation, qui peut localiser directement l'étendue du texte d'origine en fonction de la description du champ, intégrant le jugement et l'extraction de texte dans la même architecture.
Cet ensemble de modèles est déjà entré dans le système de production de Perplexity. Lors d'un examen de sécurité interne, l'entreprise a traité 7 000 sessions d'agent en une seule journée, a lu 1 milliard de jetons au total et a proposé 14 correctifs de règles.
Du point de vue de l'architecture technique, Decider a trois niveaux de conception étroitement liés : comment l'extrémité d'entrée organise ensemble le contexte partagé et les questions indépendantes, comment la couche d'attention contrôle l'interaction des informations de différentes questions, et comment les couches de formation et de sortie permettent au même modèle de prendre en compte à la fois le jugement de classification et le positionnement du texte.
Parmi eux, l'attention aux problèmes isolés modifie la manière sous-jacente de l'informatique partagée multitâche et constitue également une clé pour comprendre l'ensemble de l'architecture Decider.
01
Un contexte comporte plusieurs tâches de jugement
L'entrée de Decider est en fait composée d'un état partagé (State) et de plusieurs blocs de questions (Question). L'état enregistre les pages Web, les documents ou les enregistrements d'exécution d'agent, et la question décrit les objectifs de jugement spécifiques et répertorie les réponses des candidats. Chaque candidat est mappé à un jeton d'étiquette prédéfini, tel que A, B, C et le <|marker|> Le jeton marque la position de lecture de la réponse.
Lors du traitement du modèle, l'état caché de la position correspondante du Marqueur sera extrait, remis au responsable décisionnel pour calculer le score de chaque candidat, puis converti en une distribution de probabilité.
La tête de décision ici est modifiée à partir de la couche de sortie du modèle de langage d'origine du modèle de base : Perplexity conserve les lignes de poids correspondant aux étiquettes candidates telles que A, B, C, etc., supprime les poids de sortie du vocabulaire restants, puis s'entraîne pour la tâche de prise de décision. La couche de sortie, initialement utilisée pour calculer la probabilité du prochain jeton, est désormais spécifiquement utilisée pour gérer le jugement des options.
Cette conception sépare la définition des tâches du calcul des résultats. L'appelant peut décrire la question en langage naturel et limiter l'espace de réponse via des options, et le modèle est chargé de calculer la probabilité de chaque option en fonction du contexte.
L'analyse des sentiments, le raisonnement en langage naturel, la détection d'intentions, la correspondance d'entités, la modération de contenu, la vérification des faits et la notation peuvent utiliser le même ensemble de protocoles d'entrée, sans qu'il soit nécessaire de créer une structure de modèle distincte pour chaque tâche.
Perplexity convertit des centaines d'ensembles de données publiques en un format de formation unifié composé d'états, de questions, d'options et d'objectifs. L'objectif de formation peut être soit l'étiquette correcte, soit la distribution de probabilité de réponse complète. Pour les situations où plusieurs jugements doivent être effectués sur le même texte long, plusieurs questions peuvent être placées dans la même propagation directe et le modèle n'a besoin de traiter qu'un seul contexte partagé.
Cependant, le calcul des avantages nécessite une compréhension précise : l'ajout de questions augmentera toujours les jetons de question et les calculs d'attention. Ce que Decider économise, c'est principalement le coût de l'encodage répété du texte long, ainsi que le coût du décodage jeton par jeton et de l'analyse externe du modèle génératif. Plus le nombre de questions est grand et plus le texte partagé est long, plus la valeur de réutilisation sera évidente.
La probabilité de production laisse également une marge d’ajustement aux stratégies commerciales. Le modèle est chargé de donner la distribution de probabilité des candidats, et l'application définit des seuils basés sur les coûts commerciaux des faux positifs et des faux négatifs. Le filtrage Web et l'examen de l'exécution des agents peuvent utiliser différents seuils sans recycler le modèle de décision pour chaque entreprise.
02
Comment partager des informations entre plusieurs tâches sans interférer les unes avec les autres
Une fois le protocole d'entrée déterminé, une nouvelle question entre dans le modèle : plusieurs questions entrent dans le transformateur en même temps, quel type de connexion d'informations doit être établie entre elles ?
Decider utilise le LLM génératif comme épine dorsale. L’attention causale originale organise les informations dans l’ordre du texte. La position actuelle ne peut se lire qu'elle-même et le jeton précédent. Cette structure convient à la génération de texte étape par étape, mais n'est pas propice aux tâches de jugement qui nécessitent une compréhension du contexte complet.
Perplexity utilise donc plutôt une attention bidirectionnelle, permettant à Token de lire l'entrée complète. Les expériences d'ablation montrent que cet ajustement améliore les performances décisionnelles du modèle.
L'attention bidirectionnelle ouvre le contexte complet, mais permet également l'interaction d'informations entre plusieurs problèmes. La v1.2 utilise le mode de visibilité mutuelle complète, l'état et toutes les questions peuvent se lire. De cette façon, la représentation d'une certaine question peut être affectée par d'autres questions, et lorsque l'appelant ajuste la combinaison de questions, le jugement initial peut également changer en conséquence.
L'attention aux questions isolées introduite dans la v1.3 modifie cet ensemble de relations de connexion : l'État peut lire toutes les questions, mais chaque question ne peut lire que l'État et son propre jeton, et ne peut pas lire directement les autres questions.
Il y a un détail clé ici : l'état n'est plus seulement un conteneur pour enregistrer du texte brut, il assume également le rôle d'agrégation d'informations entre les tâches. Il peut lire l'ensemble des questions et former une représentation contextuelle contenant les conditions de la tâche dans des calculs d'attention multicouches. Chaque question obtient des informations pertinentes via l'État et conserve sa propre description de tâche.
Cette structure coupe le transfert direct des représentations locales entre Questions, mais n'élimine pas tous les effets indirects. Étant donné que l'État a lu les informations d'autres problèmes, après la propagation du transformateur multicouche, les informations du problème A peuvent toujours entrer dans la représentation ultérieure de l'État et ensuite être lues par le problème B.
La perplexité contrôle les connexions attentionnelles directes plutôt que de rendre les tâches complètement indépendantes au sens mathématique. Cette différence explique également pourquoi le mode entièrement mis en cache n'est pas sélectionné dans la version 1.3. L'équipe a testé une autre structure : l'État lit uniquement son propre contenu, et la question lit l'État et son propre jeton. leifeng.com
De cette façon, le même morceau de texte peut être réutilisé dans le cache entre les requêtes car la représentation de l'État ne dépend pas de l'ensemble de questions spécifique. Mais le coût est que l’État ne peut pas voir les exigences de la tâche lors du codage et ne peut pas ajuster la représentation contextuelle au problème actuel. La perplexité choisit finalement l'attention aux questions isolées, conservant l'effet conditionnel des questions sur le contexte.
L’équipe a également vérifié la stabilité de la sortie grâce à des tests de perturbation des étiquettes. Sur 372 questions à choix multiples, la modification de l'ordre des options, du mappage des étiquettes et des noms des étiquettes a entraîné des changements de réponse sémantique pour seulement 0,27 % des questions dans Decider v1.3 et de 2,69 % à 4,84 % dans Jev 1.14. La sortie de Decider v1.3 reste cohérente lorsqu'elle est exécutée à plusieurs reprises avec la même entrée.
L'attention isolée est ainsi devenue la conception architecturale centrale de Decider : elle détermine comment le contexte partagé participe à de multiples jugements, et détermine également les chemins par lesquels les informations peuvent être échangées entre différents problèmes.
03
Du jugement d’option à l’extraction de l’étendue du texte
La plage de sortie d'un en-tête de décision normal est limitée par des options prédéfinies. Lorsque la tâche nécessite que le modèle trouve un texte de longueur inconnue à partir du texte original, les étiquettes telles que A, B et C ne peuvent plus répondre à la demande. Decider v1.3 ajoute donc Locate, étendant la sortie au positionnement de l'étendue du texte.
Localiser ajoute <|localiser|> Adaptateur Token, Span Head et LoRA. Chaque champ à extraire possède un jeton de localisation indépendant, et son intégration est initialisée par la représentation Marker obtenue lors de la formation précédente. L'en-tête span combine la représentation cachée de chaque jeton dans Locate Token et State pour noter le point de départ, le point final et la relation d'appariement entre les deux extrémités du fragment de texte candidat, et génère en même temps un seuil unique pour le champ.
Les scores des points de début et de fin sont chargés de trouver les limites du texte, tandis que les scores d'appariement déterminent si les deux positions peuvent former un segment valide. Trouver deux positions avec des scores élevés ne signifie pas qu'elles doivent appartenir au même texte raisonnable, la relation de jumelage doit donc également être apprise de manière indépendante. Le modèle renvoie la plage de caractères d'origine et les programmes en aval peuvent lire directement le contenu correspondant. leifengwan
La formation utilise une version modifiée de l'objectif InfoNCE de telle sorte que le score de l'intervalle correct est supérieur au seuil et que le seuil est supérieur à celui des autres intervalles candidats. Lorsqu'il n'y a pas de champ correspondant dans le texte original, le modèle doit augmenter le seuil afin que les fragments candidats ne puissent pas passer le filtrage et renvoyer une liste vide.
Perplexity Training Localisez à l'aide de la reconnaissance d'entités nommées, de la détection des informations personnelles et des données de questions et réponses extractives, avec des descriptions de champs allant des étiquettes courtes aux instructions en langage naturel. Une telle organisation des données nécessite que le modèle comprenne la relation entre la signification des champs et le contenu du texte, plutôt que de simplement mémoriser des noms de champs fixes.
La localisation entraîne également des problèmes d'interférence de paramètres. La tête de décision d'origine apprend la distribution de probabilité entre les options candidates, et la tête de décision apprend les limites du texte et les appariements de segments. Les deux tâches ont des exigences différentes pour la représentation interne du modèle.
Perplexity a constaté que la fusion de l'adaptateur Locate dans le backbone dégradait les demandes de décision communes, de sorte qu'il a maintenu l'adaptateur LoRA autonome activé uniquement pour les tâches de localisation de texte.
Le modèle principal est formé par étapes. La version plus grande est basée sur Qwen3.8-27B. Il procède d'abord à une mise au point générale et complète à grande échelle et exclut la division formation des référentiels d'évaluation publics. Ensuite, il ajoute des tâches de domaine via LoRA, puis effectue une adaptation visuelle. L’équipe a fait la moyenne des poids d’entraînement du texte à partir de trois graines aléatoires différentes pour améliorer les performances globales du modèle.
La version Flash est basée sur Qwen3.5-4B, gagnant en capacités grâce à une distillation Decider plus importante. Le modèle d'étudiant s'adapte à la distribution de probabilité complète donnée par l'enseignant et apprend le jugement relatif de l'enseignant sur différents candidats grâce à la divergence KL. Leifeng.com (compte public : Leifeng.com)
Par rapport à l’apprentissage uniquement du bon label, la distillation de distribution préserve également la confiance relative des autres candidats. Perplexity montre que la distillation KL se généralise mieux que l'objectif d'entropie croisée standard sur la tâche d'attente étant donné les mêmes données d'entraînement.
Lors de l'évaluation, Decider v1.3 a atteint une précision moyenne de 91,6 % sur 63 tâches de classification, soit 6,54 points de pourcentage de plus que le classificateur de production d'origine de Perplexity. Dans 72 tâches de récupération, la moyenne nDCG@10 du reclassement par points a atteint 83,99, soit 1,81 point de plus que Qwen3-Reranker-8B.
La précision moyenne pour les huit tâches linguistiques était de 88,16 % et Jev 1.14 de 85,41 %. Le score moyen de Locate sur les 17 tâches hors domaine était de 69,0 et celui de Flash de 63,6. L'évaluation de la production couvre un million de requêtes au cours des 18 premiers jours suivant la mise en ligne de l'API et inclut 2 318 887 problèmes après la déduplication. Étant donné que les demandes de production manquaient d’annotations humaines, l’équipe a utilisé un modèle d’évaluation LLM de pointe pour générer des réponses de référence.
La cohérence de Decider v1.3 avec la réponse de référence est de 93,98 %, légèrement supérieure aux 93,68 % de la v1.2 et aux 93,35 % de Jev 1.14. Ces données reflètent le degré d'accord entre le modèle et le modèle d'évaluation, mais ne peuvent pas être directement assimilées au véritable taux de précision sous annotation manuelle.
04
Jugement, commencer à avoir une architecture informatique indépendante
Le parcours technique de Decider s’articule autour d’un problème clair : comment faire en sorte que le modèle gère efficacement un grand nombre de jugements structurés tout en conservant la capacité de comprendre le contexte. Il établit un système de capacités complet, depuis le jugement des options jusqu'au positionnement du texte en passant par les protocoles de saisie, l'attention isolée et les extensions de localisation.
Mais cette architecture a encore des limites. Les résultats de l'évaluation publique actuelle montrent ses performances en matière de classification, de réarrangement de récupération et d'extraction de texte, et les cas de production montrent également que Perplexity l'a utilisé pour des flux de travail internes.
Cependant, le bénéfice réel du modèle dépend toujours du type de tâche, de la longueur du contexte, du nombre de problèmes parallèles et du coût de déploiement. Les données existantes ne suffisent pas à prouver que cette architecture est adaptée à toutes les applications de l'IA, en particulier au raisonnement ouvert et à la planification complexe, et le LLM général a encore ses propres avantages.
Pour le système Agent, Decider fournit en effet une idée de division du travail qui mérite de continuer à vérifier : laisser le LLM général gérer la compréhension et la génération complexes, et confier la classification, le filtrage et l'évaluation aux limites claires à des modèles spécialisés. Cependant, la question de savoir si les deux peuvent former une méthode de collaboration plus adaptée doit être testée davantage en fonction de la latence, de la consommation de ressources et de l'exécution des tâches dans des charges de travail réelles.
Lien de référence : https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider
Articles originaux de Leifeng.com, la reproduction non autorisée est interdite. Voir les instructions de réimpression pour plus de détails.
modifier
Renvoyer l'e-mail Modifier l'e-mail




