Autor: Zheng Jiamei
Editor: Cen Feng.
Esta vez, la perplejidad cambió directamente la forma en que el modelo maneja las tareas de juicio: el mismo contexto puede ser utilizado por múltiples preguntas al mismo tiempo, y el modelo solo necesita realizar una propagación hacia adelante para generar la probabilidad de respuesta de cada pregunta. El proceso que solía requerir llamar repetidamente a LLM, generar texto y analizar resultados ahora se puede converger en un cálculo de modelo.
Para permitir que múltiples problemas compartan cálculos sin interferir entre sí, Perplexity también rediseñó el mecanismo de Atención para permitir que el estado compartido lea todos los problemas y al mismo tiempo limite el intercambio directo de información entre problemas. v1.3 agrega además la capacidad Locate, que puede ubicar directamente el intervalo de texto original de acuerdo con la descripción del campo, integrando el juicio y la extracción de texto en la misma arquitectura.
Este conjunto de modelos ya entró en el sistema de producción de Perplexity. En una revisión de seguridad interna, procesó 7000 sesiones de agentes en un solo día, leyó mil millones de tokens en total e impulsó 14 correcciones de reglas.
Desde la perspectiva de la arquitectura técnica, Decider tiene tres niveles de diseño estrechamente relacionados: cómo el extremo de entrada organiza el contexto compartido y las preguntas independientes juntas, cómo la capa de atención controla la interacción de la información de diferentes preguntas y cómo las capas de entrenamiento y salida permiten que el mismo modelo tenga en cuenta tanto el juicio de clasificación como el posicionamiento del texto.
Entre ellos, la atención aislada a problemas cambia la forma subyacente de la computación compartida multitarea y también es la clave para comprender toda la arquitectura de Decider.
01
Un contexto conlleva múltiples tareas de juicio.
La entrada de Decider en realidad se compone de un estado compartido (Estado) y varios bloques de preguntas (Pregunta). El estado guarda páginas web, documentos o registros de ejecución del Agente, y la Pregunta describe objetivos de juicio específicos y enumera las respuestas de los candidatos. Cada candidato se asigna a un token de etiqueta predefinido, como A, B, C, y el marcador especial <|marker|> El token marca la posición de lectura de la respuesta.
Durante el procesamiento del modelo, se extraerá el estado oculto de la posición correspondiente del Marcador, se entregará al responsable de la toma de decisiones para que calcule la puntuación de cada candidato y luego se convertirá en una distribución de probabilidad.
El encabezado de decisión aquí se modifica de la capa de salida del modelo de lenguaje original del modelo básico: Perplexity retiene las filas de peso correspondientes a las etiquetas candidatas como A, B, C, etc., elimina los pesos de salida de vocabulario restantes y luego se entrena para la tarea de toma de decisiones. La capa de salida, originalmente utilizada para calcular la probabilidad del siguiente Token, ahora se usa específicamente para manejar el juicio de opciones.
Este diseño separa la definición de tareas del cálculo de resultados. La persona que llama puede describir la pregunta mediante lenguaje natural y limitar el espacio de respuesta mediante opciones, y el modelo se encarga de calcular la probabilidad de cada opción en función del contexto.
El análisis de sentimientos, el razonamiento en lenguaje natural, la detección de intenciones, la comparación de entidades, la moderación de contenido, la verificación de hechos y la puntuación pueden utilizar el mismo conjunto de protocolos de entrada, sin la necesidad de crear una estructura de modelo separada para cada tarea.
Perplexity convierte cientos de conjuntos de datos públicos en un formato de capacitación unificado que consta de estados, preguntas, opciones y objetivos. El objetivo del entrenamiento puede ser la etiqueta correcta o la distribución de probabilidad de respuesta completa. Para situaciones en las que es necesario realizar varios juicios sobre el mismo texto extenso, se pueden colocar varias preguntas en la misma propagación directa y el modelo solo necesita procesar un contexto compartido.
Sin embargo, calcular los beneficios requiere una comprensión precisa: agregar preguntas seguirá aumentando los tokens de preguntas y los cálculos de atención. Lo que ahorra Decider es principalmente el costo de la codificación repetida de textos largos, así como el costo de la decodificación token por token y el análisis externo del modelo generativo. Cuanto mayor sea el número de preguntas y más largo sea el texto compartido, más obvio será el valor de reutilización.
La probabilidad de producción también deja margen para el ajuste de las estrategias empresariales. El modelo es responsable de dar la distribución de probabilidad de los candidatos y la aplicación establece umbrales basados en los costos comerciales de los falsos positivos y falsos negativos. El filtrado web y la revisión de la ejecución de los agentes pueden utilizar diferentes umbrales sin volver a entrenar el modelo de decisión para cada negocio.
02
Cómo compartir información entre múltiples tareas sin interferir entre sí
Una vez determinado el protocolo de entrada, una nueva pregunta cae dentro del modelo: varias preguntas ingresan al transformador al mismo tiempo, ¿qué tipo de conexión de información se debe establecer entre ellas?
Decider utiliza LLM generativo como columna vertebral. La atención causal original organiza la información en el orden del texto. La posición actual solo puede leerse a sí misma y al Token anterior. Esta estructura es adecuada para generar texto paso a paso, pero no favorece tareas de juicio que requieren comprender el contexto completo.
Por lo tanto, Perplexity utiliza atención bidireccional, lo que permite a Token leer la entrada completa. Los experimentos de ablación muestran que este ajuste mejora el rendimiento de la toma de decisiones del modelo.
La atención bidireccional abre el contexto completo, pero también permite la interacción de información entre múltiples temas. v1.2 utiliza el modo de visibilidad mutua total, el estado y todas las preguntas pueden leerse entre sí. De esta manera, la representación de una determinada pregunta puede verse afectada por otras preguntas, y cuando la persona que llama ajusta la combinación de preguntas, el juicio original también puede cambiar en consecuencia.
La Atención de preguntas aisladas introducida en la versión 1.3 cambia este conjunto de relaciones de conexión: el estado puede leer todas las preguntas, pero cada pregunta solo puede leer el estado y su propio token, y no puede leer directamente otras preguntas.
Aquí hay un detalle clave: el estado ya no es solo un contenedor para guardar texto sin formato, sino que también asume la función de agregar información entre tareas. Puede leer el conjunto completo de preguntas y formar una representación contextual que contiene las condiciones de la tarea en cálculos de atención de múltiples capas. Cada Cuestión obtiene información relevante a través del Estado y conserva su propia descripción de tarea.
Esta estructura corta la transferencia directa de representaciones locales entre Cuestiones, pero no elimina todos los efectos indirectos. Dado que el Estado ha leído la información de otros problemas, después de la propagación del Transformador de múltiples capas, la información del Problema A aún puede ingresar a la representación posterior del Estado y luego ser leída por el Problema B.
La perplejidad controla las conexiones atencionales directas en lugar de hacer que las tareas sean completamente independientes en un sentido matemático. Esta diferencia también explica por qué no se selecciona el modo totalmente almacenable en caché en la versión 1.3. El equipo ha probado otra estructura: el Estado solo lee su propio contenido y la Pregunta lee el Estado y su propio Token. leifeng.com
De esta manera, se puede reutilizar el mismo fragmento de texto en el caché entre solicitudes porque la representación del estado no depende del conjunto de preguntas específico. Pero el costo es que el Estado no puede ver los requisitos de la tarea al codificar y no puede ajustar la representación contextual al problema actual. La perplejidad finalmente elige la atención aislada de las preguntas, conservando el efecto condicional de las preguntas sobre el contexto.
El equipo también comprobó la estabilidad de la salida mediante pruebas de perturbación de etiquetas. En 372 preguntas de opción múltiple, cambiar el orden de las opciones, la asignación de etiquetas y los nombres de las etiquetas resultó en cambios semánticos de las respuestas para solo el 0,27 % de las preguntas en Decider v1.3 y del 2,69 % al 4,84 % en Jev 1.14. La salida de Decider v1.3 permanece consistente cuando se ejecuta repetidamente con la misma entrada.
La atención aislada se ha convertido así en el diseño arquitectónico central de Decider: determina cómo el contexto compartido participa en múltiples juicios y también determina los caminos a través de los cuales se puede intercambiar información entre diferentes problemas.
03
Del juicio de opciones a la extracción de la extensión del texto
El rango de salida de un encabezado de decisión normal está limitado por opciones preestablecidas. Cuando la tarea requiere que el modelo encuentre un texto de longitud desconocida en el texto original, etiquetas como A, B y C ya no pueden satisfacer la demanda. Por lo tanto, Decider v1.3 agrega Locate, extendiendo la salida al posicionamiento del intervalo de texto.
Localizar agrega <|locate|> Token, Span Head y adaptador LoRA. Cada campo a extraer tiene un Locate Token independiente y su incrustación se inicializa mediante la representación del Marcador obtenida del entrenamiento previo. El encabezado de intervalo combina la representación oculta de cada token en Locate Token y State para calificar el punto de inicio, el punto final y la relación de emparejamiento entre los dos extremos del fragmento de texto candidato y, al mismo tiempo, genera un umbral único para el campo.
Las puntuaciones de los puntos inicial y final son responsables de encontrar los límites del texto, mientras que las puntuaciones de emparejamiento determinan si las dos posiciones pueden formar un segmento válido. Encontrar dos posiciones con puntuación alta por sí solo no significa que deban pertenecer al mismo texto razonable, por lo que la relación de emparejamiento también debe aprenderse de forma independiente. El modelo devuelve el rango de caracteres original y los programas posteriores pueden leer directamente el contenido correspondiente. leifengwan
La capacitación utiliza una versión modificada del objetivo de InfoNCE de modo que la puntuación del tramo correcto sea superior al umbral y el umbral sea superior al de los otros tramos candidatos. Cuando no hay un campo correspondiente en el texto original, el modelo necesita elevar el umbral para que los fragmentos candidatos no puedan pasar el filtrado y devolver una lista vacía.
Localización entrenada en perplejidad mediante reconocimiento de entidades nombradas, detección de PII y datos extractivos de preguntas y respuestas, con descripciones de campos que van desde etiquetas cortas hasta instrucciones en lenguaje natural. Esta organización de datos requiere que el modelo comprenda la relación entre los significados de los campos y el contenido del texto, en lugar de simplemente memorizar nombres de campos fijos.
La localización también provoca problemas de interferencia de parámetros. El cabezal de decisión original aprende la distribución de probabilidad entre las opciones candidatas, y el cabezal de extensión aprende los límites del texto y los pares de segmentos. Las dos tareas tienen diferentes requisitos para la representación interna del modelo.
Perplexity descubrió que fusionar el adaptador Locate en la red troncal degradaba las solicitudes de decisión comunes, por lo que mantuvo el adaptador LoRA independiente habilitado solo para tareas de ubicación de texto.
El modelo principal se entrena en etapas. La versión más grande está basada en Qwen3.8-27B. En primer lugar, lleva a cabo un ajuste general y completo a gran escala y excluye la división de formación de los puntos de referencia de evaluación pública. Luego agrega tareas de dominio a través de LoRA y luego realiza una adaptación visual. El equipo promedió los pesos de entrenamiento de texto de tres semillas aleatorias diferentes para mejorar el rendimiento general del modelo.
La versión Flash se basa en Qwen3.5-4B y obtiene capacidades a través de una destilación de Decider más grande. El modelo de estudiante se ajusta a la distribución de probabilidad completa dada por el maestro y aprende el juicio relativo del maestro sobre diferentes candidatos a través de la divergencia KL. Leifeng.com (cuenta pública: Leifeng.com)
En comparación con aprender sólo la etiqueta correcta, la destilación de distribución también preserva la confianza relativa de otros candidatos. La perplejidad muestra que la destilación KL se generaliza mejor que el objetivo estándar de entropía cruzada en la tarea de espera dados los mismos datos de entrenamiento.
En la evaluación, Decider v1.3 logró una precisión promedio del 91,6 % en 63 tareas de clasificación, 6,54 puntos porcentuales más que el clasificador de producción original de Perplexity. En 72 tareas de recuperación, el nDCG@10 promedio de reclasificación puntual alcanzó 83,99, 1,81 puntos más que Qwen3-Reranker-8B.
La precisión promedio en las ocho tareas lingüísticas fue del 88,16 % y Jev 1.14 fue del 85,41 %. La puntuación promedio de Locate en las 17 tareas fuera del dominio fue 69,0 y la de Flash fue 63,6. La evaluación de producción cubre un millón de solicitudes en los primeros 18 días después de la entrada en funcionamiento de la API e incluye 2.318.887 problemas después de la deduplicación. Dado que las solicitudes de producción carecían de anotaciones humanas, el equipo utilizó un modelo de evaluación de LLM de última generación para generar respuestas de referencia.
La coherencia de Decider v1.3 con la respuesta de referencia es del 93,98 %, ligeramente superior al 93,68 % de v1.2 y al 93,35 % de Jev 1.14. Estos datos reflejan el grado de acuerdo entre el modelo y el modelo de evaluación, pero no pueden equipararse directamente con la verdadera tasa de precisión bajo la anotación manual.
04
Juicio, empieza a tener una arquitectura informática independiente.
La ruta técnica de Decider gira en torno a un problema claro: cómo hacer que el modelo maneje eficientemente una gran cantidad de juicios estructurados manteniendo al mismo tiempo la capacidad de comprender el contexto. Establece un sistema de capacidades completo desde el juicio de opciones hasta el posicionamiento del texto a través de protocolos de entrada, atención aislada y extensiones de localización.
Pero esta arquitectura todavía tiene límites. Los resultados de la evaluación pública actual muestran su desempeño en clasificación, reorganización de recuperación y extracción de texto, y los casos de producción también muestran que Perplexity lo ha utilizado para flujos de trabajo internos.
Sin embargo, el beneficio real del modelo aún depende del tipo de tarea, la duración del contexto, la cantidad de problemas paralelos y el costo de implementación. Los datos existentes no son suficientes para demostrar que esta arquitectura es adecuada para todas las aplicaciones de IA, especialmente el razonamiento abierto y la planificación compleja, y el LLM en general todavía tiene sus propias ventajas.
Para el sistema Agent, Decider de hecho proporciona una idea de división del trabajo que vale la pena seguir verificando: dejar que el LLM general se encargue de la comprensión y generación complejas, y traspasar la clasificación, selección y evaluación claramente delimitadas a modelos especializados. Sin embargo, es necesario probar más a fondo si los dos pueden formar un método de colaboración más adecuado en función de la latencia, el consumo de recursos y el rendimiento de las tareas en cargas de trabajo reales.
Enlace de referencia: https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider
Artículos originales de Leifeng.com, prohibida la reproducción no autorizada. Consulte las instrucciones de reimpresión para obtener más detalles.
editar
Reenviar correo electrónico Modificar correo electrónico




