Autor丨Zheng Jiamei
Editor丨Cen Feng
Desta vez, a perplexidade mudou diretamente a maneira como o modelo lida com tarefas de julgamento: o mesmo contexto pode ser usado por várias perguntas ao mesmo tempo, e o modelo só precisa realizar uma propagação direta para gerar a probabilidade de resposta de cada pergunta. O processo que costumava exigir repetidamente a chamada do LLM, a geração de texto e a análise de resultados agora pode ser convergido em um cálculo de modelo.
Para permitir que vários problemas compartilhem cálculos sem interferir uns nos outros, o Perplexity também redesenhou o mecanismo de Atenção para permitir que o estado compartilhado leia todos os problemas, limitando ao mesmo tempo a troca direta de informações entre os problemas. A v1.3 adiciona ainda o recurso Locate, que pode localizar diretamente a extensão do texto original de acordo com a descrição do campo, integrando julgamento e extração de texto na mesma arquitetura.
Este conjunto de modelos já entrou no sistema de produção da Perplexity. Em uma análise de segurança interna, processou 7.000 sessões de agentes em um único dia, leu 1 bilhão de tokens no total e pressionou por 14 correções de regras.
Do ponto de vista da arquitetura técnica, o Decider tem três níveis de design intimamente relacionados: como a extremidade de entrada organiza o contexto compartilhado e as questões independentes, como a camada de atenção controla a interação de informações de diferentes questões e como as camadas de treinamento e saída permitem que o mesmo modelo leve em consideração tanto o julgamento de classificação quanto o posicionamento do texto.
Entre eles, a atenção isolada ao problema muda a forma subjacente da computação compartilhada multitarefa e também é a chave para a compreensão de toda a arquitetura do Decider.
01
Um contexto carrega múltiplas tarefas de julgamento
A entrada do Decider é na verdade composta de estado compartilhado (Estado) e vários blocos de perguntas (Question). O estado salva páginas da web, documentos ou registros de execução do agente, e a pergunta descreve objetivos de julgamento específicos e lista as respostas dos candidatos. Cada candidato é mapeado para um token de rótulo predefinido, como A, B, C, e o marcador especial <|marker|> O token marca a posição de leitura da resposta.
Durante o processamento do modelo, o estado oculto da posição correspondente do Marcador será extraído, entregue ao responsável pela tomada de decisão para calcular a pontuação de cada candidato e depois convertido em uma distribuição de probabilidade.
O cabeçote de decisão aqui é modificado a partir da camada de saída do modelo de linguagem original do modelo básico: o Perplexity retém as linhas de peso correspondentes aos rótulos candidatos, como A, B, C, etc., remove os pesos de saída de vocabulário restantes e, em seguida, treina para a tarefa de tomada de decisão. A camada de saída, originalmente usada para calcular a probabilidade do próximo Token, agora é usada especificamente para lidar com o julgamento de opções.
Este design separa a definição da tarefa do cálculo da saída. O chamador pode descrever a pergunta por meio de linguagem natural e limitar o espaço de resposta por meio de opções, sendo o modelo responsável por calcular a probabilidade de cada opção com base no contexto.
Análise de sentimentos, raciocínio em linguagem natural, detecção de intenções, correspondência de entidades, moderação de conteúdo, verificação de fatos e pontuação podem usar o mesmo conjunto de protocolos de entrada, sem a necessidade de construir uma estrutura de modelo separada para cada tarefa.
O Perplexity converte centenas de conjuntos de dados públicos em um formato de treinamento unificado que consiste em estados, perguntas, opções e metas. O alvo de treinamento pode ser o rótulo correto ou a distribuição de probabilidade de resposta completa. Para situações em que vários julgamentos precisam ser realizados no mesmo texto longo, várias perguntas podem ser colocadas na mesma propagação direta e o modelo só precisa processar um contexto compartilhado.
No entanto, calcular os benefícios requer uma compreensão precisa: adicionar perguntas ainda aumentará os Tokens de Perguntas e os cálculos de atenção. O que o Decider economiza é principalmente o custo da codificação repetida de texto longo, bem como o custo da decodificação token por token e da análise externa do modelo generativo. Quanto maior o número de perguntas e mais longo o texto compartilhado, mais óbvio será o valor da reutilização.
A probabilidade de produção também mantém espaço para ajuste das estratégias de negócios. O modelo é responsável por fornecer a distribuição de probabilidade dos candidatos, e a aplicação define limites com base nos custos comerciais de falsos positivos e falsos negativos. A filtragem da Web e a revisão da execução do agente podem usar limites diferentes sem treinar novamente o modelo de decisão para cada negócio.
02
Como compartilhar informações entre várias tarefas sem interferir umas nas outras
Depois de determinado o protocolo de entrada, uma nova questão entra no modelo: múltiplas Perguntas entram no Transformer ao mesmo tempo, que tipo de conexão de informação deve ser estabelecida entre elas?
Decider usa LLM generativo como espinha dorsal. A atenção causal original organiza as informações na ordem do texto. A posição atual só pode ler a si mesma e o Token anterior. Essa estrutura é adequada para gerar texto passo a passo, mas não conduz a tarefas de julgamento que exijam a compreensão do contexto completo.
Perplexity, portanto, usa atenção bidirecional, permitindo que o Token leia a entrada completa. Experimentos de ablação mostram que esse ajuste melhora o desempenho do modelo na tomada de decisões.
A atenção bidirecional abre todo o contexto, mas também permite a interação de informações entre múltiplas questões. v1.2 usa o modo de visibilidade mútua total, o estado e todas as perguntas podem ser lidas umas às outras. Desta forma, a representação de uma determinada questão pode ser afetada por outras questões, e quando o chamador ajusta a combinação de questões, o julgamento original também pode mudar de acordo.
A Atenção à Pergunta Isolada introduzida na v1.3 altera este conjunto de relacionamentos de conexão: O Estado pode ler todas as Perguntas, mas cada Pergunta só pode ler o Estado e seu próprio Token, e não pode ler diretamente outras questões.
Há um detalhe importante aqui: o estado não é mais apenas um contêiner para salvar texto bruto, ele também assume o papel de agregar informações entre tarefas. Ele pode ler todo o conjunto de questões e formar uma representação contextual contendo condições de tarefa em cálculos de atenção multicamadas. Cada Questão obtém informações relevantes através do Estado e mantém sua própria descrição de tarefa.
Esta estrutura elimina a transferência direta de representações locais entre questões, mas não elimina todos os efeitos indiretos. Como o Estado leu as informações de outras questões, após a propagação do Transformador multicamadas, as informações da Questão A ainda podem entrar na representação subsequente do Estado e então ser lidas pela Questão B.
A perplexidade controla as conexões atencionais diretas, em vez de tornar as tarefas completamente independentes no sentido matemático. Essa diferença também explica por que o modo totalmente armazenável em cache não está selecionado na v1.3. A equipe testou outra estrutura: o Estado lê apenas seu próprio conteúdo e a Pergunta lê o Estado e seu próprio Token. leifeng. com
Desta forma, o mesmo trecho de texto pode ser reutilizado no cache entre as solicitações, pois a representação do Estado não depende do conjunto de perguntas específico. Mas o custo é que o Estado não consegue ver os requisitos da tarefa durante a codificação e não consegue ajustar a representação contextual ao problema atual. A perplexidade finalmente escolhe a atenção isolada às perguntas, mantendo o efeito condicional das perguntas no contexto.
A equipe também verificou a estabilidade da saída por meio de testes de perturbação de rótulos. Em 372 questões de múltipla escolha, a alteração da ordem das opções, do mapeamento dos rótulos e dos nomes dos rótulos resultou em alterações semânticas nas respostas para apenas 0,27% das questões no Decider v1.3 e de 2,69% para 4,84% no Jev 1.14. A saída do Decider v1.3 permanece consistente quando executada repetidamente com a mesma entrada.
A atenção isolada tornou-se assim o núcleo do projeto arquitetônico do Decider: ela determina como o contexto compartilhado participa de julgamentos múltiplos e também determina os caminhos pelos quais as informações podem ser trocadas entre diferentes problemas.
03
Do julgamento de opções à extração de extensão de texto
A faixa de saída de um cabeçalho de decisão normal é limitada por opções predefinidas. Quando a tarefa exige que o modelo encontre um texto de comprimento desconhecido no texto original, rótulos como A, B e C não conseguem mais atender à demanda. Portanto, o Decider v1.3 adiciona Locate, estendendo a saída para o posicionamento de extensão de texto.
Localizar adiciona <|locate|> Token, Span Head e adaptador LoRA. Cada campo a ser extraído possui um Locate Token independente, e sua incorporação é inicializada pela representação do Marker obtida no treinamento anterior. O cabeçalho span combina a representação oculta de cada Token em Locate Token e State para pontuar o ponto inicial, o ponto final e o relacionamento de emparelhamento entre as duas extremidades do fragmento de texto candidato e, ao mesmo tempo, gera um limite exclusivo para o campo.
As pontuações dos pontos inicial e final são responsáveis por encontrar os limites do texto, enquanto as pontuações dos pares determinam se as duas posições podem formar um segmento válido. Encontrar duas posições de pontuação alta por si só não significa que elas devam pertencer ao mesmo texto razoável, portanto, a relação de emparelhamento também precisa ser aprendida de forma independente. O modelo retorna o intervalo de caracteres original e os programas downstream podem ler diretamente o conteúdo correspondente. leifengwan
O treinamento usa uma versão modificada do objetivo InfoNCE de modo que a pontuação do intervalo correto seja superior ao limite e o limite seja superior aos outros intervalos candidatos. Quando não há campo correspondente no texto original, o modelo precisa aumentar o limite para que os fragmentos candidatos não passem na filtragem e retornem uma lista vazia.
Localização treinada em perplexidade usando reconhecimento de entidade nomeada, detecção de PII e dados extrativos de perguntas e respostas, com descrições de campos que variam de rótulos curtos a instruções em linguagem natural. Essa organização de dados exige que o modelo compreenda a relação entre os significados dos campos e o conteúdo do texto, em vez de apenas memorizar nomes fixos de campos.
Localizar também traz problemas de interferência de parâmetros. O cabeçote de decisão original aprende a distribuição de probabilidade entre as opções candidatas, e o cabeçote de extensão aprende os limites do texto e os pares de segmentos. As duas tarefas possuem requisitos diferentes para a representação interna do modelo.
A Perplexity descobriu que a fusão do adaptador Locate no backbone degradava as solicitações de decisão comuns, mantendo o adaptador LoRA autônomo habilitado apenas para tarefas de localização de texto.
O modelo principal é treinado em etapas. A versão maior é baseada em Qwen3.8-27B. Primeiro, realiza ajustes gerais e completos em grande escala e exclui a divisão de treinamento dos parâmetros de avaliação pública. Em seguida, adiciona tarefas de domínio por meio do LoRA e, em seguida, realiza a adaptação visual. A equipe calculou a média dos pesos de treinamento de texto de três sementes aleatórias diferentes para melhorar o desempenho geral do modelo.
A versão Flash é baseada no Qwen3.5-4B, ganhando capacidades através de uma destilação maior do Decider. O modelo do aluno ajusta-se à distribuição de probabilidade completa dada pelo professor e aprende o julgamento relativo do professor sobre os diferentes candidatos através da divergência KL. Leifeng.com (conta pública: Leifeng.com)
Comparada a aprender apenas o rótulo correto, a destilação de distribuição também preserva a confiança relativa de outros candidatos. A perplexidade mostra que a destilação KL generaliza melhor do que o objetivo de entropia cruzada padrão na tarefa de resistência, dados os mesmos dados de treinamento.
Na avaliação, o Decider v1.3 alcançou uma precisão média de 91,6% em 63 tarefas de classificação, 6,54 pontos percentuais a mais do que o classificador de produção original do Perplexity. Em 72 tarefas de recuperação, a média nDCG@10 de reclassificação pontual atingiu 83,99, 1,81 pontos a mais que Qwen3-Reranker-8B.
A precisão média nas oito tarefas linguísticas foi de 88,16% e Jev 1,14 foi de 85,41%. A pontuação média do Locate nas 17 tarefas fora do domínio foi 69,0, e a do Flash foi 63,6. A avaliação de produção abrange um milhão de solicitações nos primeiros 18 dias após a entrada em operação da API e inclui 2.318.887 problemas após a desduplicação. Como as solicitações de produção não tinham anotação humana, a equipe usou um modelo de avaliação LLM de última geração para gerar respostas de referência.
A consistência do Decider v1.3 com a resposta de referência é de 93,98%, ligeiramente superior aos 93,68% da v1.2 e aos 93,35% do Jev 1.14. Estes dados refletem o grau de concordância entre o modelo e o modelo de avaliação, mas não podem ser diretamente equiparados à verdadeira taxa de precisão sob anotação manual.
04
Julgamento, comece a ter uma arquitetura de computação independente
A rota técnica do Decider gira em torno de um problema claro: como fazer com que o modelo lide com eficiência com um grande número de julgamentos estruturados, mantendo a capacidade de compreender o contexto. Ele estabelece um sistema completo de capacidade desde o julgamento de opções até o posicionamento de texto por meio de protocolos de entrada, atenção isolada e extensões de localização.
Mas esta arquitetura ainda tem limites. Os resultados da avaliação pública atual mostram seu desempenho em classificação, reorganização de recuperação e extração de texto, e os casos de produção também mostram que a Perplexity o utilizou para fluxos de trabalho internos.
No entanto, o benefício real do modelo ainda depende do tipo de tarefa, da extensão do contexto, do número de problemas paralelos e do custo de implantação. Os dados existentes não são suficientes para provar que esta arquitectura é adequada para todas as aplicações de IA, especialmente raciocínio aberto e planeamento complexo, e o LLM geral ainda tem as suas próprias vantagens.
Para o sistema Agente, o Decider realmente fornece uma ideia de divisão de trabalho que vale a pena continuar a verificar: deixe o LLM geral lidar com a compreensão e geração complexas e entregue classificação, triagem e avaliação claramente delimitadas para modelos especializados. No entanto, se os dois podem formar um método de colaboração mais adequado, precisa ser testado mais detalhadamente com base na latência, no consumo de recursos e no desempenho de tarefas em cargas de trabalho reais.
Link de referência: https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider
Artigos originais da Leifeng.com, a reprodução não autorizada é proibida. Consulte as instruções de reimpressão para obter detalhes.
editar
Reenviar e-mail Modificar e-mail




