Автор: Чжэн Цзямэй

Редактор 丨 Цен Фэн

На этот раз недоумение напрямую изменило способ решения моделью задач принятия решений: один и тот же контекст может использоваться для нескольких вопросов одновременно, и модели нужно выполнить только одно прямое распространение, чтобы вывести вероятность ответа на каждый вопрос. Процесс, который раньше требовал многократного вызова LLM, генерации текста и анализа результатов, теперь можно объединить в один расчет модели.

Чтобы позволить нескольким задачам совместно использовать вычисления, не мешая друг другу, Perplexity также переработала механизм внимания, чтобы позволить общему состоянию считывать все задачи, ограничивая при этом прямой обмен информацией между задачами. В версии 1.3 дополнительно добавлена ​​возможность поиска, которая позволяет напрямую находить исходный текстовый диапазон в соответствии с описанием поля, интегрируя оценку и извлечение текста в одну и ту же архитектуру.

Этот набор моделей уже вошел в производственную систему Perplexity. В ходе внутренней проверки безопасности компания обработала 7000 сеансов агента за один день, прочитала в общей сложности 1 миллиард токенов и потребовала внесения 14 исправлений правил.

С точки зрения технической архитектуры Decider имеет три тесно связанных уровня проектирования: как входная часть объединяет общий контекст и независимые вопросы вместе, как уровень внимания контролирует информационное взаимодействие различных вопросов и как уровни обучения и вывода позволяют одной и той же модели учитывать как классификационное суждение, так и позиционирование текста.

Среди них внимание к изолированной проблеме меняет основной способ многозадачных совместных вычислений, а также является ключом к пониманию всей архитектуры Decider.

01

Один контекст несет в себе несколько задач суждения

Ввод Decider фактически состоит из общего состояния (State) и нескольких блоков вопросов (Question). Состояние сохраняет веб-страницы, документы или записи выполнения агента, а вопрос описывает конкретные цели оценки и перечисляет варианты ответов. Каждый кандидат сопоставляется с предопределенным маркером метки, например A, B, C, и специальным <|marker|> Токен отмечает позицию чтения ответа.

В ходе обработки модели скрытое состояние соответствующей позиции Маркера будет извлечено, передано руководителю, принимающему решения, для расчета оценки каждого кандидата, а затем преобразовано в распределение вероятностей.

Головка принятия решения здесь модифицирована из выходного слоя исходной языковой модели базовой модели: Perplexity сохраняет строки весов, соответствующие меткам-кандидатам, таким как A, B, C и т. д., удаляет оставшиеся выходные веса словаря, а затем обучается задаче принятия решений. Выходной уровень, первоначально использовавшийся для расчета вероятности следующего токена, теперь специально используется для оценки вариантов.

Эта конструкция отделяет определение задачи от расчета выходных данных. Вызывающий может описать вопрос на естественном языке и ограничить пространство ответов с помощью вариантов, а модель отвечает за расчет вероятности каждого варианта на основе контекста.

Анализ настроений, рассуждение на естественном языке, обнаружение намерений, сопоставление сущностей, модерация контента, проверка фактов и оценка могут использовать один и тот же набор входных протоколов без необходимости построения отдельной структуры модели для каждой задачи.

Perplexity преобразует сотни общедоступных наборов данных в единый формат обучения, состоящий из состояний, вопросов, вариантов и целей. Целью обучения может быть либо правильная метка, либо полное распределение вероятностей ответов. В ситуациях, когда необходимо выполнить несколько суждений по одному и тому же длинному тексту, несколько Вопросов можно поместить в одно и то же прямое распространение, и модели необходимо обрабатывать только один общий контекст.

Однако расчет выгоды требует точного понимания: добавление вопросов все равно увеличит жетоны вопросов и расчеты внимания. Decider экономит главным образом затраты на повторное кодирование длинного текста, а также затраты на потокенное декодирование и внешний анализ генеративной модели. Чем больше вопросов и чем длиннее общий текст, тем очевиднее будет ценность повторного использования.

Вероятность выхода также оставляет место для корректировки бизнес-стратегий. Модель отвечает за распределение вероятностей кандидатов, а приложение устанавливает пороговые значения, основанные на бизнес-затратах на ложноположительные и ложноотрицательные результаты. Веб-фильтрация и проверка выполнения агентов могут использовать разные пороговые значения без переобучения модели принятия решений для каждого бизнеса.

02

Как обмениваться информацией между несколькими задачами, не мешая друг другу

После определения входного протокола в модель попадает новый вопрос: в Трансформатор одновременно поступает несколько Вопросов, какую информационную связь между ними следует установить?

Decider использует генеративный LLM в качестве своей основы. Исходное причинное внимание организует информацию в текстовом порядке. Текущая позиция может читать только себя и предыдущий токен. Эта структура подходит для пошагового создания текста, но не способствует решению задач, требующих понимания всего контекста.

Поэтому Perplexity вместо этого использует двунаправленное внимание, позволяя Token прочитать весь ввод. Эксперименты по абляции показывают, что эта корректировка улучшает эффективность принятия решений моделью.

Двунаправленное внимание открывает полный контекст, но также позволяет взаимодействовать информации между несколькими проблемами. Версия 1.2 использует режим полной взаимной видимости, состояние и все вопросы могут читать друг друга. Таким образом, на представление определенного вопроса могут влиять другие вопросы, и когда вызывающий абонент корректирует комбинацию вопросов, первоначальное суждение также может соответствующим образом измениться.

Внимание к изолированному вопросу, представленное в версии 1.3, меняет этот набор отношений связи: состояние может читать все вопросы, но каждый вопрос может читать только состояние и свой собственный токен и не может напрямую читать другие вопросы.

Здесь есть ключевая деталь: состояние больше не является просто контейнером для хранения необработанного текста, оно также берет на себя роль агрегирования информации по задачам. Он может прочитать весь набор вопросов и сформировать контекстное представление, содержащее условия задачи в многоуровневых вычислениях внимания. Каждый Вопрос получает соответствующую информацию через Состояние и сохраняет собственное описание задачи.

Эта структура отсекает прямую передачу локальных представлений между Вопросами, но не устраняет всех косвенных эффектов. Поскольку State прочитал информацию о других проблемах, после многоуровневого распространения Transformer информация о проблеме A все еще может войти в последующее представление State, а затем быть прочитана проблемой B.

Растерянность контролирует прямые связи внимания, а не делает задачи полностью независимыми в математическом смысле. Это различие также объясняет, почему в версии 1.3 не выбран режим полного кэширования. Команда протестировала другую структуру: State читает только свой контент, а вопрос читает состояние и свой токен. leifeng.com

Таким образом, один и тот же фрагмент текста может повторно использоваться в кеше между запросами, поскольку представление состояния не зависит от конкретного набора вопросов. Но цена состоит в том, что State не может видеть требования задачи при кодировании и не может адаптировать контекстное представление к текущей проблеме. Недоумение в конечном итоге выбирает внимание к изолированному вопросу, сохраняя условное воздействие вопросов на контекст.

Команда также проверила стабильность вывода с помощью тестирования возмущений меток. В 372 вопросах с множественным выбором изменение порядка вариантов, сопоставления меток и названий меток привело к семантическим изменениям ответов только для 0,27% вопросов в Decider v1.3 и с 2,69% до 4,84% в Jev 1.14. Вывод Decider v1.3 остается последовательным при многократном выполнении с одним и тем же вводом.

Таким образом, изолированное внимание стало основным архитектурным проектом Decider: оно определяет, как общий контекст участвует в множественных суждениях, а также определяет пути обмена информацией между различными проблемами.

03

От выбора варианта до извлечения фрагмента текста

Диапазон вывода обычного заголовка решения ограничен предустановленными опциями. Когда задача требует, чтобы модель нашла текст неизвестной длины из исходного текста, такие метки, как A, B и C, больше не могут удовлетворить спрос. Поэтому Decider v1.3 добавляет Locate, расширяя вывод до позиционирования текстового диапазона.

Найдите добавления <|locate|> Токен, головка Span и адаптер LoRA. Каждое извлекаемое поле имеет независимый токен поиска, и его внедрение инициализируется представлением маркера, полученным в результате предыдущего обучения. Заголовок диапазона объединяет скрытое представление каждого токена в функции «Найти токен и состояние», чтобы оценить начальную точку, конечную точку и парные отношения между двумя концами фрагмента текста-кандидата, и в то же время генерирует уникальный порог для поля.

Оценки начальной и конечной точек отвечают за поиск границ текста, а оценки спаривания определяют, могут ли две позиции образовать действительный сегмент. Нахождение двух позиций с высокими баллами по отдельности не означает, что они должны принадлежать одному и тому же разумному тексту, поэтому парные отношения также необходимо изучать независимо. Модель возвращает исходный диапазон символов, и последующие программы могут напрямую читать соответствующий контент. Лэйфэнвань

В обучении используется модифицированная версия цели InfoNCE, в которой оценка правильного диапазона выше порогового значения, а пороговое значение выше, чем у других возможных диапазонов. Когда в исходном тексте нет соответствующего поля, модели необходимо повысить порог, чтобы фрагменты-кандидаты не могли пройти фильтрацию и вернуть пустой список.

Обучение работе с недоумением. Найдите с помощью распознавания именованных объектов, обнаружения личных данных и извлечения данных вопросов и ответов с описаниями полей, начиная от коротких меток и заканчивая инструкциями на естественном языке. Такая организация данных требует, чтобы модель понимала взаимосвязь между значениями полей и текстовым содержимым, а не просто запоминала фиксированные имена полей.

Функция Locate также вызывает проблемы с интерференцией параметров. Исходная голова принятия решения изучает распределение вероятностей между вариантами-кандидатами, а голова диапазона изучает границы текста и пары сегментов. Эти две задачи предъявляют разные требования к внутреннему представлению модели.

Компания Perplexity обнаружила, что объединение адаптера Locate с магистральной сетью ухудшило общие запросы принятия решений, поэтому автономный адаптер LoRA оставался включенным только для задач определения местоположения текста.

Основная модель обучается поэтапно. Более крупная версия основана на Qwen3.8-27B. Сначала он проводит масштабную общую и полную доработку и исключает обучение подразделения государственной оценки эталонов. Затем он добавляет предметные задачи через LoRA, а затем выполняет визуальную адаптацию. Команда усреднила веса обучения текста из трех разных случайных начальных чисел, чтобы улучшить общую производительность модели.

Версия Flash основана на Qwen3.5-4B и расширяет возможности за счет более крупной дистилляции Decider. Модель ученика соответствует полному распределению вероятностей, заданному учителем, и изучает относительное суждение учителя о различных кандидатах посредством расхождения KL. Leifeng.com (публичный аккаунт: Leifeng.com)

По сравнению с изучением только правильной метки, дистилляция распределения также сохраняет относительную уверенность других кандидатов. Perplexity показывает, что дистилляция KL обобщает лучше, чем стандартная цель перекрестной энтропии, для задачи удержания при тех же данных обучения.

В ходе оценки Decider v1.3 достиг средней точности 91,6% в 63 задачах классификации, что на 6,54 процентных пункта выше, чем у исходного производственного классификатора Perplexity. В 72 задачах поиска средний показатель nDCG@10 поточечного реранжирования достиг 83,99, что на 1,81 балла выше, чем у Qwen3-Reranker-8B.

Средняя точность восьми языковых заданий составила 88,16%, а Jev 1,14 — 85,41%. Средний балл Locate по 17 задачам вне домена составил 69,0, а Flash — 63,6. Рабочая оценка охватывает один миллион запросов в течение первых 18 дней после запуска API и включает 2 318 887 проблем после дедупликации. Поскольку в производственных запросах не было аннотаций, выполняемых человеком, команда использовала передовую модель оценки LLM для генерации эталонных ответов.

Согласованность Decider v1.3 с эталонным ответом составляет 93,98%, что немного выше, чем 93,68% версии 1.2 и 93,35% версии Jev 1.14. Эти данные отражают степень согласия между моделью и моделью оценки, но не могут быть напрямую приравнены к истинному уровню точности при ручном аннотировании.

04

Суждение, начните иметь независимую вычислительную архитектуру

Технический путь решения Decider вращается вокруг четкой проблемы: как заставить модель эффективно обрабатывать большое количество структурированных суждений, сохраняя при этом способность понимать контекст. Он устанавливает полную систему возможностей от выбора варианта до позиционирования текста с помощью протоколов ввода, изолированного внимания и расширений Locate.

Но у этой архитектуры все еще есть границы. Текущие результаты публичной оценки показывают его эффективность в классификации, реорганизации поиска и извлечении текста, а производственные примеры также показывают, что Perplexity использовала его для внутренних рабочих процессов.

Однако фактическая выгода от модели по-прежнему зависит от типа задачи, длины контекста, количества параллельных задач и стоимости развертывания. Существующих данных недостаточно, чтобы доказать, что эта архитектура подходит для всех приложений ИИ, особенно для открытых рассуждений и сложного планирования, и общий LLM по-прежнему имеет свои преимущества.

Для системы «Агент» Decider действительно предлагает идею разделения труда, которую стоит продолжать проверять: пусть общий LLM занимается сложным пониманием и генерацией, а четкую классификацию, отбор и оценку передает специализированным моделям. Однако вопрос о том, смогут ли эти два метода сформировать более подходящий метод совместной работы, необходимо дополнительно проверить на основе задержки, потребления ресурсов и производительности задач в реальных рабочих нагрузках.

Справочная ссылка: https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider.

Оригинальные статьи с сайта Leifeng.com, несанкционированное копирование запрещено. Подробности см. в инструкциях по перепечатке.

редактировать

Повторно отправить электронное письмо Изменить электронное письмо