저자丨Zheng Jiamei

편집자丨Cen Feng

Perplexity는 이번에 모델이 판단 작업을 처리하는 방식을 직접적으로 변경했습니다. 동일한 컨텍스트를 여러 질문에서 동시에 사용할 수 있으며 모델은 각 질문의 답변 확률을 출력하기 위해 한 번의 순방향 전파만 수행하면 됩니다. LLM 호출, 텍스트 생성, 결과 구문 분석을 반복적으로 수행해야 했던 프로세스를 이제 하나의 모델 계산으로 통합할 수 있습니다.

여러 문제가 서로 간섭하지 않고 계산을 공유할 수 있도록 Perplexity는 문제 간의 직접적인 정보 교환을 제한하면서 공유 상태가 모든 문제를 읽을 수 있도록 Attention 메커니즘을 재설계했습니다. v1.3에는 필드 설명에 따라 원본 텍스트 범위를 직접 찾을 수 있는 찾기 기능이 추가되어 판단과 텍스트 추출이 동일한 아키텍처에 통합되었습니다.

이 모델 세트는 이미 Perplexity의 생산 시스템에 들어갔습니다. 내부 보안 검토에서는 하루에 7,000개의 에이전트 세션을 처리하고 총 10억 개의 토큰을 읽었으며 14개의 규칙 수정을 푸시했습니다.

기술 아키텍처의 관점에서 Decider에는 세 가지 밀접하게 관련된 설계 수준이 있습니다. 입력 측이 공유된 컨텍스트와 독립적인 질문을 함께 구성하는 방법, 주의 계층이 다양한 질문의 정보 상호 작용을 제어하는 ​​방법, 교육 및 출력 계층을 통해 동일한 모델이 분류 판단과 텍스트 위치 지정을 모두 고려할 수 있도록 하는 방법입니다.

그 중 고립된 문제 주의는 다중 작업 공유 컴퓨팅의 기본 방식을 변화시키며 전체 Decider 아키텍처를 이해하는 핵심이기도 합니다.

01

하나의 컨텍스트는 여러 판단 작업을 수행합니다.

Decider의 입력은 실제로 공유 상태(State)와 여러 질문 블록(Question)으로 구성됩니다. 상태는 웹페이지, 문서, Agent 실행 기록을 저장하고, 질문은 구체적인 판단 목표를 기술하고 후보 답변을 나열합니다. 각 후보는 A, B, C와 같은 사전 정의된 레이블 토큰과 특수 <|marker|> 토큰은 답을 읽는 위치를 표시합니다.

모델 처리 과정에서 해당 Marker 위치의 Hidden State를 추출하여 의사 결정 책임자에게 전달하여 각 후보자의 점수를 계산한 후 확률 분포로 변환합니다.

여기서 의사결정 헤드는 기본 모델의 원래 언어 모델 출력 레이어에서 수정되었습니다. Perplexity는 A, B, C 등과 같은 후보 레이블에 해당하는 가중치 행을 유지하고 나머지 어휘 출력 가중치를 제거한 다음 의사 결정 작업을 위해 훈련합니다. 원래 다음 토큰의 확률을 계산하는 데 사용된 출력 레이어는 이제 옵션 판단을 처리하는 데 특별히 사용됩니다.

이 디자인은 작업 정의와 출력 계산을 분리합니다. 호출자는 자연어를 통해 질문을 설명하고 옵션을 통해 답변 공간을 제한할 수 있으며, 모델은 상황에 따라 각 옵션의 확률을 계산하는 역할을 담당합니다.

감정 분석, 자연어 추론, 의도 감지, 엔터티 일치, 콘텐츠 조정, 사실 확인 및 점수 매기기는 각 작업에 대해 별도의 모델 구조를 구축할 필요 없이 동일한 입력 프로토콜 세트를 사용할 수 있습니다.

Perplexity는 수백 개의 공개 데이터 세트를 상태, 질문, 옵션 및 목표로 구성된 통합 교육 형식으로 변환합니다. 훈련 목표는 올바른 레이블이거나 완전한 답변 확률 분포일 수 있습니다. 동일한 긴 텍스트에 대해 여러 판단을 수행해야 하는 상황의 경우 여러 질문을 동일한 전방 전파에 넣을 수 있으며 모델은 하나의 공유 컨텍스트만 처리하면 됩니다.

그러나 혜택을 계산하려면 정확한 이해가 필요합니다. 질문을 추가하면 질문 토큰과 주의력 계산이 계속 증가합니다. Decider가 절약하는 것은 주로 긴 텍스트의 반복 인코딩 비용뿐만 아니라 토큰별 디코딩 및 생성 모델의 외부 구문 분석 비용입니다. 질문 수가 많을수록, 공유 텍스트가 길어질수록 재사용 가치는 더욱 분명해집니다.

출력 확률은 또한 비즈니스 전략 조정의 여지를 유지합니다. 모델은 후보자의 확률 분포를 제공하는 역할을 하며, 애플리케이션은 긍정 오류 및 부정 오류의 비즈니스 비용을 기반으로 임계값을 설정합니다. 웹 필터링 및 에이전트 실행 검토는 각 비즈니스에 대한 의사결정 모델을 재교육하지 않고도 서로 다른 임계값을 사용할 수 있습니다.

02

여러 작업 간에 서로 간섭하지 않고 정보를 공유하는 방법

입력 프로토콜이 결정되면 모델 내에 새로운 질문이 포함됩니다. 여러 질문이 동시에 Transformer에 입력됩니다. 질문 사이에 어떤 종류의 정보 연결을 설정해야 합니까?

Decider는 생성적 LLM을 백본으로 사용합니다. 원래 인과주의는 정보를 텍스트 순서로 정리합니다. 현재 위치는 자신과 이전 토큰만 읽을 수 있습니다. 이 구조는 단계별로 텍스트를 생성하는 데 적합하지만 전체 맥락을 이해해야 하는 판단 작업에는 도움이 되지 않습니다.

따라서 Perplexity는 대신 양방향 주의를 사용하여 토큰이 전체 입력을 읽을 수 있도록 합니다. 제거 실험은 이러한 조정이 모델의 의사 결정 성능을 향상시키는 것을 보여줍니다.

양방향 관심은 전체 맥락을 열어줄 뿐만 아니라 여러 문제 간의 정보 상호 작용을 허용합니다. v1.2는 완전한 상호 가시성 모드를 사용하며 상태와 모든 질문은 서로 읽을 수 있습니다. 이와 같이 특정 질문의 표현은 다른 질문의 영향을 받을 수 있으며, 발신자가 질문의 조합을 조정하면 그에 따라 원래의 판단도 바뀔 수 있습니다.

v1.3에 도입된 격리된 질문 주의는 이러한 연결 관계 세트를 변경합니다. 상태는 모든 질문을 읽을 수 있지만 각 질문은 상태와 자체 토큰만 읽을 수 있고 다른 질문을 직접 읽을 수는 없습니다.

여기에는 주요 세부 사항이 있습니다. 상태는 더 이상 원시 텍스트를 저장하기 위한 컨테이너가 아니라 작업 전반에 걸쳐 정보를 집계하는 역할도 맡습니다. 전체 질문 세트를 읽고 다층 주의 계산에서 작업 조건을 포함하는 상황별 표현을 형성할 수 있습니다. 각 질문은 상태를 통해 관련 정보를 얻고 자체 작업 설명을 유지합니다.

이 구조는 질문 간의 지역적 표현의 직접적인 전달을 차단하지만 모든 간접적인 효과를 제거하지는 않습니다. State는 다른 이슈의 정보를 읽었으므로 다층 Transformer 전파 후에도 Issue A의 정보는 여전히 State의 후속 표현에 입력된 다음 Issue B에서 읽을 수 있습니다.

Perplexity는 수학적 의미에서 작업을 완전히 독립적으로 만드는 대신 직접적인 주의 연결을 제어합니다. 이 차이점은 또한 v1.3에서 완전 캐시 가능 모드가 선택되지 않은 이유를 설명합니다. 팀은 또 다른 구조를 테스트했습니다. State는 자체 콘텐츠만 읽고, Question은 State와 자체 토큰을 읽습니다. leifeng.com

이렇게 하면 상태 표현이 특정 질문 세트에 종속되지 않기 때문에 요청 간 캐시에서 동일한 텍스트 조각을 재사용할 수 있습니다. 그러나 비용은 국가가 코딩 시 작업 요구 사항을 볼 수 없고 현재 문제에 대한 상황별 표현을 조정할 수 없다는 것입니다. Perplexity는 최종적으로 문맥에 대한 질문의 조건부 효과를 유지하면서 고립된 질문 주의를 선택합니다.

연구팀은 라벨 교란 테스트를 통해 출력 안정성도 확인했다. 372개의 객관식 질문에서 옵션 순서, 레이블 매핑 및 레이블 이름을 변경하면 Decider v1.3의 질문 중 0.27%에 대해서만 의미론적 답변이 변경되었고 Jev 1.14에서는 2.69%에서 4.84%로 변경되었습니다. Decider v1.3의 출력은 동일한 입력으로 반복적으로 실행될 때 일관성을 유지합니다.

따라서 고립된 관심은 Decider의 핵심 아키텍처 설계가 되었습니다. 이는 공유된 컨텍스트가 여러 판단에 어떻게 참여하는지 결정하고, 다양한 문제 간에 정보가 교환될 수 있는 경로도 결정합니다.

03

옵션 판단부터 텍스트 범위 추출까지

일반 결정 헤더의 출력 범위는 사전 설정된 옵션에 의해 제한됩니다. 작업에서 모델이 원본 텍스트에서 알 수 없는 길이의 텍스트를 찾아야 하는 경우 A, B, C와 같은 레이블은 더 이상 요구를 충족할 수 없습니다. 따라서 Decider v1.3은 Locate를 추가하여 출력을 텍스트 범위 위치 지정으로 확장합니다.

추가 항목 찾기 <|locate|> 토큰, 스팬 헤드 및 LoRA 어댑터. 추출할 각 필드에는 독립적인 위치 토큰이 있으며 해당 임베딩은 이전 훈련에서 얻은 마커 표현에 의해 초기화됩니다. 스팬 헤더는 Locate Token 및 State에서 각 토큰의 숨겨진 표현을 결합하여 후보 텍스트 조각의 두 끝 사이의 시작점, 끝점 및 페어링 관계를 평가하는 동시에 필드에 대한 고유한 임계값을 생성합니다.

시작점과 끝점 점수는 텍스트 경계를 찾는 역할을 하며, 페어링 점수는 두 위치가 유효한 세그먼트를 형성할 수 있는지 여부를 결정합니다. 두 개의 높은 점수 위치를 찾는 것만으로는 반드시 동일한 합리적인 텍스트에 속해야 한다는 의미는 아니므로 페어링 관계도 독립적으로 학습해야 합니다. 모델은 원래 문자 범위를 반환하고 다운스트림 프로그램은 해당 콘텐츠를 직접 읽을 수 있습니다. 레이펜완

훈련에서는 올바른 범위의 점수가 임계값보다 높고 임계값이 다른 후보 범위보다 높도록 InfoNCE 목표의 수정된 버전을 사용합니다. 원본 텍스트에 해당 필드가 없는 경우 모델은 후보 조각이 필터링을 통과하지 못하고 빈 목록을 반환하지 않도록 임계값을 높여야 합니다.

짧은 레이블부터 자연어 지침에 이르는 필드 설명과 함께 명명된 엔터티 인식, PII 감지, 추출 질문 및 답변 데이터를 사용하여 혼란 훈련을 받았습니다. 이러한 데이터 구성을 위해서는 고정된 필드 이름을 단순히 기억하는 것이 아니라 필드 의미와 텍스트 콘텐츠 간의 관계를 이해하는 모델이 필요합니다.

위치는 또한 매개변수 간섭 문제를 야기합니다. 원래 의사결정 헤드는 후보 옵션 간의 확률 분포를 학습하고, 스팬 헤드는 텍스트 경계와 세그먼트 쌍을 학습합니다. 두 작업에는 모델의 내부 표현에 대한 요구 사항이 다릅니다.

Perplexity는 Locate 어댑터를 백본에 병합하면 일반적인 결정 요청이 저하되어 텍스트 위치 작업에만 독립형 LoRA 어댑터를 사용할 수 있다는 사실을 발견했습니다.

메인 모델은 단계별로 훈련됩니다. 더 큰 버전은 Qwen3.8-27B를 기반으로 합니다. 먼저 대규모 일반 및 전체 미세 조정을 수행하고 공개 평가 벤치마크의 교육 부문을 제외합니다. 그런 다음 LoRA를 통해 도메인 작업을 추가한 다음 시각적 적응을 수행합니다. 팀은 전체 모델 성능을 향상시키기 위해 세 가지 다른 무작위 시드의 텍스트 훈련 가중치를 평균화했습니다.

플래시 버전은 Qwen3.5-4B를 기반으로 하며 더 큰 Decider 증류를 통해 기능을 얻습니다. 학생 모델은 교사가 제공한 완전한 확률 분포에 적합하고 KL 발산을 통해 다양한 후보자에 대한 교사의 상대적 판단을 학습합니다. Leifeng.com(공용 계정: Leifeng.com)

올바른 레이블만 학습하는 것과 비교하여 분포 증류는 다른 후보의 상대적 신뢰도도 유지합니다. Perplexity는 KL 증류가 동일한 훈련 데이터가 주어졌을 때 홀드아웃 작업에 대한 표준 교차 엔트로피 목표보다 더 잘 일반화됨을 보여줍니다.

평가에서 Decider v1.3은 63개 분류 작업에서 평균 정확도 91.6%를 달성했는데, 이는 Perplexity의 원래 생산 분류기보다 6.54% 포인트 더 높은 수치입니다. 72개 검색 작업에서 포인트별 reranking의 평균 nDCG@10은 83.99에 도달했는데, 이는 Qwen3-Reranker-8B보다 1.81포인트 더 높았습니다.

8개 언어 작업의 평균 정확도는 88.16%, Jev 1.14는 85.41%였습니다. 17개 도메인 외부 작업에 대한 Locate의 평균 점수는 69.0이었고 Flash의 평균 점수는 63.6이었습니다. 프로덕션 평가에는 API가 활성화된 후 처음 18일 동안 100만 건의 요청이 포함되며 중복 제거 후 2,318,887개의 문제가 포함됩니다. 제작 요청에는 사람의 주석이 부족했기 때문에 팀에서는 최첨단 LLM 심사 모델을 사용하여 참조 답변을 생성했습니다.

기준 답변과 Decider v1.3의 일관성은 93.98%로 v1.2의 93.68% 및 Jev 1.14의 93.35%보다 약간 높습니다. 이 데이터는 모델과 평가 모델 간의 일치 정도를 반영하지만 수동 주석의 실제 정확도와 직접적으로 동일시될 수는 없습니다.

04

판단, 독립적인 컴퓨팅 아키텍처를 갖기 시작

Decider의 기술 경로는 명확한 문제, 즉 상황을 이해하는 능력을 유지하면서 모델이 수많은 구조화된 판단을 효율적으로 처리하도록 만드는 방법을 중심으로 진행됩니다. 옵션 판단부터 입력 프로토콜, 격리된 주의 및 위치 확장을 통한 텍스트 위치 지정까지 완전한 기능 시스템을 구축합니다.

하지만 이 아키텍처에는 여전히 경계가 있습니다. 현재 공개 평가 결과는 분류, 검색 재배열, 텍스트 추출 부문에서 성능을 보여주고 있으며, 제작 사례에서도 Perplexity가 내부 워크플로에 사용한 것으로 나타났습니다.

그러나 모델의 실제 이점은 여전히 ​​작업 유형, 컨텍스트 길이, 병렬 문제 수 및 배포 비용에 따라 달라집니다. 기존 데이터는 이 아키텍처가 모든 AI 애플리케이션, 특히 개방형 추론 및 복잡한 계획에 적합하다는 것을 입증하기에 충분하지 않으며 일반 LLM은 여전히 ​​고유한 장점을 가지고 있습니다.

에이전트 시스템의 경우 Decider는 실제로 계속해서 검증할 가치가 있는 업무 분업에 대한 아이디어를 제공합니다. 즉, 일반 LLM이 복잡한 이해와 생성을 처리하도록 하고 명확한 경계의 분류, 선별 및 평가를 특수 모델에 넘겨줍니다. 그러나 두 가지가 더 적합한 협업 방법을 형성할 수 있는지 여부는 실제 워크로드에서의 대기 시간, 리소스 소비 및 작업 성능을 기반으로 추가 테스트가 필요합니다.

참고 링크: https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider

Leifeng.com의 원본 기사, 무단 복제는 금지되어 있습니다. 자세한 내용은 재인쇄 지침을 참조하세요.

편집하다

이메일 재전송 이메일 수정