Autor丨Zheng Jiamei
Herausgeber: Cen Feng
Diesmal hat Perplexity die Art und Weise, wie das Modell Beurteilungsaufgaben handhabt, direkt verändert: Derselbe Kontext kann von mehreren Fragen gleichzeitig verwendet werden, und das Modell muss nur eine Vorwärtspropagierung durchführen, um die Antwortwahrscheinlichkeit für jede Frage auszugeben. Der Prozess, der früher das wiederholte Aufrufen von LLM, das Generieren von Text und das Analysieren von Ergebnissen erforderte, kann jetzt in einer Modellberechnung zusammengeführt werden.
Um mehreren Problemen die gemeinsame Nutzung von Berechnungen zu ermöglichen, ohne sich gegenseitig zu stören, hat Perplexity außerdem den Aufmerksamkeitsmechanismus neu gestaltet, um dem gemeinsamen Status das Lesen aller Probleme zu ermöglichen und gleichzeitig den direkten Informationsaustausch zwischen Problemen einzuschränken. v1.3 fügt darüber hinaus die Funktion „Locate“ hinzu, mit der der ursprüngliche Textbereich anhand der Feldbeschreibung direkt lokalisiert werden kann, wodurch Beurteilung und Textextraktion in derselben Architektur integriert werden.
Dieser Modellsatz ist bereits in das Produktionssystem von Perplexity eingeflossen. Bei einer internen Sicherheitsüberprüfung wurden an einem einzigen Tag 7.000 Agentensitzungen verarbeitet, insgesamt 1 Milliarde Token gelesen und auf 14 Regelkorrekturen gedrängt.
Aus Sicht der technischen Architektur verfügt Decider über drei eng miteinander verbundene Entwurfsebenen: Wie organisiert die Eingabeseite den gemeinsamen Kontext und unabhängige Fragen zusammen, wie steuert die Aufmerksamkeitsschicht die Informationsinteraktion verschiedener Fragen und wie ermöglichen die Trainings- und Ausgabeebenen, dass dasselbe Modell sowohl die Klassifizierungsbeurteilung als auch die Textpositionierung berücksichtigt.
Unter anderem verändert die Aufmerksamkeit auf isolierte Probleme die zugrunde liegende Art des Multitasking-Shared-Computing und ist auch ein Schlüssel zum Verständnis der gesamten Decider-Architektur.
01
Ein Kontext trägt mehrere Beurteilungsaufgaben
Die Eingabe von Decider besteht tatsächlich aus einem gemeinsamen Status (State) und mehreren Frageblöcken (Question). Der Status speichert Webseiten, Dokumente oder Agentenausführungsaufzeichnungen, und die Frage beschreibt spezifische Beurteilungsziele und listet die Antworten der Kandidaten auf. Jeder Kandidat wird einem vordefinierten Label-Token zugeordnet, z. B. A, B, C, und dem speziellen <|marker|> Token markiert die Leseposition der Antwort.
Während der Modellverarbeitung wird der verborgene Zustand der entsprechenden Position des Markers extrahiert, an den Entscheidungsleiter übergeben, um die Punktzahl jedes Kandidaten zu berechnen, und dann in eine Wahrscheinlichkeitsverteilung umgewandelt.
Der Entscheidungskopf wird hier gegenüber der Ausgabeschicht des ursprünglichen Sprachmodells des Basismodells modifiziert: Perplexity behält die Gewichtszeilen bei, die Kandidatenbezeichnungen wie A, B, C usw. entsprechen, entfernt die verbleibenden Vokabularausgabegewichte und trainiert dann für die Entscheidungsaufgabe. Die Ausgabeschicht, die ursprünglich zur Berechnung der Wahrscheinlichkeit des nächsten Tokens verwendet wurde, wird jetzt speziell für die Optionsbeurteilung verwendet.
Dieses Design trennt die Aufgabendefinition von der Ausgabeberechnung. Der Anrufer kann die Frage in natürlicher Sprache beschreiben und den Antwortraum durch Optionen einschränken. Das Modell ist dafür verantwortlich, die Wahrscheinlichkeit jeder Option basierend auf dem Kontext zu berechnen.
Stimmungsanalyse, Argumentation in natürlicher Sprache, Absichtserkennung, Entitätsabgleich, Inhaltsmoderation, Faktenprüfung und Bewertung können denselben Satz von Eingabeprotokollen verwenden, ohne dass für jede Aufgabe eine separate Modellstruktur erstellt werden muss.
Perplexity wandelt Hunderte öffentlicher Datensätze in ein einheitliches Trainingsformat um, das aus Zuständen, Fragen, Optionen und Zielen besteht. Das Trainingsziel kann entweder die richtige Bezeichnung oder die vollständige Antwortwahrscheinlichkeitsverteilung sein. In Situationen, in denen mehrere Beurteilungen für denselben Langtext durchgeführt werden müssen, können mehrere Fragen in dieselbe Vorwärtspropagierung gestellt werden, und das Modell muss nur einen gemeinsamen Kontext verarbeiten.
Die Berechnung der Vorteile erfordert jedoch ein genaues Verständnis: Durch das Hinzufügen von Fragen werden immer noch die Frage-Tokens und die Aufmerksamkeitsberechnungen erhöht. Was Decider einspart, sind hauptsächlich die Kosten für die wiederholte Codierung von Langtexten sowie die Kosten für die Token-für-Token-Decodierung und das externe Parsen des generativen Modells. Je größer die Anzahl der Fragen und je länger der geteilte Text ist, desto deutlicher wird der Wiederverwendungswert.
Die Ausgabewahrscheinlichkeit lässt auch Spielraum für die Anpassung von Geschäftsstrategien. Das Modell ist dafür verantwortlich, die Wahrscheinlichkeitsverteilung der Kandidaten anzugeben, und die Anwendung legt Schwellenwerte fest, die auf den Geschäftskosten von falsch-positiven und falsch-negativen Ergebnissen basieren. Bei der Webfilterung und der Überprüfung der Agentenausführung können unterschiedliche Schwellenwerte verwendet werden, ohne dass das Entscheidungsmodell für jedes Unternehmen neu trainiert werden muss.
02
So teilen Sie Informationen zwischen mehreren Aufgaben, ohne sich gegenseitig zu stören
Nachdem das Eingabeprotokoll festgelegt wurde, fällt eine neue Frage in das Modell: Mehrere Fragen gelangen gleichzeitig in den Transformer. Welche Art von Informationsverbindung soll zwischen ihnen hergestellt werden?
Decider nutzt generatives LLM als Rückgrat. Die ursprüngliche kausale Aufmerksamkeit organisiert Informationen in Textreihenfolge. Die aktuelle Position kann nur sich selbst und den vorherigen Token lesen. Diese Struktur eignet sich zum schrittweisen Generieren von Text, eignet sich jedoch nicht für Beurteilungsaufgaben, bei denen das Verständnis des gesamten Kontexts erforderlich ist.
Perplexity verwendet daher stattdessen bidirektionale Aufmerksamkeit, sodass Token die vollständige Eingabe lesen kann. Ablationsexperimente zeigen, dass diese Anpassung die Entscheidungsleistung des Modells verbessert.
Bidirektionale Aufmerksamkeit erschließt den gesamten Kontext, ermöglicht aber auch die Interaktion von Informationen zwischen mehreren Themen. v1.2 verwendet den vollständigen gegenseitigen Sichtbarkeitsmodus, Status und alle Fragen können sich gegenseitig lesen. Auf diese Weise kann die Darstellung einer bestimmten Frage durch andere Fragen beeinflusst werden, und wenn der Anrufer die Kombination von Fragen anpasst, kann sich auch das ursprüngliche Urteil entsprechend ändern.
Die in Version 1.3 eingeführte Aufmerksamkeit für isolierte Fragen ändert diesen Satz von Verbindungsbeziehungen: Der Status kann alle Fragen lesen, aber jede Frage kann nur den Status und ihr eigenes Token lesen und andere Fragen nicht direkt lesen.
Hier gibt es ein wichtiges Detail: State ist nicht mehr nur ein Container zum Speichern von Rohtext, sondern übernimmt auch die Rolle der aufgabenübergreifenden Aggregation von Informationen. Es kann den gesamten Fragensatz lesen und eine kontextbezogene Darstellung erstellen, die Aufgabenbedingungen in mehrschichtigen Aufmerksamkeitsberechnungen enthält. Jede Frage erhält relevante Informationen über den Staat und behält ihre eigene Aufgabenbeschreibung.
Diese Struktur unterbindet die direkte Übertragung lokaler Darstellungen zwischen Fragen, beseitigt jedoch nicht alle indirekten Effekte. Da State die Informationen anderer Issues gelesen hat, können die Informationen von Issue A nach der mehrschichtigen Transformer-Ausbreitung möglicherweise immer noch in die nachfolgende Darstellung von State eingehen und dann von Issue B gelesen werden.
Ratlosigkeit steuert direkte Aufmerksamkeitsverbindungen, anstatt Aufgaben im mathematischen Sinne völlig unabhängig zu machen. Dieser Unterschied erklärt auch, warum der vollständig zwischenspeicherbare Modus in Version 1.3 nicht ausgewählt ist. Das Team hat eine andere Struktur getestet: State liest nur seinen eigenen Inhalt und Question liest State und seinen eigenen Token. leifeng.com
Auf diese Weise kann derselbe Textabschnitt zwischen Anfragen im Cache wiederverwendet werden, da die Zustandsdarstellung nicht vom spezifischen Fragensatz abhängt. Der Preis besteht jedoch darin, dass State die Aufgabenanforderungen beim Codieren nicht erkennen und die kontextuelle Darstellung nicht an das aktuelle Problem anpassen kann. Ratlosigkeit entscheidet sich schließlich für die Aufmerksamkeit isolierter Fragen und behält die bedingte Wirkung von Fragen auf den Kontext bei.
Das Team überprüfte auch die Ausgabestabilität durch Etikettenstörungstests. Bei 372 Multiple-Choice-Fragen führte die Änderung der Optionsreihenfolge, der Etikettenzuordnung und der Etikettennamen zu semantischen Antwortänderungen bei nur 0,27 % der Fragen in Decider v1.3 und von 2,69 % auf 4,84 % in Jev 1.14. Die Ausgabe von Decider v1.3 bleibt konsistent, wenn sie wiederholt mit derselben Eingabe ausgeführt wird.
Die isolierte Aufmerksamkeit ist somit zum zentralen Architekturdesign von Decider geworden: Sie bestimmt, wie der gemeinsame Kontext an mehreren Urteilen teilnimmt, und bestimmt auch die Wege, über die Informationen zwischen verschiedenen Problemen ausgetauscht werden können.
03
Von der Optionsbeurteilung bis zur Textspannenextraktion
Der Ausgabebereich eines normalen Entscheidungsheaders ist durch voreingestellte Optionen begrenzt. Wenn die Aufgabe erfordert, dass das Modell einen Text unbekannter Länge aus dem Originaltext findet, können Bezeichnungen wie A, B und C die Anforderung nicht mehr erfüllen. Decider v1.3 fügt daher Locate hinzu und erweitert die Ausgabe auf die Textspannenpositionierung.
Locate fügt <|locate|> hinzu. Token, Span Head und LoRA-Adapter. Jedes zu extrahierende Feld verfügt über ein unabhängiges Locate-Token, dessen Einbettung durch die aus dem vorherigen Training erhaltene Marker-Darstellung initialisiert wird. Der Span-Header kombiniert die verborgene Darstellung jedes Tokens in Locate Token und State, um den Startpunkt, den Endpunkt und die Paarungsbeziehung zwischen den beiden Enden des Kandidatentextfragments zu bewerten und gleichzeitig einen eindeutigen Schwellenwert für das Feld zu generieren.
Die Start- und Endpunktwerte sind für das Auffinden von Textgrenzen verantwortlich, während die Paarungswerte bestimmen, ob die beiden Positionen ein gültiges Segment bilden können. Das alleinige Finden von zwei Positionen mit hoher Punktzahl bedeutet nicht, dass sie zum selben vernünftigen Text gehören müssen, daher muss die Paarungsbeziehung auch unabhängig voneinander erlernt werden. Das Modell gibt den ursprünglichen Zeichenbereich zurück und nachgeschaltete Programme können den entsprechenden Inhalt direkt lesen. leifengwan
Das Training verwendet eine modifizierte Version des InfoNCE-Ziels, sodass die Punktzahl des richtigen Bereichs höher als der Schwellenwert ist und der Schwellenwert höher ist als der der anderen Kandidaten-Bereiche. Wenn im Originaltext kein entsprechendes Feld vorhanden ist, muss das Modell den Schwellenwert erhöhen, damit die Kandidatenfragmente die Filterung nicht bestehen und eine leere Liste zurückgeben können.
Perplexity trainierte Locate mithilfe der Erkennung benannter Entitäten, PII-Erkennung und extrahierender Frage- und Antwortdaten, mit Feldbeschreibungen, die von kurzen Beschriftungen bis hin zu Anweisungen in natürlicher Sprache reichen. Eine solche Datenorganisation erfordert, dass das Modell die Beziehung zwischen Feldbedeutungen und Textinhalt versteht, anstatt sich nur feste Feldnamen zu merken.
Die Ortung führt auch zu Parameterinterferenzproblemen. Der ursprüngliche Entscheidungskopf lernt die Wahrscheinlichkeitsverteilung zwischen Kandidatenoptionen und der Span-Kopf lernt Textgrenzen und Segmentpaarungen. Die beiden Aufgaben stellen unterschiedliche Anforderungen an die interne Darstellung des Modells.
Perplexity stellte fest, dass die Zusammenführung des Locate-Adapters in das Backbone die allgemeinen Entscheidungsanfragen beeinträchtigte, sodass der eigenständige LoRA-Adapter nur für Textortungsaufgaben aktiviert blieb.
Das Hauptmodell wird stufenweise trainiert. Die größere Version basiert auf Qwen3.8-27B. Es führt zunächst eine umfassende allgemeine und vollständige Feinabstimmung durch und schließt die Schulungsabteilung öffentlicher Bewertungsbenchmarks aus. Anschließend fügt es Domänenaufgaben über LoRA hinzu und führt dann eine visuelle Anpassung durch. Das Team hat die Texttrainingsgewichte aus drei verschiedenen Zufallsstartwerten gemittelt, um die Gesamtleistung des Modells zu verbessern.
Die Flash-Version basiert auf Qwen3.5-4B und gewinnt durch eine größere Decider-Destillation an Fähigkeiten. Das Schülermodell passt sich der vom Lehrer vorgegebenen vollständigen Wahrscheinlichkeitsverteilung an und lernt durch die KL-Divergenz die relative Beurteilung verschiedener Kandidaten durch den Lehrer. Leifeng.com (öffentliches Konto: Leifeng.com)
Im Vergleich zum Erlernen nur des richtigen Etiketts bewahrt die Verteilungsdestillation auch das relative Vertrauen anderer Kandidaten. Perplexity zeigt, dass die KL-Destillation bei gleichen Trainingsdaten bei der Hold-Out-Aufgabe besser verallgemeinert als das Standard-Kreuzentropieziel.
In der Auswertung erreichte Decider v1.3 bei 63 Klassifizierungsaufgaben eine durchschnittliche Genauigkeit von 91,6 %, 6,54 Prozentpunkte mehr als der ursprüngliche Produktionsklassifikator von Perplexity. Bei 72 Abrufaufgaben erreichte der durchschnittliche nDCG@10 der punktweisen Neubewertung 83,99, 1,81 Punkte mehr als Qwen3-Reranker-8B.
Die durchschnittliche Genauigkeit bei den acht Sprachaufgaben betrug 88,16 % und Jev 1,14 lag bei 85,41 %. Die durchschnittliche Punktzahl von Locate bei den 17 Aufgaben außerhalb der Domäne lag bei 69,0 und die von Flash bei 63,6. Die Produktionsauswertung umfasst eine Million Anfragen in den ersten 18 Tagen nach der Live-Schaltung der API und umfasst 2.318.887 Probleme nach der Deduplizierung. Da es bei den Produktionsanfragen an menschlichen Anmerkungen mangelte, nutzte das Team ein hochmodernes LLM-Bewertungsmodell, um Referenzantworten zu generieren.
Die Konsistenz von Decider v1.3 mit der Referenzantwort beträgt 93,98 %, etwas höher als die 93,68 % von v1.2 und 93,35 % von Jev 1.14. Diese Daten spiegeln den Grad der Übereinstimmung zwischen dem Modell und dem Bewertungsmodell wider, können jedoch nicht direkt mit der tatsächlichen Genauigkeitsrate bei manueller Annotation gleichgesetzt werden.
04
Urteilen Sie, beginnen Sie mit einer unabhängigen Computerarchitektur
Der technische Weg von Decider dreht sich um ein klares Problem: Wie kann das Modell dazu gebracht werden, eine große Anzahl strukturierter Urteile effizient zu verarbeiten und gleichzeitig die Fähigkeit zu bewahren, den Kontext zu verstehen? Es stellt ein vollständiges Fähigkeitssystem von der Optionsbeurteilung bis zur Textpositionierung durch Eingabeprotokolle, isolierte Aufmerksamkeit und Lokalisierungserweiterungen her.
Aber diese Architektur hat immer noch Grenzen. Die aktuellen Ergebnisse der öffentlichen Evaluierung zeigen seine Leistung bei der Klassifizierung, der Neuanordnung des Abrufs und der Textextraktion, und Produktionsfälle zeigen auch, dass Perplexity es für interne Arbeitsabläufe verwendet hat.
Der tatsächliche Nutzen des Modells hängt jedoch weiterhin vom Aufgabentyp, der Kontextlänge, der Anzahl paralleler Probleme und den Bereitstellungskosten ab. Die vorhandenen Daten reichen nicht aus, um zu beweisen, dass diese Architektur für alle KI-Anwendungen geeignet ist, insbesondere für offenes Denken und komplexe Planung, und allgemeines LLM hat immer noch seine eigenen Vorteile.
Für das Agentensystem liefert Decider in der Tat eine Idee der Arbeitsteilung, die es wert ist, weiter überprüft zu werden: Überlassen Sie das allgemeine LLM das komplexe Verständnis und die Generierung und übergeben Sie klar begrenzte Klassifizierung, Überprüfung und Bewertung an spezialisierte Modelle. Ob die beiden jedoch eine geeignetere Methode für die Zusammenarbeit bilden können, muss anhand der Latenz, des Ressourcenverbrauchs und der Aufgabenleistung bei realen Arbeitslasten weiter getestet werden.
Referenzlink: https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider
Originalartikel von Leifeng.com, unerlaubte Vervielfältigung ist verboten. Einzelheiten finden Sie in den Nachdruckanweisungen.
bearbeiten
E-Mail erneut senden E-Mail ändern




