Autor丨Zhou Lei
Herausgeber: Cen Feng
Als Bytes Seedance 2.0 Anfang dieses Jahres veröffentlicht wurde, waren viele Praktiker von der Filmqualität auf „Filmniveau“ begeistert und schockiert. Vor ihnen zeichnete sich langsam ein neuer kreativer Entwurf ab – doch für das Seko-Team von SenseTime war es ein „verwirrter“ Tag.
Lin Dahua, Mitbegründer und Chefwissenschaftler von SenseTime, erinnerte sich kürzlich in einem Interview daran, dass ihm in dieser Zeit, als er Investoren traf und an Branchenkonferenzen teilnahm, fast immer die gleiche Frage gestellt wurde: Was ist der Unterschied zwischen Ihrem Seko und Seedance? Schon mal gemacht?
Im Team gab es eine Stimme des Selbstzweifels: Sollen wir so weitermachen?
Später endete die Geschichte nicht damit, dass Seko Seedance im Alleingang „bekämpfte“. Seedance rendert 30-Sekunden-Videoclips auf der obersten Ebene; während Seko sich an Schöpfer richtet und letztendlich 100 Episoden von Kurzdramen liefert – bestehend aus Drehbüchern, Storyboards, Charaktereinstellungen und Bildkonsistenz über Episoden hinweg, was einen kompletten kreativen Prozess darstellt.
Nach klarer Überlegung zu dieser Angelegenheit ist Sekos Leben besser: Laut Lin Dahua im Interview ist die Zahl der Nutzer dieses Produkts in diesem Jahr um das Sieben- bis Achtfache gestiegen, und die Plattform hat Kurzdramen mit über 100 Millionen Aufrufen produziert.
Lin Dahua selbst schätzt die Beliebtheit von SenseTime auf dem großen Modellmarkt ganz offen ein: „Vielleicht ist es nicht der größte.“ Der Weg dieses Unternehmens folgte nie ganz der heißesten Richtung der Branche.
Aber SenseTime hat eine Angewohnheit, die schon seit vielen Jahren anhält: Bis heute investiert das Unternehmen 20 % seiner Ressourcen in die Vorforschungsarbeit, ohne Produkte zu exportieren.
In gewisser Weise handelt es sich hierbei auch um eine Art „Aussaat“. Wenn die Samen in die Erde gepflanzt werden, besteht keine Notwendigkeit, eine Ernte zu versprechen. Der Satz, über den Tang Xiaoou oft spricht – das Leben findet einen Weg, „das Leben findet seinen eigenen Weg“, könnte die Logik dieser Investition sein.
In einem aktuellen Interview mit der Kolumne „Technology Talk“, die gemeinsam von Weibo Technology produziert wurde, gibt es jedoch durchweg nur einen Hinweis: die 20 % der Ressourcen und das Urteil, das sie unterstützt – warum es sich lohnt, einige Wege für eine lange, lange Zeit zu gehen, auch wenn es noch keinen Ausweg gibt.
01
Die Schulungskosten sind nicht zu stoppen, die chinesische KI konkurriert mit der Handgeschwindigkeit
Das Geld in der großen Modellbranche brennt unaufhaltsam.
Früher gab es in der Branche eine weitverbreitete Annahme: Wenn man viel Geld für die Ausbildung eines guten Modells ausgibt, können sich die Kosten in späteren, groß angelegten Dienstleistungen amortisieren.
Lin Dahua wies in dem Interview darauf hin, dass diese Annahme möglicherweise nicht wahr sei – das Problem sei nicht, dass das Modell nicht gut genug sei, sondern dass „wenn man das nächste Modell nicht weiter trainiert, werden andere einen übertreffen.“ Der Wettbewerb zwingt Unternehmen dazu, sich immer wieder neu auszubilden, sodass die Ausbildungskosten nicht aufhören können und immer höher werden.
Obwohl das Narrativ der Branche im vergangenen Jahr fast von „Größer ist stärker“ dominiert wurde, wird der Weg der Volumenparameter konterkariert. Er erwähnte zwei Signale:
Erstens ist die Größenauswahl des Modells pragmatischer geworden. Kürzlich haben verschiedene Hersteller kleine und mittelgroße Modelle auf Flash-Ebene herausgebracht: GLM 5.3 Flash, DeepSeek 4.1 Flash, und auch Google und OpenAI haben Produkte mit ähnlichen Spezifikationen auf den Markt gebracht.
Lin Dahua erwähnte im Interview ausdrücklich die Leistung von DeepSeek: „Das Leistungsniveau von Flash 4.1 ist besser als das von 4.0 Pro.“ Ein Modell mit einer Skala von mehreren Hundert B und gut trainiertem Training übertraf die Vorgängergeneration Pro, was darauf hindeutet, dass der Optimierungsraum im mittelgroßen Modell noch lange nicht ausgeschöpft ist.
Zweitens wurde die Qualität der Daten vor dem Training wieder auf den Tisch gebracht. Als ein Modell mit Hunderten von Milliarden Parametern im tatsächlichen Kampf einen Gegner mit 2 Billionen Parametern übertraf, begannen viele Menschen, zurückzublicken und ihre Datenpipelines zu überprüfen.
Lin Dahua hat dafür eine anschauliche Erklärung: „Es gibt viele Unreinheiten (in den Daten) und viele Dinge, die miteinander kämpfen, sodass viel Effizienz in der Mitte ausgeglichen wird.“ Das Ergebnis ist ein teures und unbefriedigendes Modell. Die Parameter häufen sich, die Wirkung wird jedoch nicht verbessert.
„Ich glaube nicht, dass es ein gesunder Zustand ist, wenn alle blind um Parameter konkurrieren.“ Seiner Ansicht nach bedeuten diese beiden Signale, dass die Branche zur Rationalität zurückkehrt: Sie konkurriert nicht mehr um einen einzelnen Indikator, sondern kehrt zum Wert des Endverbrauchers zurück.
Eine ähnliche Situation ereignete sich auch im letzten KI-Zyklus, und SenseTime selbst war derjenige, der sie erlebte. Jedes Projekt muss mit der Datenerfassung, speziellen Schulungen, Abstimmungen und Tests beginnen. Der gesamte Prozess muss wiederholt werden, was schwierig zu reproduzieren ist. Nur war die Maßeinheit damals ein Projekt, heute ist sie durch einen Parameter ersetzt worden.
Der Kampf gegen die Handgeschwindigkeit ist eine weitere Form der Involution. Die hochmodernen Labore in den Vereinigten Staaten legen die Obergrenze von SOTA fest. Sobald das neue Modell veröffentlicht wird, ist es gleichbedeutend damit, den Praktikern in China den Weg zu weisen. Eine Reihe von Produkten, die angeblich ähnliche Lösungen nutzen, tauchen in China häufig innerhalb von zwei oder drei Monaten auf und erobern die ökologische Nische. Das kürzlich beliebte RSI (Recursive Self-Improvement) wird gleichzeitig auch von einer Reihe von Unternehmen entwickelt.
„Um ehrlich zu sein, ist der Wettbewerb um die Handgeschwindigkeit tatsächlich ziemlich ermüdend.“ Lin Dahua stellte fest, dass es schwierig ist, langfristigen Wert zu schaffen, wenn alle optimistisch in eine Richtung stürzen. Wenn zehn Unternehmen gleichzeitig dieselbe ökologische Nische besetzen, werden die Dividenden des Erstplatzierten schnell verwässert.
Wovon hängt also die langfristige Wettbewerbsfähigkeit ab? Seine Antwort lautet: ein Weg, der lang genug und tief genug ist. Diese Frage ist der Ausgangspunkt für das Verständnis der 20 %-Ressourcen von SenseTime.
02
Die Essenz der Intelligenz:
Vom Anti-Skalierungs-Gesetz zu Sprache und Multimodalität
· 20 % Ressourcen und räumliche Intelligenz
Diese 20 % der Ressourcen werden eindeutig in Arbeiten investiert, „die keine Produkte für den Export haben“. Lin Dahua bestätigte im Interview, dass das Geld bis heute weiterbesteht, egal welchem Betriebsdruck SenseTime ausgesetzt ist. „Wir behalten uns jederzeit bestimmte Ressourcen vor.“
In seinen Worten besteht der Ausgangspunkt dieser Art von Arbeit darin, nach dem Warum zu fragen: Wenn ein Problem mit den vorhandenen Methoden nicht gelöst werden kann, kehren Sie zu den Grundlagen zurück. Er verfolgt nicht die Verwendung komplexer mathematischer Formeln zur Erklärung des Prinzips, sondern fordert, dass dieses Prinzip „einige Probleme effektiv lösen kann, die derzeit mit anderen Methoden nur schwer zu lösen sind“.
Auf diese Weise wurde eine der Forschungsrichtungen von SenseTime, räumliche Intelligenz, ausgewählt.
Die Auswahllogik ist in zwei Schritte unterteilt. Der erste Schritt besteht darin, die jeweils stärksten Modelle zu testen und herauszufinden, was sie nicht gut können. Der zweite Schritt besteht darin, eine weitere Ebene tiefer zu fragen: Können diese Mängel durch das Hinzufügen einiger Daten ausgeglichen werden? Wenn dies durch das Hinzufügen von Daten entlang des ursprünglichen Pfads gut möglich ist, hat es zwar einen Anwendungswert, kann jedoch keine prinzipielle Innovation unterstützen. Lediglich in Richtungen, die unabhängig von der Menge der hinzugefügten Daten nicht gut gelöst werden können, können echte prinzipielle Probleme verborgen bleiben – und räumliche Intelligenz ist zufällig das letztere.
Der Ursprung dieser Reihe von Urteilsstandards lässt sich auf sein Erbe zurückführen. Wenn Tang Xiaoou Schüler unterrichtet, fragt er fast nie nach technischen Details. Er achtet nur auf eines: ob er in ein oder zwei Sätzen den grundlegenden Unterschied zwischen seiner Arbeit und anderen erklären kann. „Keine zwei Blätter auf der Welt sind genau gleich.“ Technisch gesehen kann man immer Unterschiede im Detail finden, aber der Innovationswert solcher Unterschiede ist begrenzt; Wenn man es nicht in einem Satz sagen kann, handelt es sich wahrscheinlich nicht um eine echte Innovation.
Lin Dahua wies darauf hin, dass die „Abnormalität“ der räumlichen Intelligenz darin besteht, dass das Skalierungsgesetz hier versagt.
In der Branche kommt es selten vor, dass das Skalierungsgesetz öffentlich in Frage gestellt wird. Der Branchenkonsens der letzten Jahre besagt, dass fast alle Strategien auf diesen Weg setzen – je größer die Parameter, desto mehr Daten und desto stärker die Fähigkeiten. Der Vorschlag des „Anti-Scaling-Gesetzes“ in diesem Zusammenhang veranlasst die Branche zumindest, eine Frage erneut zu prüfen: ob die Praxis des einfachen Stapelns von Daten und Parametern unbemerkte blinde Flecken in bestimmten Dimensionen der Intelligenz aufweist.
Bei Aufgaben im Zusammenhang mit räumlicher Intelligenz steht der vom SenseTime-Team beobachtete Trend genau im Widerspruch zum Skalierungsgesetz – je mehr Daten hinzugefügt werden, desto instabiler wird die Leistung des Modells.
In den damaligen Tests schnitt das Modell bei der Aufgabe Perspektivübernahme ungenügend ab. Wenn sich Menschen im Raum bewegen, können sie die Veränderungen, die sie sehen, natürlich vorhersagen: Je weiter man sich entfernt, desto kleiner werden die Objekte vor einem. Aber die damaligen multimodalen Modelle verfügten nicht über diese Art von Vorhersage – auch wenn Google Gemini für seine native multimodale Route bekannt ist und zu den leistungsstärksten Modellen gehört, ist es auch nicht in der Lage zu beurteilen, welche Formen Objekte in verschiedenen Betrachtungswinkeln und Maßstäben erscheinen werden.
„Es kann erkennen, dass es sich um ein schwarzes Schaf handelt, kann aber nicht beantworten, wie das schwarze Schaf aussieht, wenn man es aus einem anderen Blickwinkel betrachtet. Das Modell erinnert sich an die massive Assoziation zwischen dem Bild und der Semantik: Aus der Ferne sieht es aus wie ein schwarzes Schaf, aber aus der Nähe betrachtet sieht es immer noch wie ein schwarzes Schaf aus.“
Das Team fügte weiterhin relevante Daten hinzu, doch die Leistung des Modells verbesserte sich nicht, sondern wurde „zunehmend verwirrend“: Die semantischen Verbindungen wurden kontinuierlich verstärkt, es fehlte jedoch die räumliche Korrelation zwischen den Daten, und das Modell verließ sich immer mehr auf die Semantik, um alles, was es sah, zu erklären. Je mehr Daten vorhanden sind, desto tiefer ist die Verfestigung und desto stabiler ist der Fehler.
Ein Beispiel, das Lin Dahua bereits oft zitiert hat, kann die Folgen dieser Verfestigung veranschaulichen. Geben Sie dem Modell zu diesem Zeitpunkt ein Foto von sechs Fingern, und die Antworten von GPT, Gemini und Grok sind alle fünf Finger. Der Beurteilungspfad des Modells besteht darin, zunächst „Dies ist eine Handfläche“ zu identifizieren und dann direkt auf der Grundlage des Priori „Handflächen haben normalerweise fünf Finger“ im Trainingskorpus zu antworten.
Er erinnerte auch daran, dass dieses Problem höchstwahrscheinlich in der neuesten Generation von Modellen behoben wurde, der Mechanismus dahinter jedoch immer noch gültig ist: „Es basiert nur auf der semantischen Übersetzung, und dann werden andere Überlegungen auf der Grundlage dieser Übersetzung angestellt.“
Als SenseTime Anfang dieses Jahres sein räumliches Intelligenzmodell veröffentlichte, war diese Richtung in den Augen der Außenwelt noch eine technische Reserve. Mehr als ein halbes Jahr später begann die Branche aufzuholen. Mehrere Punkte, die nach der Veröffentlichung von GPT-6 in der Community ausführlich diskutiert wurden – die Einführung der Recurrent Transformer-Architektur und die robotergesteuerten Fähigkeiten, die nach der Einspeisung umfangreicher verkörperter Daten in das Sprachmodell demonstriert wurden – deuten alle auf dasselbe hin: Multimodale und räumliche Fähigkeiten dringen in den Kern modernster Modelle ein.
Nach Ansicht von Lin Dahua bedeutet dies, dass der Weg von SenseTime bestätigt wurde: „GPT-6 beweist tatsächlich, dass der Weg, den wir einschlagen, definitiv wertvoll ist.“ Die Ressourcen von SenseTime sind denen von OpenAI um Größenordnungen unterlegen, aber er glaubt, dass die kontinuierliche Anhäufung über ein oder zwei Jahre es SenseTime ermöglichen wird, etwas zu entwickeln, das sich von anderen Teams in der Branche unterscheidet.
Die Besonderheit der räumlichen Intelligenz zeigt in gewissem Maße, dass eine Richtung mit mehr Daten und tieferer Verfestigung der Einstieg in prinzipielle Innovationen sein kann. Das Finden von Prinzipien durch Befolgen von „Abnormalitäten“ ist eine der Ideen von SenseTime für technische Urteile. Geht man in dieser Denkrichtung einen Schritt weiter, stößt man auf eine unvermeidliche Frage: Was genau ist Intelligenz und welche Stellung nimmt die Sprache darin ein?
· Sprache und Multimodalität: Das Wesen der Intelligenz ist die Interaktion mit der Welt
Seit dem Aufkommen großer Modelle steht die Frage, ob Sprache der Schlüssel zur Intelligenz ist, im Mittelpunkt der Debatte.
Lin Dahua glaubt, dass die Sprache das wichtigste menschliche Wissen auf strukturierte Weise in das Symbolsystem einfügt und „ein sehr hochrangiger Vertreter des menschlichen Wissens und der menschlichen Intelligenz“ ist. Die Dichte und Effizienz der Intelligenz kann der höchste Träger sein. Sprachmodelle verfügen über die ausgereifteste technische Erfahrung und den schnellsten Fortschritt und haben in der Branche eine größere Aufmerksamkeit erhalten. Das ist auch die Realität.
Aber die Sprache allein sei unvollständig, dachte er. Genau wie in einer geschäftigen Stadt und einem ruhigen Bergwald sind die Erfahrungen der Menschen völlig unterschiedlich und es ist möglicherweise nicht möglich, die Umgebung im Detail mit Worten zu beschreiben. Angenommen, Sie geben dem besten multimodalen Modell ein Porträtfoto und lassen es eine möglichst detaillierte Beschreibung mit Tausenden von Wörtern generieren und lassen es dann vom Textmodell zeichnen. Dann wird es schwierig, ein identisches Foto zu generieren.
Er fasste dieses Phänomen als Komplementarität im Informationsspektrum zusammen: Sprache trägt hochdichte Informationen, die verdichtet wurden, während Bilder eine große Menge an Informationen erfassen, die nicht verdichtet wurden und nicht verdichtet werden können.
Jeder der beiden Modi hat sein eigenes effizientes Territorium – beim Schreiben von Programmen und beim Durchführen logischer Schlussfolgerungen ist die Spracheffizienz höher; Durch das ästhetische Gefühl, die schnelle Beurteilung der räumlichen Struktur und die Übertragung visueller Details ist die Bildeffizienz höher. Was den vollmodalen Input und Output betrifft, ist die Obergrenze immer noch sehr hoch. Sie ohne Informationsverlust zusammenzustellen, „erfordert Kosten und Zeit.“
Nach Ansicht von Lin Dahua ist die Essenz der Intelligenz die Fähigkeit des Menschen, mit der Welt zu interagieren – Wahrnehmung, Wissensgedächtnis, mehrstufiges Denken, Erteilen von Anweisungen und das zusammengesetzte Ergebnis einer Kombination mehrerer Elemente. Genau wie Testfragen zum menschlichen IQ werden auch sie in verschiedene Typen wie Raum, Gedächtnis, Argumentation usw. unterteilt, die unterschiedliche Aspekte der Intelligenz widerspiegeln.
Nach dieser Definition und im Rückblick auf die Entwicklung des großen Modells über mehr als drei Jahre kommt er zu dem Urteil, dass es „unausgewogen“ ist:
In Bezug auf Mathematik, Programmierung und weitreichende Aufgaben, die als Text und Programmsequenzen geschrieben werden können, haben Modelle das Niveau gewöhnlicher Menschen übertroffen und liegen sogar nahe an der Spitze; Räumliche und physische Intelligenz stecken noch in den Kinderschuhen und Roboter entwickeln sich viel schneller als zuvor, können aber immer noch nur einfache Aktionen ausführen.
Der Übergang von der digitalen Intelligenz zum physischen Raum hängt nicht nur vom technischen Urteilsvermögen ab, sondern auch davon, ob die Technologie in realen Benutzerszenarien den geschlossenen Kreislauf durchlaufen und ein Zeugnis liefern kann, das Markttests standhält.
03
Es gibt nur dann eine Iteration, wenn es eine geschlossene Schleife gibt:
Die geschäftlichen Antworten von SenseTime
Im Rückblick auf den Prozess, bei dem SenseTime technische KI-Urteile in Produkte und Einnahmen umwandelt, sagte Lin Dahua Folgendes:
Shangtangs Weg entsteht durch Gehen, nicht durch Nachdenken.
In der großen Modellära war die erste von SenseTime gezahlte „Unterrichtsgebühr“ ein Produkt namens „Discussion“. Wenn es Anfang 2023 auf den Markt kommt, wird es wie jedes andere Chat-Produkt sein. Lin Dahua gab seiner Frau das Produkt einmal zum Ausprobieren, doch die „Diskussion“ endete mit einem Blödsinn über die Empfehlung nahegelegener Restaurants.
Der Umsturz ist nicht ausschließlich auf die Qualität des Modells zurückzuführen. Die Grundlage von Konversationsprodukten ist eine Informationsinfrastruktur wie Rezensionen und Karten, aber das ist nicht das Talent von SenseTime.
Ende 2023 wird sich SenseTime bei seinen großen Modellprodukten auf Inhalte und Interaktion konzentrieren und sich dabei auf zwei Richtungen konzentrieren: Arbeitsinhalte und Unterhaltungsinhalte. Ersteres hat sich inzwischen zum intelligenten Waschbären für das Büro entwickelt – laut der diesjährigen Zwischenergebnisveröffentlichung ist dieser Teil des Geschäfts um das Sechs- bis Siebenfache gewachsen; Letzterer hat sich zu Seko entwickelt.
Sekos Spielstil liegt tatsächlich hinter dem Unterschied zwischen „Schöpfung“ und „Generation“. Erstellen Sie wunderschöne 30-Sekunden-Clips und Kurzfilme mit 100 Episoden, alle getrennt durch Skripte, Storyboards, Charakterisierung und Episodenübergreifende Konsistenz. Seko nutzt im kreativen Prozess Technologien wie Unified Understanding und Generierung sowie Interlaced Thinking von Grafiken und Texten, und das zugrunde liegende Rendering basiert auf anderen Modellen wie Seedance – die Qualität der Generierung allein ist nicht vergleichbar, sodass sie Teil des eigenen Workflows wird. Laut Lin Dahua haben die Macher Seko genutzt, um Kurzstücke mit über 100 Millionen Aufrufen zu erstellen.
Diese Produktauswahl wird durch die Closed-Loop-Methodik von SenseTime unterstützt. Lin Dahua wies unverblümt darauf hin: „In allem braucht man einen geschlossenen Kreislauf, um effektiv iterieren zu können, sonst gibt es nur Rankings und keine Iteration.“ Der Benchmark-Champion heute zu sein, ist möglicherweise nicht der nächste Monat. Eine solche Leistung kann nicht beibehalten werden; Was wirklich bleibt, ist der von den Benutzern geschaffene Wert. Er übertrug den Grundsatz des Reinforcement Learning, dass schnelles Laufen in kleinen Schritten besser ist als langes Laufen auf einmal, auf die F&E-Planung: Iterationsgeschwindigkeit und die richtige Richtung sind wichtiger als die Höhe eines einzelnen Sprints.
Lin Dahua hat diese Transformation einmal in seinem eigenen Leben erlebt. In seinen frühen Arbeiten waren zwanzig oder dreißig Formeln die Norm; aber nach 2013 sank diese Zahl auf nur noch fünf. Sein Beurteilungskriterium änderte sich von „ob der mathematische Beweis schön ist“ zu „ob er einen differenzierten Gebrauchswert hat“.
Im diesjährigen SenseTime-Zwischenbericht sahen wir die offizielle Aussage zum „ersten Gewinn“. Lin Dahua glaubt jedoch, dass SenseTime sich wirklich immer darum kümmert, ob es gesünder und vitaler geworden ist, und dass die Iteration des Geschäfts im geschlossenen Kreislauf eine der Manifestationen von Vitalität ist.
Die 1 + Der Wettbewerb auf dem Markt ist hart genug, aber er bringt sowohl den Gründern als auch dem Unternehmen Wachstum.
Aus der Sicht von SenseTime sind Produkte und Unternehmen wie Lebewesen. Wir drängen sie nicht, wenn sie unreif sind. Wir nutzen das natürliche Wachstum als Signal, bevor wir uns für eine Erhöhung der Investitionen entscheiden – lassen Sie die Produkte zuerst auf den Markt kommen und in einem geschlossenen Kreislauf testen, anstatt intern anhand voreingestellter Indikatoren zu iterieren.
Bis zu einem gewissen Grad beantwortet der geschlossene Geschäftskreislauf jedoch nur die Frage des „Überlebens“. Angesichts der künftigen Konkurrenz müssen chinesische KI-Unternehmen ihre eigene Positionierung und langfristige Wettbewerbsfähigkeit in der Zeit nach der Destillation finden und klar erkennen, wo die Grenzen der Intelligenz liegen.
04
Zusätzlich zur Handgeschwindigkeit:
Die langfristige Wettbewerbsfähigkeit von Chinas KI und die Grenzen der Intelligenz
Lin Dahua glaubt, dass Open Source das erste Puzzleteil für langfristige Wettbewerbsfähigkeit ist.
Bereits 2018 förderte Lin Dahua das Open-Source-OpenMMLab bei MMLab: Es organisierte repräsentative Algorithmen im Feld in einem einheitlichen Benchmark-System und ersparte Forschern so die Drecksarbeit von Reproduktions- und Vergleichsexperimenten. Dieses Projekt wurde später zur einflussreichsten Open-Source-Algorithmusbibliothek in der AI 1.0-Ära und wurde von Hunderttausenden Stars und Millionen Entwicklern verwendet.
Jahre später tauchte dieselbe Logik im Zeitalter der großen Modelle wieder auf. Die endogene treibende Kraft von Open Source ist Einfluss: Einfluss kann Gelder beschaffen und Menschen rekrutieren. Die Demonstration von DeepSeek ermöglicht es jedem, diesen Weg klar zu erkennen. Objektiv gesehen werden dadurch auch die Kosten für Versuch und Irrtum auf die gesamte Community verteilt – Modelltraining macht nur etwa 10 % der F&E-Kosten aus, und die restlichen 90 % sind verschiedene Experimente; Durch die offene Gewichtung kann jedes Unternehmen schneller Rezepte für Spitzentechnologie auswählen.
Dies erklärt auch, warum Chinas Gesamtinvestitionen weit hinter denen der Vereinigten Staaten liegen, es aber so dicht aufholen kann. Lin Dahua sagte: „Die größte Sorge besteht darin, nicht zu wissen, wo die Straße ist.“ Sobald die Straße sichtbar ist, ist das Ausfüllen der Details die Stärke chinesischer Ingenieure.
Aber Open Source kann das Problem, dem Trend zu folgen, nicht lösen. Lin Dahua sagte unverblümt, dass der Mainstream-Pfad der großen chinesischen Modelle in den letzten drei Jahren darin bestand, in die von den Vereinigten Staaten vorangetriebene Richtung zu optimieren und Innovationen voranzutreiben. Der industrielle Wert sei groß, „aber wenn China einen nachhaltigeren Beitrag leisten will, muss es sich etwas anderes einfallen lassen.“ Er nutzte DeepSeek als positiven Fall: Es ist immer noch der Standard-LLM-Weg im Hinblick auf das große Paradigma, aber es wurden große Anstrengungen in der architektonischen Effizienz unternommen.
Gleichzeitig kann der Modellmarkt selbst keine Interessenten aufnehmen. Kosten, Vielseitigkeit und Professionalität bilden ein unmögliches Dreieck. Ein Model, das alles kann und alles professionell macht, muss riesig und teuer sein. In Alltagsszenarien gibt es sogar einen weit verbreiteten „Intelligenzüberschuss“: Ein 8B- oder 32B-Open-Source-Modell kann die meisten Aufgaben bewältigen, und Benutzer müssen dafür nicht Dutzende von Dollar in Token bezahlen. Es gibt mehr als 3 Millionen Models auf Hugging Face, aber jedes hat seinen eigenen Lebensstil.
Der eigentliche Wendepunkt könnte in der Zeit nach der Destillation kommen.
Lin Dahua kam zu dem Schluss, dass das Thema der Destillation erledigt sei: Die bestehenden Fragen der Denkkette seien konstruiert worden, und der nächste Engpass sei die Fähigkeit, neue Probleme zu generieren – die Konstruktion von Tausenden, Zehntausenden oder sogar Hunderttausenden realen Arbeitsszenarien, die es dem Modell ermöglichen, Aufgaben selbstständig zu erkunden und abzuschließen.
Der Flaschenhals in dieser Angelegenheit ist eigentlich nicht die Rechenleistung. China hat zufällig gute Karten: Die Vielfalt des Lebens und der Industrie ist selten auf der Welt, und die Reserve an Ingenieuren ist die größte der Welt. Nachdem die Früchte an den tiefer gelegenen Stellen gepflückt wurden, müssen die Menschen an den höher gelegenen Früchten den Baum hinaufklettern.
Szenarien und Arbeitskräfte erweitern jedoch nur die „Breite“ der Informationen; Die „Tiefe“ der Intelligenz hängt von der Wachstumsrate der Intelligenz selbst ab.
RSI (rekursive Selbstverbesserung), das in letzter Zeit viel Aufmerksamkeit erregt hat, konzentriert sich darauf, aber Lin Dahua betonte, dass RSI nur eines der Mittel für intelligentes Wachstum ist. Der Flaschenhals ist nicht die Automatisierung des Trainings, sondern die Effizienz der Evolution: Eine Maschine muss immer noch eine enorme Menge an Training durchführen, um einen effektiven Beobachtungspunkt zu erhalten; Um eine neue Fähigkeit zu erlernen, ist keine vollständige Ausbildung erforderlich. Die aktuelle KI ist evolutionär noch sehr weit vom Menschen entfernt. Sobald dieses Geheimnis gelüftet ist, „wird es die Landschaft der KI-Entwicklung und des KI-Wettbewerbs weitgehend verändern.“
Er glaubt auch nicht, dass die aktuelle Situation auf unbestimmte Zeit fortgeschrieben werden kann: Der übermäßige Ressourcenverbrauch wird früher oder später in eine Explosionskurve münden. Ob der bestehende Weg bis zum Ende reichen kann, ist eine offene Frage.
Was die Erweiterung der Grenzen betrifft, beschäftigt ihn zunächst die Frage: Welche Rolle spielen andere Modalitäten als die Sprache für die Intelligenz? Dieses Verständnis steckt noch in den Kinderschuhen, aber die Antwort wird darüber entscheiden, wohin die Ressourcen gelenkt werden sollten. Er hofft auf die Integration von Multimodalität und Raum – allein das Generieren verbessert nur die visuelle Qualität; Durch die Integration der räumlichen Wahrnehmung in den Denkprozess wird die Intelligenz vollständiger.
Damit die Intelligenz ihre Grenzen durchbrechen kann, liegt der Engpass in der Effizienz des Lernens und der Evolution. Und das ist genau das, was Menschen am besten können, aber Maschinen liegen noch weit zurück. Die Antwort von SenseTime auf diese Frage ist nicht vollständig im Modell enthalten – eine Organisation, die weiterhin neue Menschen hervorbringen kann, ist selbst die lebensfähigste Intelligenz.
Lin Dahua sagte auch, dass seine derzeit wichtigste Aufgabe darin bestehe, ein Umfeld für junge Menschen zu schaffen und eine lebensfähige Organisation zu schützen. Dies ist auch die zugrunde liegende Logik der 20 %-Ressourcen von SenseTime: Samen aktiv säen und Wachstum schützen. Dieser Samen kann ein Produkt, ein Unternehmen oder eine Person sein, die in der Organisation heranwächst. Was SenseTime getan hat, ist darauf zu warten, dass die Samen keimen und das Leben seinen eigenen Ausweg findet.
Leifeng.com (öffentliches Konto: Leifeng.com)
Originalartikel von Leifeng.com, unerlaubte Vervielfältigung ist verboten. Einzelheiten finden Sie in den Nachdruckanweisungen.
bearbeiten
Scannen Sie, um dem Autor auf WeChat zu folgen
E-Mail erneut senden E-Mail ändern




