Autor: Zhou Lei

Editor: Cen Feng.

Cuando se lanzó Seedance 2.0 de Byte a principios de este año, muchos practicantes se emocionaron y sorprendieron por la calidad de la película "a nivel de película". Un nuevo plan creativo se estaba desarrollando lentamente frente a ellos, pero para el equipo Seko de SenseTime, fue un día "confuso".

Lin Dahua, cofundador y científico jefe de SenseTime, recordó en una entrevista reciente que durante esa época en la que iba a reunirse con inversores y asistir a conferencias de la industria, casi siempre le hacían la misma pregunta: ¿Cuál es la diferencia entre su Seko y Seedance? ¿Alguna vez lo has hecho?

Hubo una voz de duda en el equipo: ¿Deberíamos seguir haciendo esto?

Más tarde, la historia no terminó con Seko "luchando" contra Seedance sin ayuda de nadie. Seedance reproduce videoclips de 30 segundos al nivel superior; mientras que Seko está dirigido a creadores y, en última instancia, ofrece 100 episodios de dramas cortos, que constan de guiones, guiones gráficos, configuración de personajes y coherencia de imagen en todos los episodios, lo cual es un proceso creativo completo.

Después de pensar claramente en este asunto, la vida de Seko es mejor: según Lin Dahua en la entrevista, el número de usuarios de este producto ha aumentado de 7 a 8 veces este año y la plataforma ha producido dramas cortos con más de 100 millones de visitas.

El propio Lin Dahua hace una evaluación franca de la popularidad de SenseTime en el mercado de modelos grandes: "Tal vez no sea el más grande". La ruta de esta empresa nunca ha seguido completamente la dirección más candente de la industria.

Pero SenseTime tiene una costumbre que persiste desde hace muchos años: hasta el día de hoy, la empresa sigue invirtiendo el 20% de sus recursos en trabajos previos a la investigación, sin exportar productos.

Hasta cierto punto, esto también es una especie de "siembra". Cuando las semillas se plantan en la tierra, no es necesario prometer una cosecha. La frase de la que Tang Xiaoou habla a menudo: la vida encuentra un camino, "la vida encuentra su propio camino", puede ser la lógica de esta inversión.

En una entrevista reciente con la columna "Technology Talk" producida conjuntamente por Weibo Technology Pero solo hay una pista: el 20% de los recursos y el juicio que lo respalda: por qué vale la pena recorrer algunos caminos durante mucho, mucho tiempo, incluso si todavía no hay salida.

01

Los costos de entrenamiento no se pueden detener, la IA china compite con la velocidad de las manos

El dinero en la gran industria del modelismo arde de forma imparable.

Solía ​​​​existir una suposición común en la industria: al gastar una gran cantidad de dinero para entrenar un buen modelo, el costo se puede amortizar en servicios posteriores a gran escala.

Lin Dahua señaló en la entrevista que esta suposición puede no ser cierta: el problema no es que el modelo no sea lo suficientemente bueno, sino que "si no continúas entrenando el siguiente, otros te superarán". La competencia obliga a las empresas a volver a capacitarse una ronda tras otra, por lo que los costos de capacitación no pueden parar y son cada vez más altos.

Aunque la narrativa de la industria durante el año pasado estuvo casi dominada por "cuanto más grande, más fuerte", el camino de los parámetros de volumen está siendo contraatacado. Mencionó dos señales:

En primer lugar, la selección de tallas del modelo se ha vuelto más pragmática. Recientemente, varios fabricantes han lanzado modelos pequeños y medianos de nivel Flash: GLM 5.3 Flash, DeepSeek 4.1 Flash y Google y OpenAI también han lanzado productos con especificaciones similares.

Lin Dahua mencionó específicamente el rendimiento de DeepSeek en la entrevista: "El nivel de rendimiento de Flash 4.1 es mejor que el de 4.0 Pro". Un modelo con una escala de varios cientos de B y un entrenamiento bien entrenado superó al Pro de la generación anterior, lo que indica que el espacio de optimización en el modelo de tamaño mediano está lejos de agotarse.

En segundo lugar, la calidad de los datos previos al entrenamiento se ha vuelto a poner sobre la mesa. Cuando un modelo con cientos de miles de millones de parámetros superó a un oponente con 2 billones de parámetros en combate real, muchas personas comenzaron a mirar hacia atrás y verificar sus canales de datos.

Lin Dahua tiene una explicación vívida para esto: "Hay muchas impurezas (en los datos) y muchas cosas peleando entre sí, por lo que se compensará mucha eficiencia en el medio". El resultado es un modelo caro e insatisfactorio. Los parámetros se acumulan, pero el efecto no mejora.

"No creo que sea un estado saludable cuando todos compiten ciegamente en parámetros". En su opinión, estas dos señales significan que la industria está volviendo a la racionalidad: ya no compite en torno a un único indicador, sino que vuelve al valor del usuario final.

Una situación similar también ocurrió durante el último ciclo de IA, y el propio SenseTime fue quien la experimentó. Cada proyecto debe comenzar con la recopilación de datos, capacitación especial, ajuste y pruebas. Es necesario rehacer todo el proceso, lo cual es difícil de replicar verdaderamente. Es que la unidad de medida en aquel entonces era un proyecto, pero hoy ha sido sustituida por un parámetro.

Luchar contra la velocidad de la mano es otra forma de involución. Los laboratorios de vanguardia de Estados Unidos definen el techo de SOTA. Una vez que se lanza el nuevo modelo, equivale a señalar el camino a los practicantes en China. Una serie de productos que afirman utilizar soluciones similares suelen surgir en dos o tres meses en China para aprovechar el nicho ecológico. El recientemente popular RSI (automejora recursiva) también está siendo desarrollado por un grupo de empresas al mismo tiempo.

"Para ser honesto, competir por la velocidad de las manos es bastante agotador". Lin Dahua observó que es difícil crear valor a largo plazo si todos se apresuran cuando son optimistas sobre una dirección. Si diez empresas ocupan el mismo nicho ecológico al mismo tiempo, los dividendos de la primera en llegar se diluirán rápidamente.

Entonces, ¿de qué depende la competitividad a largo plazo? Su respuesta es: un camino que sea lo suficientemente largo y profundo. Esta pregunta es el punto de partida para comprender el 20% de recursos de SenseTime.

02

La esencia de la inteligencia:

De la ley antiescala al lenguaje y la multimodalidad

· 20% recursos e inteligencia espacial

Ese 20% de los recursos está claramente invertido en trabajos que “no tienen productos para exportar”. Lin Dahua confirmó en la entrevista que no importa la presión operativa que enfrente SenseTime, el dinero continúa hasta el día de hoy. "En cualquier momento conservamos ciertos recursos".

En sus palabras, el punto de partida de este tipo de trabajo es preguntarse por qué: cuando un problema no se puede resolver con los métodos existentes, hay que volver a lo básico. No persigue el uso de fórmulas matemáticas complejas para explicar el principio, pero exige que este principio "pueda resolver eficazmente algunos problemas que actualmente son difíciles de resolver con otros métodos".

De esta manera se seleccionó una de las áreas de investigación de SenseTime: la inteligencia espacial.

La lógica de selección se divide en dos pasos. El primer paso es probar los modelos más potentes del momento y descubrir qué no funcionan bien. El segundo paso es bajar una capa más. ¿Se pueden compensar estas deficiencias agregando algunos datos? Si se puede hacer bien agregando datos a lo largo del camino original, entonces tiene valor de aplicación, pero no puede respaldar la innovación basada en principios. Sólo en direcciones que no se pueden hacer bien, no importa cuántos datos se agreguen, pueden haber problemas de principios reales ocultos, y la inteligencia espacial resulta ser lo último.

El origen de este conjunto de normas de juicio se remonta a su herencia. Cuando Tang Xiaoou enseña a los estudiantes, casi nunca pregunta sobre detalles técnicos. Sólo se fija en una cosa: si puede explicar en una o dos frases la diferencia fundamental entre su obra y otras. "No hay dos hojas en el mundo que sean exactamente iguales". Técnicamente, siempre puedes encontrar diferencias en los detalles, pero el valor de innovación de ese tipo de diferencia es limitado; Si no puedes decirlo en una frase, probablemente no sea una innovación real.

Lin Dahua señaló que la "anormalidad" de la inteligencia espacial es que la ley de escala falla aquí.

En la industria, es raro cuestionar públicamente la Ley de Escalamiento. El consenso de la industria en los últimos años ha hecho que casi todas las estrategias apuesten por esta ruta: cuanto mayores sean los parámetros, más datos y más sólidas serán las capacidades. Proponer la "Ley Anti-Scaling" en este contexto al menos incita a la industria a reexaminar una cuestión: si la práctica de simplemente apilar datos y parámetros tiene puntos ciegos inadvertidos en ciertas dimensiones de la inteligencia.

En tareas relacionadas con la inteligencia espacial, la tendencia observada por el equipo de SenseTime es exactamente contraria a la Ley de Escala: cuantos más datos se añaden, más inestable se vuelve el rendimiento del modelo.

En las pruebas de ese momento, el modelo tuvo un desempeño insatisfactorio en la tarea de toma de perspectiva. Cuando las personas se mueven en el espacio, naturalmente predecirán los cambios que ven: a medida que te alejas, los objetos frente a ti deberían volverse más pequeños. Pero los modelos multimodales de la época no tenían este tipo de predicción: aunque Google Gemini es conocido por su ruta multimodal nativa y es uno de los mejores, tampoco puede juzgar qué formas aparecerán los objetos en diferentes ángulos de visión y escalas.

"Puede reconocer que es una oveja negra, pero no puede responder cómo se ve la oveja negra cuando se ve desde otro ángulo. Lo que el modelo recuerda es la asociación masiva entre la imagen y la semántica: parece una oveja negra desde lejos, pero todavía parece una oveja negra cuando se ve de cerca".

El equipo continuó agregando datos relevantes, pero el rendimiento del modelo no mejoró, sino que se volvió "cada vez más confuso": las conexiones semánticas se fortalecieron continuamente, pero había una falta de correlación espacial entre los datos, y el modelo dependía cada vez más de la semántica para explicar todo lo que veía. Cuantos más datos, más profunda será la solidificación y más estable el error.

Un ejemplo que Lin Dahua citó a menudo antes puede ilustrar las consecuencias de esta solidificación. Dale una foto de seis dedos al modelo en ese momento, y las respuestas dadas por GPT, Gemini y Grok son cinco dedos. La ruta de juicio del modelo es: primero identificar "esta es una palma" y luego responder directamente según el a priori "las palmas suelen tener cinco dedos" en el corpus de entrenamiento.

También recordó que este problema probablemente se haya solucionado en la última generación de modelos, pero el mecanismo detrás de él sigue siendo válido: "Sólo se basa en la traducción semántica, y luego se realiza otro razonamiento basado en esta traducción".

Cuando SenseTime lanzó su modelo de inteligencia espacial a principios de este año, esta dirección todavía era una reserva técnica a los ojos del mundo exterior. Más de medio año después, la industria empezó a ponerse al día. Varios puntos que han sido ampliamente discutidos por la comunidad después del lanzamiento de GPT-6 (la adopción de la arquitectura Recurrent Transformer y las capacidades impulsadas por robots demostradas después de verter datos masivos incorporados en el modelo de lenguaje) apuntan a lo mismo: las capacidades multimodales y espaciales están entrando en el núcleo de los modelos de vanguardia.

En opinión de Lin Dahua, esto significa que la ruta de SenseTime ha sido verificada: "GPT-6 en realidad demuestra que el camino que tomamos es definitivamente valioso". Los recursos de SenseTime son órdenes de magnitud inferiores a los de OpenAI, pero cree que la acumulación continua de uno o dos años permitirá a SenseTime desarrollar algo diferente de otros equipos de la industria.

La particularidad de la inteligencia espacial muestra hasta cierto punto que una dirección con más datos y una solidificación más profunda puede ser la entrada a la innovación basada en principios. Encontrar principios siguiendo "anomalías" es una de las ideas de SenseTime para emitir juicios técnicos. Si avanzamos un paso más en esta línea de pensamiento, nos topamos con una pregunta inevitable: ¿qué es exactamente la inteligencia y cuál es el lugar que ocupa el lenguaje en ella?

· Lenguaje y multimodalidad: La esencia de la inteligencia es la interacción con el mundo

Desde la aparición de los grandes modelos, "si el lenguaje es la clave de la inteligencia" ha sido un foco de debate.

Lin Dahua cree que el lenguaje inyecta el conocimiento humano más importante en el sistema de símbolos de una manera estructurada y es "un representante de muy alto nivel del conocimiento y la inteligencia humanos". La densidad y eficiencia de la inteligencia puede ser el portador más alto. Los modelos de lenguaje tienen la experiencia de ingeniería más madura y el progreso más rápido, y han recibido una mayor atención de la industria. Ésta también es la realidad.

Pero pensaba que el lenguaje por sí solo era incompleto. Al igual que estar en una ciudad bulliciosa y en un tranquilo bosque de montaña, las experiencias de las personas son completamente diferentes y puede que no sea posible describir en detalle el entorno circundante con palabras. Supongamos que le das una foto de retrato al mejor modelo multimodal y le dejas generar una descripción lo más detallada posible, con miles de palabras, y luego dejas que el modelo de texto la dibuje, será difícil generar una foto idéntica.

Resumió este fenómeno como complementariedad en el espectro de la información: el lenguaje transporta información de alta densidad que ha sido condensada, mientras que las imágenes capturan una gran cantidad de información que no ha sido condensada y no puede condensarse.

Cada uno de los dos modos tiene su propio territorio eficiente: al escribir programas y realizar deducciones lógicas, la eficiencia del lenguaje es mayor; el sentimiento estético, el juicio rápido de la estructura espacial y la transmisión de detalles visuales, la eficiencia de la imagen es mayor. En cuanto a la entrada y salida totalmente modal, el límite máximo sigue siendo muy alto. Armarlos sin perder inteligencia "requiere costo y tiempo".

En opinión de Lin Dahua, la esencia de la inteligencia es la capacidad de los seres humanos para interactuar con el mundo: percepción, memoria de conocimientos, razonamiento de varios pasos, emisión de instrucciones y el resultado compuesto de una combinación de múltiples elementos. Al igual que las preguntas del test de inteligencia humana, también se dividen en diferentes tipos, como espacio, memoria, razonamiento, etc., que reflejan diferentes aspectos de la inteligencia.

Siguiendo esta definición y analizando el desarrollo del gran modelo a lo largo de más de tres años, su opinión es que está "desequilibrado":

En términos de matemáticas, programación y tareas de largo alcance que pueden escribirse como texto y secuencias de programas, los modelos han superado el nivel de la gente común e incluso están cerca de la cima; La inteligencia espacial y física todavía está en sus primeras etapas y los robots se están desarrollando mucho más rápido que antes, pero todavía sólo pueden realizar acciones simples.

El paso de la inteligencia digital al espacio físico depende no sólo del criterio técnico, sino también de si la tecnología puede funcionar a través del circuito cerrado en escenarios de usuario reales y ofrecer un informe de calificaciones que pueda resistir las pruebas del mercado.

03

Sólo hay iteración si hay un bucle cerrado:

Las respuestas empresariales de SenseTime

Al recordar el proceso en el que SenseTime convirtió los juicios técnicos de la IA en productos e ingresos, Lin Dahua dijo lo siguiente:

El camino de Shangtang se hace caminando, sin pensar en ello.

En la era de los grandes modelos, la primera "matrícula" pagada por SenseTime fue un producto llamado "Discusión". Cuando se lance a principios de 2023, será como cualquier otro producto de chat. Lin Dahua una vez le dio el producto a su esposa para que lo probara, pero la "discusión" terminó con una tontería sobre recomendar restaurantes cercanos.

El vuelco no se debe enteramente a la calidad del modelo. La base de los productos conversacionales es la infraestructura de información, como reseñas y mapas, pero ese no es el talento de SenseTime.

A finales de 2023, SenseTime se centrará en el contenido y la interacción de sus productos de modelo grande, centrándose en dos direcciones: contenido de trabajo y contenido de entretenimiento. El primero se ha convertido ahora en el mapache inteligente de la oficina: según el anuncio de resultados provisionales de este año, esta parte del negocio ha crecido entre seis y siete veces; este último se ha convertido en Seko.

En realidad, el estilo de juego de Seko subyace a la diferencia entre "creación" y "generación". Genere hermosos clips de 30 segundos y cree cortos de 100 episodios, todos separados por guiones, guiones gráficos, caracterizaciones y coherencia entre episodios. Seko utiliza tecnologías como la comprensión y generación unificadas y el pensamiento entrelazado de gráficos y texto en el proceso creativo, y la representación subyacente se basa en otros modelos como Seedance: la calidad de la generación por sí sola no se puede comparar, por lo que se convierte en parte de su propio flujo de trabajo. Según Lin Dahua, los creadores han utilizado Seko para crear obras cortas con más de 100 millones de visitas.

El respaldo de estas selecciones de productos es la metodología de circuito cerrado de SenseTime. Lin Dahua señaló sin rodeos: "En todo, se necesita un circuito cerrado para poder iterar de manera efectiva; de lo contrario, solo habrá clasificaciones y no habrá iteración". Ser el campeón en Benchmark hoy puede que no lo sea el próximo mes. Este tipo de logros no se pueden conservar; lo que realmente queda es el valor creado por los usuarios. Tradujo el principio del aprendizaje por refuerzo de que correr rápido en pequeños pasos es mejor que caminar una larga distancia de una vez a la planificación de I+D: la velocidad de iteración y la dirección correcta son más importantes que la altura de un solo sprint.

Lin Dahua ha experimentado esta transformación una vez en su vida. En sus primeros artículos, veinte o treinta fórmulas eran la norma; pero después de 2013, este número se redujo a no más de cinco. Su criterio de juicio cambió de "si la prueba matemática es hermosa" a "si tiene valor diferenciado en uso".

En el informe provisional de SenseTime de este año, vimos la declaración oficial de "primera ganancia". Sin embargo, Lin Dahua cree que lo que realmente preocupa a SenseTime es siempre si se ha vuelto más saludable y vital, y la iteración de circuito cerrado de los negocios es una de las manifestaciones de vitalidad.

El 1 + La competencia en el mercado es bastante dura, pero genera crecimiento tanto para los fundadores como para la empresa.

Desde la perspectiva de SenseTime, los productos y las empresas son como seres vivos. No los presionamos cuando son inmaduros. Utilizamos el crecimiento natural como señal antes de decidir aumentar la inversión: dejamos que los productos entren al mercado primero y se prueben en un circuito cerrado, en lugar de iterar contra indicadores preestablecidos internamente.

Sin embargo, hasta cierto punto, el circuito cerrado empresarial sólo responde a la cuestión de la "supervivencia". De cara a la competencia futura, las empresas chinas de IA deben encontrar su propio posicionamiento y competitividad a largo plazo en la era de la posdestilación, y ver claramente dónde están los límites de la inteligencia.

04

Además de la velocidad de la mano:

La competitividad a largo plazo de la IA de China y los límites de la inteligencia

Lin Dahua cree que la primera pieza del rompecabezas de la competitividad a largo plazo es el código abierto.

Ya en 2018, Lin Dahua promovió el OpenMMLab de código abierto en MMLab: organiza algoritmos representativos en el campo en un sistema de referencia unificado, ahorrando a los investigadores el trabajo sucio de la reproducción y los experimentos comparativos. Más tarde, este proyecto se convirtió en la biblioteca de algoritmos de código abierto más influyente en la era AI 1.0, utilizada por cientos de miles de estrellas y millones de desarrolladores.

Años más tarde, la misma lógica reapareció en la era de los grandes modelos. La fuerza impulsora endógena del código abierto es la influencia: la influencia puede recaudar fondos y reclutar personas. La demostración de DeepSeek permite a todos ver este camino con claridad. Objetivamente, esto también distribuye el costo de prueba y error a toda la comunidad: la capacitación modelo solo representa aproximadamente el 10% de los costos de I + D, y el 90% restante son varios experimentos; La ponderación abierta permite a cada empresa elegir recetas de tecnología de punta más rápidamente.

Esto también explica por qué la inversión total de China está muy por detrás de la de Estados Unidos, pero puede alcanzarla muy de cerca. Lin Dahua dijo: "La mayor preocupación es no saber dónde está el camino". Una vez que la carretera es visible, completar los detalles es el punto fuerte de los ingenieros chinos.

Pero el código abierto no puede resolver el problema de seguir la tendencia. Lin Dahua dijo sin rodeos que el camino principal de los grandes modelos de China en los últimos tres años ha sido optimizar e innovar en la dirección iniciada por Estados Unidos. El valor industrial es grande, "pero si China quiere hacer una contribución más duradera, debe proponer algo diferente". Usó DeepSeek como un caso positivo: sigue siendo la ruta estándar de LLM en términos de gran paradigma, pero ha realizado grandes esfuerzos en eficiencia arquitectónica.

Al mismo tiempo, el mercado modelo por sí solo no puede dar cabida a los interesados. Costo, versatilidad y profesionalismo forman un triángulo imposible. Un modelo que pueda hacerlo todo y que lo haga todo de manera profesional seguramente será enorme y costoso. En los escenarios cotidianos, existe incluso un "excedente de inteligencia" generalizado: un modelo de código abierto 8B o 32B puede manejar la mayoría de las tareas, y los usuarios no necesitan pagar decenas de dólares en tokens por ello. Hay más de 3 millones de modelos en Hugging Face, pero cada una tiene su propia forma de vida.

El verdadero hito puede llegar en la era posdestilación.

Lin Dahua consideró que el tema de la destilación había terminado: las preguntas de la cadena de pensamiento existente se habían construido y el siguiente cuello de botella era la capacidad de generar nuevos problemas: construir miles, decenas de miles o incluso cientos de miles de escenarios de trabajo reales, permitiendo que el modelo explore y complete tareas por sí solo.

En realidad, el cuello de botella en este asunto no es la potencia informática. Resulta que China lleva una buena mano: la diversidad de vida e industria es rara en el mundo, y la reserva de ingenieros es la mayor del mundo. Después de recoger los frutos de los lugares más bajos, las personas tienen que subir al árbol los frutos de los lugares más altos.

Sin embargo, los escenarios y la mano de obra sólo amplían el "ancho" de la inteligencia; la "profundidad" de la inteligencia depende de la tasa de crecimiento de la inteligencia misma.

RSI (automejora recursiva), que ha atraído mucha atención recientemente, se centra en esto, pero Lin Dahua enfatizó que RSI es solo uno de los medios para el crecimiento inteligente. El cuello de botella no es la automatización del entrenamiento, sino la eficiencia de la evolución: una máquina todavía tiene que ejecutar una enorme cantidad de entrenamiento para obtener un punto de observación efectivo; No se requiere una formación completa para que una persona domine una nueva habilidad. La IA actual todavía está muy lejos de los humanos en términos de evolución. Una vez que se descifre este secreto, "cambiará en gran medida el panorama del desarrollo y la competencia de la IA".

Tampoco cree que la situación actual pueda extrapolarse indefinidamente: el consumo extensivo de recursos tarde o temprano alcanzará una trayectoria explosiva. Si el camino existente puede llegar al final es una cuestión abierta.

En cuanto a ampliar las fronteras, la primera cuestión que le preocupa es: ¿qué papel juegan en la inteligencia otras modalidades además del lenguaje? Esta comprensión aún se encuentra en sus primeras etapas, pero la respuesta determinará hacia dónde se deben dirigir los recursos. Pone su esperanza en la integración de la multimodalidad y el espacio: simplemente generar sólo mejorará la calidad visual; integrar la percepción espacial en el proceso de pensamiento hará que la inteligencia sea más completa.

Para que la inteligencia traspase sus límites, el cuello de botella reside en la eficiencia del aprendizaje y la evolución, que es exactamente en lo que los humanos son mejores, pero las máquinas todavía están muy por detrás. La respuesta de SenseTime a esta pregunta no está toda escrita en el modelo: una organización que puede seguir generando nuevas personas es en sí misma la inteligencia más viable.

Lin Dahua también dijo que su trabajo más importante en este momento es crear un entorno para los jóvenes y proteger una organización viable. Esta es también la lógica subyacente del 20% de recursos de SenseTime: sembrar semillas activamente y proteger el crecimiento. Esta semilla puede ser un producto, un negocio o una persona que crece en la organización. Lo que ha estado haciendo SenseTime es esperar a que broten las semillas y la vida tendrá su propia salida.

Leifeng.com (cuenta pública: Leifeng.com)

Artículos originales de Leifeng.com, prohibida la reproducción no autorizada. Consulte las instrucciones de reimpresión para obtener más detalles.

editar

Escanee para seguir al autor en WeChat

Reenviar correo electrónico Modificar correo electrónico