Yao Shunyu apareceu no Reddit para responder perguntas por duas horas: O problema mais difícil no treinamento depois de Hunyuan é pensar demais

Sinal AGI

2026.11.21 10:53

· De Pequim

Texto completo 3.036 palavras

A competição por grandes modelos de código aberto está mudando dos resultados de lista para a reputação real entre a comunidade de desenvolvedores.

Na madrugada de 21 de novembro, horário de Pequim, Yao Shunyu, cientista-chefe de IA da Tencent e chefe do grande modelo Hunyuan, e pesquisadores da equipe Hunyuan apareceram na comunidade r/LocalLLaMA no Reddit e conduziram um AMA (Ask Me Anything) de duas horas. Esta é a primeira vez que a equipe Hunyuan responde publicamente a perguntas da comunidade de desenvolvedores. Recebeu mais de 300 mensagens, cobrindo tópicos que vão desde escolhas de arquitetura até avaliação de segurança.

Há menos de um mês, Hunyuan lançou dois modelos, um após o outro. Em 4 de novembro, Hy4 foi classificado pela primeira vez entre os modelos de código aberto mais fortes do mundo, ocupando o segundo lugar entre os modelos chineses na lista de índice de inteligência da agência de avaliação terceirizada Artificial Analysis e ficando em primeiro lugar entre os modelos de código aberto na lista Agent Arena. O flash Hy4, lançado mais de uma semana depois, está posicionado como "o modelo mais econômico para o trabalho diário", com uma única tarefa custando apenas um vigésimo do Hy4.

Nove meses, dois lançamentos

Da perspectiva do ritmo do tempo:

Apenas nove meses se passaram desde a reconstrução em fevereiro.

A divisão do trabalho entre o flash Hy4 e Hy4 corresponde a duas rotas. O primeiro expande o tamanho do modelo e a escala de dados e explora o limite superior da inteligência, enquanto o último comprime os custos e torna-o acessível para as tarefas diárias.

A equipe confirmou nas perguntas e respostas que a escala do modelo Hy da próxima geração “será definitivamente expandida de forma significativa”. Um desenvolvedor perguntou sobre o fato de empresas como ByteDance e Kimi estarem promovendo modelos de escala ultralarga com parâmetros 3T ou mesmo 5T, enquanto Hunyuan ainda está no nível 700B. A resposta da equipe foi que Hy3 e Hy4 mostraram que modelos menores e solidamente construídos podem muitas vezes superar modelos maiores a custos mais baixos e aprender mais no processo.

Na outra ponta da linha de produtos, Hy4 mini já está no roteiro, 35B-A3B Flash-Lite está confirmado para estar em andamento, modelos menores de imagem de código aberto estão sendo considerados e há novas novidades sobre modelos de vídeo. Para compreensão visual no dispositivo, a avaliação da equipe é que o modelo A3B com aproximadamente 3 bilhões de parâmetros ativados já pode realizar a tarefa de compreender capturas de tela e gráficos e realizar inferências.

Há também lugar para um Ministério da Educação cíclico e para a aprendizagem contínua no roteiro. A resposta ao primeiro é “claro que é possível, fique atento”, enquanto o último está sendo estudado ativamente. A infraestrutura de formação que apoia a investigação e o desenvolvimento também está a ser iterada e o Hyra 3.0 já está em desenvolvimento.

As compensações precedem os parâmetros

Quando questionados sobre por que escolheram o MLA em vez do GQA, a equipe revelou um histórico de repetidas compensações. A intensidade computacional do MLA é significativamente maior que a do GQA. Ao realizar a decodificação especulativa na GPU de inferência, o gargalo recairá sobre o poder de computação. No entanto, sob o mesmo tamanho de cache KV, a qualidade do modelo do MLA é melhor que a do GQA. Após a introdução do DSA, a intensidade computacional do estágio de decodificação é reduzida e a balança de compensações é inclinada.

Vários outros designs de flash Hy4 continuam com o mesmo conjunto de compensações. O SWA reduz o cache KV para um quarto do seu tamanho original e os custos de serviço são significativamente reduzidos. Juntamente com o design de descarregar parâmetros de engrama de 64B para a memória do host, os modelos com parâmetros ativados de 12B podem funcionar sem problemas com configurações acima de 128GB.

Um desenvolvedor listou um conjunto de comparações de dispersão. O flash Hy4 sem Engram tem um parâmetro total de 156B, uma ativação de 12B e uma taxa de ativação de 7,7%. Qwen3.8-Flash é 4,8% e DSv4.1 é tão baixo quanto 2,9%. Quão importante é uma maior densidade de ativação para a inteligência? A resposta da equipe é baseada no experimento de escada de escala: quando a quantidade de parâmetros de ativação é fixa, aumentar a dispersão pode melhorar a eficiência da computação. Porém, manter os parâmetros totais inalterados e simplesmente reduzir os parâmetros de ativação prejudicará significativamente a qualidade do modelo, pois a quantidade de parâmetros de ativação determina essencialmente o orçamento computacional.

Na opinião da equipe, a arquitetura MoE muito esparsa não é amigável ao raciocínio e ocupa muita memória de vídeo, mas não consegue utilizar totalmente o poder computacional. Sob o mesmo rendimento, é possível executar modelos com os mesmos parâmetros totais e mais parâmetros de ativação. Quanto ao lado final, é um conjunto diferente de ideias. A arquitetura precisa ser projetada mais de perto com o hardware GPU do dispositivo de ponta.

Na resposta ao esquema de quantização, a projeção descendente é mais sensível à quantização devido a valores discrepantes no valor de ativação e receberá mais bits alocados. A largura de bits é selecionada com base na sensibilidade Hessiana. Após a quantização, o roteador será treinado junto com o QAT para manter a estabilidade, e a equipe prefere o QAT com parâmetros completos porque a qualidade do modelo é melhor. Este conjunto de respostas é a parte mais detalhada do projeto em todas as perguntas e respostas.

O mais difícil é pensar demais

Quando questionados sobre o comportamento mais difícil de melhorar na fase pós-treinamento, a resposta foi de apenas quatro palavras: pensar demais. Hy4 persegue o limite superior da inteligência, e a longa cadeia de pensamento é um problema conhecido. A solução tem a cor de um produto de circuito fechado, destilando a longa cadeia de pensamento do Hy4 no flash Hy4 econômico e, em seguida, garantindo uma cadeia de pensamento mais curta para o último por meio do aprendizado por reforço.

Alguns desenvolvedores fizeram perguntas por escrito, dizendo que se um modelo explicasse as coisas com mais facilidade, seria um motivo importante para eles mudarem do Qwen 3.8 Flash Next. A equipe respondeu que a escrita criativa e a legibilidade são muito importantes e estão sendo aprimoradas como orientações principais, acrescentando que “às vezes, um bom exemplo é mais útil do que cinco parágrafos”. Admitiram também ter prestado atenção à observação de que a capacidade de escrita dos grandes modelos se deteriorou em geral e acreditaram que isso pode estar relacionado com os objectivos de formação. Eles esperam que os modelos possam escrever “mais como humanos e menos expressões rotineiras”.

Quanto à possibilidade de Hy4 operar de forma autónoma e desenvolver modelos de próxima geração, a resposta afirmou que ainda é cedo para capacidades recursivas de auto-aperfeiçoamento, mas vários benchmarks internos foram desenvolvidos para avaliar capacidades-chave. Quando solicitados a classificar Hy4 de acordo com os Níveis de AGI, os membros da equipe deram uma autoavaliação de 2,5.

Intercaladas entre questões técnicas estão memórias do processo de pesquisa e desenvolvimento. A expansão de Hy3 para Hy4 foi descrita como o momento mais difícil. O experimento de ablação de dados não atendeu às expectativas e o início do treinamento foi cheio de incertezas. "Eu estava muito nervoso quando o treinamento começou." A lembrança da equipe sobre o resultado final é que “foi como colocar todas as fichas na mesa e realmente vencer”.

Explicar claramente as restrições também é uma espécie de código aberto

Para abrir o código-fonte de forma responsável, Hunyuan filtra dados de segurança de rede focados principalmente na exploração de vulnerabilidades e ataques ofensivos durante o treinamento, coopera com proteção contra negação de resposta em nível de treinamento e conduz avaliações da equipe vermelha. Alguns desenvolvedores questionaram que isso enfraqueceria os defensores, limitaria a engenharia reversa e prejudicaria a análise de malware e a análise forense. A conclusão da avaliação dada pela equipe é que o Hy4 possui fortes capacidades de descoberta de vulnerabilidades, mas capacidades de exploração de vulnerabilidades relativamente fracas. A rejeição excessiva é reconhecida ainda como uma direção importante para melhoria.

A adaptação do llama.cpp está em andamento e será divulgada para a comunidade em breve. A cooperação com vllm e sgl também é aprofundada. Flash Hy4 e Hy4 têm sido amplamente utilizados em OpenCode, Claude Code e Cline. A resposta é específica para o projeto e o nome da ferramenta. Durante as perguntas e respostas, os desenvolvedores também intervieram em testes reais. O flash Hy4 se tornou o primeiro modelo com pontuações perfeitas em sua programação de agente interno e benchmarks de revisão de relações públicas, e a velocidade de conclusão foi mais rápida do que Qwen 3.8 Flash Next, GLM 5.3 Flash e DeepSeek V4.1 Flash.

Quanto ao motivo pelo qual os resultados de benchmarks comuns como GPQA Diamond e SWE Bench não são anunciados, a explicação da equipe é que esses benchmarks foram lançados anteriormente e as pontuações foram saturadas. O que eles mostram são benchmarks mais novos e mais difíceis, como o Último Exame dos Agentes e o ProgramBench. O princípio da autenticidade da avaliação mudou de um credo interno para uma postura externa.

Em mais de 300 comentários, os desenvolvedores não estão apenas preocupados com as pontuações em execução, mas também são questionados repetidamente sobre o desempenho real das tarefas, os custos de uso e a adaptação ecológica. A dimensão competitiva do modelo de código aberto é mais ampla do que a lista mostra. A prioridade apresentada pela equipe Hunyuan em duas horas foi estabelecer primeiro uma base sólida, tornar o modelo mais utilizável em tarefas reais e depois continuar a explorar os limites das capacidades.

As perguntas não respondidas, a reflexão excessiva, a escrita criativa e o autoaperfeiçoamento recursivo que são reconhecidos em primeira mão formam o roteiro para a próxima iteração. Há nove meses, Hunyuan reconstruiu sua infraestrutura de pré-treinamento e aprendizagem por reforço. Nove meses depois, dois modelos e duas horas de perguntas e respostas constituíram os resultados encenados após a reconstrução. Estabeleça primeiro a base e depois explore os limites.

Deixe o resto para a próxima versão. (Este artigo foi publicado pela primeira vez no Titanium Media APP, autor|AGI-Signal, editor|Qin Conghui)

Respeito pelo trabalho original, se você for qualificado, deverá ser valorizado.

De acordo com a exigência de nome real da Lei de Segurança Cibernética, vincule o número do seu celular antes de postar um comentário.

Expressar

11h05

A espaçonave de carga Dragon dos EUA se desprende da estação espacial e parte para retornar à Terra

10:31

Enviado presidencial dos EUA discute trabalho de mediação EUA-Irã com altos funcionários do Catar

10h30

A "memória de alta velocidade" do computador quântico é realizada em uma máquina real pela primeira vez no mundo

10:27

Agência: A demanda esfriou e os preços de TVs, monitores e painéis de laptop podem permanecer estáveis ​​em novembro.

10:25

Ming-Chi Kuo: Espera-se que o Google ajuste a proporção de remessas das séries TPU 8t e 8i em 2027

10:22

O ajustamento faseado não alterou o cenário e muitas instituições estão optimistas quanto à valorização e resiliência das acções A.

10:21

Consta na internet que o porta-malas do Leipão A10 foi esmagado por diversas caixas de cerveja. Salão respondeu.

10:19

Os preços internacionais do ouro continuam a cair

10:16

Funcionário do Federal Reserve, Paulson: Apoia aumentos prudentes das taxas de juros e pode continuar a aumentar as taxas de juros, se necessário

10:15

Se a venda para o SoftBank não puder ser concluída, a ABB estaria considerando desmembrar seu negócio de robótica.

10:12

O IPO da Anthropic recebeu aproximadamente US$ 115 bilhões a US$ 120 bilhões em demanda de subscrição de investidores de varejo

10:10

O preço das joias de ouro continua caindo, com Lao Fengxiang caindo 34 yuans em um único dia

A empresa de entrega de alimentos Wonder está considerando vender o Grubhub

10:09

A Databricks está negociando uma nova rodada de financiamento, com uma avaliação estimada em US$ 225 bilhões

10:08

CrowdStrike supostamente em negociações para adquirir a empresa de segurança cibernética Zscaler

10:06

Apollo e Goldman Sachs concluem o preço do financiamento de US$ 44 bilhões para GPU SpaceX

O investidor ‘Big Short’ Michael Burry reduz as participações em opções de venda da Nvidia, garantindo alguns ganhos

10:04

As vendas no varejo de "Grand Theft Auto 6" atingiram US$ 3,79 bilhões no primeiro dia, estabelecendo recorde da indústria do entretenimento

09:59

Ministro das Relações Exteriores do Irã: O "plano de dois dias" ainda está sobre a mesa e está disposto a discuti-lo com os Estados Unidos

09:53

Trump: Reunião de presidentes China-Rússia-EUA é “sem precedentes” e “de grande importância”

Digitalize para baixar o aplicativo