Yao Shunyu는 Reddit에 출연하여 2시간 동안 질문에 답했습니다. Hunyuan이 지나치게 생각한 후 훈련에서 가장 어려운 문제
AGI-신호
2026.11.21 10:53
· 베이징에서
전문 3036단어
오픈 소스 대형 모델에 대한 경쟁은 목록 결과에서 개발자 커뮤니티 사이의 실제 평판으로 전환되고 있습니다.
베이징 시간으로 11월 21일 이른 아침, Tencent의 수석 AI 과학자이자 Hunyuan 대형 모델 책임자인 Yao Shunyu와 Hunyuan 팀의 연구원들이 Reddit의 r/LocalLLaMA 커뮤니티에 등장하여 2시간 동안 AMA(Ask Me Anything)를 진행했습니다. Hunyuan 팀이 개발자 커뮤니티의 질문에 공개적으로 답변한 것은 이번이 처음입니다. 아키텍처 선택부터 보안 평가까지 다양한 주제를 다루는 300개 이상의 메시지를 받았습니다.
한 달도 채 지나지 않아 Hunyuan은 두 가지 모델을 차례로 출시했습니다. 11월 4일, Hy4는 최초로 세계 최강 오픈소스 모델에 이름을 올렸고, 제3자 평가기관인 인공분석의 지능지수 목록에서 중국 모델 중 2위, 에이전트 아레나 목록에서 오픈소스 모델 중 1위를 차지했습니다. 일주일여 뒤에 출시된 Hy4 플래시는 단일 작업 비용이 Hy4의 20분의 1에 불과해 "일상 작업을 위한 최고의 비용 효율적인 모델"로 자리매김하고 있습니다.
9개월, 두 번의 출시
시간리듬의 관점에서 보면:
지난 2월 재건축 이후 9개월 만이다.
Hy4와 Hy4 플래시의 분업은 두 가지 경로에 해당합니다. 전자는 모델 크기와 데이터 규모를 확장하고 지능의 상한선을 탐색하는 반면, 후자는 비용을 압축하고 일상적인 작업에 적합하도록 만듭니다.
팀은 질의응답을 통해 차세대 Hy 모델의 규모가 "확실히 더욱 대폭 확대될 것"임을 확인했습니다. 한 개발자는 ByteDance, Kimi 등의 회사가 3T, 심지어 5T 매개변수를 갖춘 초대형 모델을 추진하고 있는 반면 Hunyuan은 여전히 700B 수준에 있다는 사실을 문의했습니다. 팀의 대답은 Hy3와 Hy4가 견고하게 제작된 작은 모델이 종종 더 낮은 비용으로 큰 모델보다 성능이 뛰어나고 그 과정에서 더 많은 것을 배울 수 있다는 것을 보여주었다는 것이었습니다.
제품 라인의 반대편에는 Hy4 mini가 이미 로드맵에 있고 35B-A3B Flash-Lite가 진행 중인 것으로 확인되었으며 더 작은 오픈 소스 이미지 모델이 고려 중이며 비디오 모델에 대한 새로운 소식이 있습니다. 온디바이스의 시각적 이해를 위해 팀은 약 30억 개의 활성화된 매개변수를 갖춘 A3B 모델이 이미 스크린샷과 차트를 이해하고 추론을 수행하는 작업을 수행할 수 있다고 판단합니다.
로드맵에는 순환적인 MoE와 지속적인 학습을 위한 공간도 있습니다. 전자에 대해서는 “당연히 가능하니 지켜봐달라”는 반응이고, 후자에 대해서는 활발하게 연구 중이다. 연구개발을 지원하는 훈련 인프라도 반복되고 있으며, Hyra 3.0은 이미 개발 중입니다.
트레이드오프가 매개변수보다 우선합니다.
궁극적으로 GQA 대신 MLA를 선택한 이유를 묻는 질문에 팀은 반복된 절충의 역사를 밝혔습니다. MLA의 계산 강도는 GQA의 계산 강도보다 훨씬 높습니다. 추론 GPU에서 추측적 디코딩을 수행할 때 병목 현상은 컴퓨팅 성능에 영향을 미칩니다. 그러나 동일한 KV 캐시 크기에서 MLA의 모델 품질은 GQA보다 좋습니다. DSA 도입 이후에는 디코딩 단계의 계산 강도가 감소하고 트레이드 오프의 균형이 기울어집니다.
Hy4 플래시의 여러 다른 디자인은 동일한 절충안 세트를 계속합니다. SWA는 KV 캐시를 원래 크기의 1/4로 줄이고 서비스 비용을 크게 절감합니다. 64B Engram 매개변수를 호스트 메모리로 오프로드하는 설계와 결합하여 12B 활성화 매개변수가 있는 모델은 128GB 이상의 구성에서 원활하게 실행될 수 있습니다.
개발자는 희소성 비교 세트를 나열했습니다. 엔그램이 없는 Hy4 플래시의 총 매개변수는 156B, 활성화는 12B, 활성화 비율은 7.7%입니다. Qwen3.8-Flash는 4.8%이고, DSv4.1은 2.9%로 낮습니다. 높은 활성화 밀도가 지능에 얼마나 중요합니까? 팀의 대답은 규모 사다리 실험을 기반으로 합니다. 즉, 활성화 매개변수의 양이 고정되면 희소성을 높이면 컴퓨팅 효율성이 향상될 수 있습니다. 그러나 전체 매개변수를 변경하지 않고 단순히 활성화 매개변수를 줄이면 모델 품질이 크게 손상됩니다. 활성화 매개변수의 양이 본질적으로 계산 예산을 결정하기 때문입니다.
팀의 의견으로는 너무 희박한 MoE 아키텍처는 추론에 우호적이지 않고 많은 비디오 메모리를 차지하지만 컴퓨팅 성능을 완전히 활용할 수는 없습니다. 동일한 처리량 하에서 동일한 전체 매개변수와 더 많은 활성화 매개변수를 사용하여 모델을 실행할 수 있습니다. 끝 부분에 관해서는 아이디어가 다릅니다. 아키텍처는 엣지 디바이스의 GPU 하드웨어와 더욱 긴밀하게 설계되어야 합니다.
양자화 방식에 대한 응답에서 하향 투영은 활성화 값의 이상값으로 인해 양자화에 더 민감하며 더 많은 비트가 할당됩니다. 비트 폭은 헤세 민감도에 따라 선택됩니다. 양자화 후에 라우터는 안정성을 유지하기 위해 QAT와 함께 훈련될 것이며, 팀에서는 모델 품질이 더 좋기 때문에 전체 매개변수 QAT를 선호합니다. 이 답변 세트는 전체 Q&A 중 프로젝트의 가장 자세한 부분입니다.
가장 어려운 것은 지나친 생각이다
훈련 후 단계에서 개선해야 할 가장 어려운 행동에 대해 물었을 때 대답은 단 네 단어, 즉 지나치게 생각하는 것이었습니다. Hy4는 지능의 상한을 추구하며, 긴 사고 사슬은 알려진 문제입니다. 이 솔루션은 폐쇄 루프 제품의 색상을 가지고 있으며 Hy4의 오랜 사고 체인을 비용 효율적인 Hy4 플래시로 증류한 다음 강화 학습을 통해 후자에 대한 더 짧은 사고 체인을 보장합니다.
일부 개발자들은 모델이 좀 더 쉽게 설명한다면 Qwen 3.8 Flash Next에서 전환하는 중요한 이유가 될 것이라고 말하면서 글을 근거로 질문을 했습니다. 팀에서는 창의적인 글쓰기와 가독성이 매우 중요하며 핵심 방향으로 개선해 나가고 있다며 “때로는 다섯 문단보다 좋은 예가 더 도움이 된다”고 답했다. 그들은 또한 대형 모델의 글쓰기 능력이 전반적으로 저하된다는 관찰에 주의를 기울였다고 인정했으며, 이는 훈련 목표와 관련이 있을 수 있다고 믿었습니다. 그들은 모델이 "인간과 더 비슷하고 일상적인 표현"을 쓸 수 있기를 바랍니다.
Hy4가 자율적으로 작동하고 차세대 모델을 개발할 수 있는지에 대해 응답에서는 반복적 자기 개선 기능이 아직 초기 단계이지만 핵심 기능을 평가하기 위해 여러 내부 벤치마크가 개발되었다고 응답했습니다. AGI 수준에 따라 Hy4의 순위를 매기라는 요청을 받았을 때 팀원들은 2.5의 자체 평가를 했습니다.
기술적인 문제 사이에는 연구 개발 과정에 대한 기억이 있습니다. Hy3에서 Hy4로의 확장이 가장 어려웠던 순간으로 꼽혔습니다. 데이터 절제 실험은 기대에 미치지 못했고 훈련 시작도 불확실성으로 가득 차 있었습니다. "훈련이 막 시작됐을 때 꽤 긴장했어요." 최종 결과에 대한 팀의 회상은 “모든 칩을 테이블 위에 올려놓고 실제로 승리한 것 같은 느낌이었다”는 것이다.
제한 사항을 명확하게 설명하는 것도 일종의 오픈 소스입니다.
책임감 있는 오픈 소스를 위해 Hunyuan은 주로 훈련 중 취약점 악용 및 공격 공격에 초점을 맞춘 네트워크 보안 데이터를 필터링하고 훈련 수준의 응답 거부 보호에 협력하며 레드팀 평가를 수행합니다. 일부 개발자는 이것이 방어자를 약화시키고 리버스 엔지니어링을 제한하며 맬웨어 분석 및 포렌식을 손상시킬 것이라고 의문을 제기했습니다. 팀이 내린 평가 결론은 Hy4가 취약점 발견 능력은 강력하지만 취약점 활용 능력은 상대적으로 약하다는 것입니다. 과도한 거부는 여전히 개선을 위한 중요한 방향으로 인식되고 있습니다.
llama.cpp의 적용이 진행 중이며 곧 커뮤니티에 출시될 예정입니다. vllm, sgl과의 협력도 심도깊다. Hy4 및 Hy4 플래시는 OpenCode, Claude Code 및 Cline에서 널리 사용되었습니다. 대답은 프로젝트 및 도구 이름에 따라 다릅니다. Q&A 중에 개발자들은 실제 테스트에도 개입했습니다. Hy4 플래시는 내부 에이전트 프로그래밍 및 PR 리뷰 벤치마크에서 만점을 받은 최초의 모델이 되었으며, 완료 속도는 Qwen 3.8 Flash Next, GLM 5.3 Flash 및 DeepSeek V4.1 Flash보다 빨랐습니다.
GPQA Diamond, SWE Bench 등 공통 벤치마크 결과가 발표되지 않는 이유에 대해서는 이들 벤치마크가 더 일찍 출시돼 점수가 포화상태에 이르렀다는 것이 팀의 설명이다. 그들이 보여주는 것은 Agents' Last Exam 및 ProgramBench와 같은 더 새롭고 더 어려운 벤치마크입니다. 평가 진정성의 원칙이 내부 신조에서 외부 입장으로 바뀌었다.
300개가 넘는 댓글에서 개발자들은 실행 점수에 대해 걱정할 뿐만 아니라 실제 작업 성능, 사용 비용 및 생태적 적응에 대해 반복적으로 질문을 받습니다. 오픈소스 모델의 경쟁적 차원은 목록에 표시된 것보다 더 넓습니다. 두 시간 만에 Hunyuan 팀이 제시한 우선순위는 먼저 탄탄한 기반을 마련하고 모델을 실제 작업에 더 유용하게 만든 다음 계속해서 역량의 경계를 탐색하는 것이었습니다.
직접적으로 인정된 답변되지 않은 질문, 지나친 사고, 창의적인 글쓰기, 반복적인 자기 개선이 다음 반복을 위한 로드맵을 형성합니다. 9개월 전, Hunyuan은 사전 훈련 및 강화 학습 인프라를 재구축했습니다. 9개월 후, 두 가지 모델과 2시간 동안의 Q&A를 통해 재구성 후 단계적 결과가 구성되었습니다. 먼저 기초를 놓은 다음 경계를 탐색하십시오.
나머지는 다음 버전에 맡기세요. (이 기사는 Titanium Media APP에 처음 게재되었습니다. 저자 | AGI-Signal, 편집자 | Qin Conghui)
원본 작품에 대한 존중, 자격이 있는 경우 감사해야 합니다.
사이버보안법 실명제에 따라 댓글 작성 전 반드시 휴대폰 번호를 바인딩해 주시기 바랍니다.
표현하다
11:05
미국의 화물 드래곤 우주선이 우주정거장을 이탈해 지구로 귀환을 위해 출발했다.
10:31
美 대통령 특사, 카타르 고위 관리들과 미국-이란 중재 작업 논의
10:30
양자컴퓨터 '고속 메모리'가 세계 최초로 실제 기계에 구현됐다.
10:27
대행사: 수요가 냉각되었으며 TV, 모니터 및 노트북 패널 가격은 11월에도 전반적으로 보합세를 유지할 수 있습니다.
10:25
Ming-Chi Kuo: Google은 2027년에 TPU 8t 및 8i 시리즈의 출하 비율을 조정할 것으로 예상됩니다.
10:22
단계적 조정은 배경을 바꾸지 않았으며 많은 기관이 A주의 가치 평가와 회복력에 대해 낙관하고 있습니다.
10:21
레이파오 A10의 트렁크가 맥주 몇 상자에 눌려 눌려졌다는 사실이 인터넷에 보도됐다. 레파오가 대답했다.
10:19
국제 금값 하락세 지속
10:16
연준 관계자 폴슨: 신중한 금리 인상을 지지하고 필요하다면 금리를 계속 인상할 수 있습니다.
10:15
소프트뱅크에 매각이 성사되지 못할 경우 ABB는 로봇사업 분사를 검토 중인 것으로 전해졌다.
10:12
Anthropic IPO는 소매 투자자로부터 약 1,150억 ~ 1,200억 달러의 청약 수요를 받았습니다.
10:10
금 보석 가격은 계속 하락하고 있으며 Lao Fengxiang은 하루에 34위안 하락했습니다.
음식배달업체 원더(Wonder)가 그럽허브(Grubhub) 매각을 고려 중이다.
10:09
Databricks는 새로운 자금 조달을 협상하고 있는 것으로 알려졌으며 가치는 2,250억 달러에 이를 것으로 예상됩니다.
10:08
CrowdStrike가 사이버 보안 회사인 Zscaler를 인수하기 위해 협상 중인 것으로 알려졌습니다.
10:06
Apollo와 Goldman Sachs, 440억 달러 규모의 SpaceX GPU 파이낸싱 가격 책정 완료
'빅쇼트' 투자자 마이클 버리(Michael Burry)는 엔비디아 풋옵션 보유를 줄여 일부 이익을 확보했습니다.
10:04
'Grand Theft Auto 6' 소매 매출은 첫날 37억 9천만 달러를 기록하며 엔터테인먼트 업계 기록을 세웠습니다.
09:59
이란 외무장관 "이틀 계획은 아직 논의 중"
09:53
트럼프 “중·러·미 정상회담은 전례 없는 일이고 매우 의미 있는 일”
스캔하여 앱 다운로드



