11월 20일 텐센트 훈위안공식 X 계정오픈소스 플래그십 모델 Hy4의 무게감을 공개합니다. ~에 따르면 포옹 얼굴 모델 카드, 이번에는 Hy4 및 FP8 Hy4-FP8의 정량화된 버전과 사전 훈련된 기본 모델 Hy4 기반이 출시되었습니다. ModelScope와 GitCode가 동시에 배치되며, 보안 평가가 포함된 시스템 카드가 부착됩니다.
Hy4 언어 백본의 총 매개변수는 770B이고 각 토큰은 49B를 활성화하며 컨텍스트 길이는 100만 개의 토큰이며 텍스트, 그림 및 비디오를 이해할 수 있습니다. 텐센트는 오픈소스를 공개했다고 밝혔습니다. Hy4 미리보기 이를 바탕으로 사전 훈련과 사후 훈련이 크게 확대되고 시각적 기능이 추가되었으며 지시 따르기, 긴 텍스트, 긴 프로세스 작업 및 심층 연구에서 상당한 진전이 이루어졌습니다.
매개변수 크기는 미리보기와 동일하며 추가 1.23B 시각적 인코더가 있습니다.
두 버전의 모델 카드를 비교하면 Hy4는 프리뷰와 동일한 78층 하이브리드 전문가 아키텍처입니다. 첫 번째 계층은 조밀한 피드포워드 네트워크입니다. 나머지 77개 레이어에는 각각 256명의 라우팅 전문가와 1명의 공유 전문가가 있습니다. 각 토큰은 8명의 라우팅 전문가를 가능하게 합니다. 차이점은 1.23B 매개변수 시각적 인코더가 추가되었다는 점입니다. Attention 모듈은 DeepSeek 및 Zhipu GLM을 참조하여 설계된 Sparse Attention과 추론적 디코딩을 위한 내장된 3.3B 매개변수 DFly2 초안 모델을 사용합니다. Tencent는 긴 텍스트 추론 비용을 고정적으로 유지할 수 있다고 말했습니다.
모델 카드에 나와 있는 사전 훈련된 기본 모델 점수인 Hy4 base는 MMLU에서 91.6점, SimpleQA는 57.2점으로 Tencent 테이블의 DeepSeek-V4-Pro-Base의 91.1, 52.1보다 높지만 프로그램 질문 MBPP-plus는 74.0으로 DeepSeek의 79.1보다 낮습니다. 텐센트 자체 평가입니다. 텐센트는 또한 모델 카드에 기본 모델이 훈련 중간에 대량의 합성 지시 데이터에 노출돼 소표본 테스트에서 형식에 따른 질문에 가끔 답변하지 않아 점수가 왜곡될 수 있다는 점을 지적했다.
Apache 2.0에서 Tencent 맞춤형 용어로 권한이 변경되었습니다.
가장 큰 차이점은 승인입니다. Hy4 미리보기는 Apache 2.0을 사용합니다. 이번에 Hy4는 Apache 2.0을 기반으로 다시 작성된 "Tencent Hy License 1.0"을 사용합니다.라이선스 조건섹션 10에는 상업적 제한 사항이 추가됩니다. Hy4를 사용하여 API 및 기타 MaaS(Model-as-a-Service) 서비스를 제공하는 회사는 전 세계 매출이 연속 12개월 이내에 미화 5천만 달러를 초과하거나 해당 제품의 월간 활성 사용자가 1억 명 이상인 경우 Tencent로부터 추가 서면 승인을 받아야 합니다.
또한 특정 목적을 위해 모델 기능을 최종 제품으로만 제한하거나 제3자 모델 서비스만 순수하게 이전하는 것은 MaaS로 간주되지 않는다고 명시되어 있습니다. 회사의 순수한 내부 사용, 모델 및 결과물은 제3자에게 제공되지 않으며 이러한 제한이 적용되지 않습니다. 텐센트가 11월 16일 출시한 저가 버전 Hy4 플래시, 당시 가중치도 앞으로 열릴 것이라고 말했습니다.
이 기사 Tencent의 오픈 소스 플래그십 모델 Hy4: 770B 매개변수, 상용 임계값으로 승인 변경 에 처음 등장 체인 뉴스 ABMedia。




