腾讯混元Hy4正式开源,LLM系列实现全量开放

腾讯混元11月20日宣布Hy4大模型正式开源,权重已在GitHub、Hugging Face、ModelScope和GitCode四个平台上线。至此混元LLM系列全部开源,覆盖Hy3、Hy4及Hy4 flash等版本。

开源了什么:四个平台同步上线

据腾讯新闻、IT之家等媒体报道,Hy4正式版最早于11月4日发布,本次开放的是此前预告的模型权重。开发者可在GitHub、Hugging Face、ModelScope和GitCode四个社区下载部署,除标准指令模型外,开放版本还包括FP8量化模型及预训练基础模型。

此次开源的范围不止于Hy4一款。混元已发布的LLM系列均实现开放,包括Hy3 preview、Hy3、Hy4 preview、Hy4及Hy4 flash。其中Hy4 flash面向对推理效率和部署成本要求较高的场景,与主打旗舰能力的Hy4形成梯次搭配。

技术规格:MoE架构与百万Token上下文

公开资料显示,Hy4采用混合专家(MoE)架构,语言模型主体总参数约7700亿,每个Token激活约490亿参数,支持最长100万Token上下文,并支持文本、图像和视频理解。Hy4 flash总参数约2200亿,每Token激活约120亿参数,同样支持最高100万Token上下文。

许可证方面,Hy4及Hy4 preview采用Apache 2.0许可证,允许商业使用与修改。这一选择延续了国产大模型以宽松协议扩大开发者生态的思路——此前开源大模型支出中约89%流向中国厂商,DeepSeek等厂商也通过开源新架构推动模型降价,开源正成为国产模型争夺生态的重要途径。

同步发布安全评估卡片

与模型权重一同发布的,还有Hy4模型安全评估卡片(System Card),用于披露安全评估方法、测试结果及已知风险,为开发者了解模型能力边界提供参考。据官方说明,Hy4训练数据仅纳入PoC生成、漏洞修复等防守性网络安全内容,剔除了漏洞利用、逆向工程与渗透等攻击性数据。

腾讯玄武与科恩实验室的审计未发现明显的进攻性能力风险。腾讯混元表示,此举延续其在模型发布过程中同步披露安全评估信息的做法。对开源模型而言,权重开放后的可控性与滥用风险,是开发者和社区关注的重点。

从首发到开源:算力的另一面

Hy4的开源,与此前算力受限的讨论形成对照。Hy4在11月4日于WorkBuddy首发接入后,因调用激增,团队曾对推理集群紧急扩容十倍并提升免费额度,但仍不排除个别时段出现限额。此前有分析指出,腾讯混元下一代模型进度受算力两头承压影响,推理环节以国产芯片补位。

把模型权重开源出去,让更多开发者在自有算力上部署,某种程度上也是对高端算力总量的一种分散。对腾讯而言,开源既能扩大生态,也能把推理成本的压力部分转移到社区侧,但其商业转化路径仍有待观察。

项目 内容
开源模型 Hy4(权重、FP8量化版、预训练基础模型)
下载平台 GitHub、Hugging Face、ModelScope、GitCode
架构 MoE混合专家,总参数约7700亿、激活约490亿
上下文窗口 最长100万Token
许可证 Apache 2.0,允许商用与修改
配套材料 Hy4 System Card安全评估卡片
系列开源 Hy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flash全量开放

常见问题

腾讯混元这次开源了哪些模型?

核心是Hy4的模型权重,已在GitHub、Hugging Face、ModelScope和GitCode四个平台上线。混元LLM系列已全部开源,包括Hy3 preview、Hy3、Hy4 preview、Hy4和Hy4 flash。

Hy4的架构和参数规模如何?

据公开资料,Hy4采用MoE混合专家架构,语言模型主体总参数约7700亿,每Token激活约490亿参数,支持最长100万Token上下文,并支持文本、图像和视频理解,采用Apache 2.0许可证。

什么是System Card?

即模型安全评估卡片,用于披露模型的安全评估方法、测试结果及已知风险。腾讯混元称Hy4训练数据剔除了攻击性网络安全内容,其审计未发现明显的进攻性能力风险。

信息来源:腾讯混元公告,腾讯新闻、IT之家、凤凰网科技11月20日报道。本文为公开信息整理,不构成投资建议。

我还没有学会写个人说明!
上一篇

碳硅道统|储能装机迈过1.5亿千瓦之后 产研适配这一环怎么补(二)

下一篇

面向半导体精密制程散热,CEJN ultraFLOW SC液冷快速接头助力稳定散热

你也可能喜欢

评论已经被关闭。

插入图片
微信 微信
微信
返回顶部

微信扫一扫

微信扫一扫