阿里巴巴推出更高效的Qwen3-Next人工智能模型

ceshi阅读:2025-09-12 06:42:35

阿里巴巴旗下的通义千问发布了下一代基础模型架构Qwen3-Next,并开源了基于该架构的Qwen3-Next-80B-A3B系列模型。

与Qwen3的MoE模型结构相比,Qwen3-Next进行了多项核心改进,包括混合注意力机制、高稀疏度MoE结构、一系列训练稳定友好的优化措施,以及提升推理效率的多token预测机制。

基于Qwen3-Next架构,阿里训练了Qwen3-Next-80B-A3B-Base模型,该模型拥有800亿参数,但在运行时仅激活30亿参数。

该Base模型在性能上接近甚至略优于Qwen3-32B的dense模型,而训练成本(GPU小时数)不到Qwen3-32B的**之一。

在32k以上上下文长度的场景下,其推理吞吐量是Qwen3-32B的十倍以上,实现了极高的训练和推理性价比。

本文地址:https://licai.bestwheel.com.cn/qk/373831.html

文章标题:阿里巴巴推出更高效的Qwen3-Next人工智能模型

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。