元象发布高效大模型XVERSE-MoE-A4.2B:极致压缩,性能卓越
深圳,2025年4月3日 —— 在人工智能领域,元象科技再次展现其创新实力,今日正式发布全新大模型——XVERSE-MoE-A4.2B。这款采用混合专家模型架构(Mixture of Experts, MoE)的大模型,以仅4.2B的激活参数,实现了与13B模型相媲美的卓越性能,标志着元象科技在AI技术研发上迈出了重要一步。
XVERSE-MoE-A4.2B大模型是元象科技基于最前沿的MoE技术自主研发的成果。MoE模型通过稀疏激活技术,打破了传统规模理论的局限,使得模型在扩大规模的同时,不显著增加训练和推理的计算成本,从而保持了模型性能的最大化。元象科技在XVERSE-MoE-A4.2B模型中,将这一技术发挥到了极致,实现了极致的压缩效果。
据元象科技介绍,XVERSE-MoE-A4.2B在相同语料下训练了2.7万亿token的数据,实际激活参数量仅为4.2B,但其性能却超越了之前发布的XVERSE-13B-2模型。更令人瞩目的是,XVERSE-MoE-A4.2B仅用了30%的计算量,并减少了50%的训练时间,展现了极高的效率。
在多个权威评测中,XVERSE-MoE-A4.2B的表现同样令人惊艳。它不仅大幅超越了新晋业界顶流的谷歌Gemma-7B和Mistral-7B模型,还接近了超大模型Llama1-65B的性能水平,充分证明了元象科技在AI大模型研发上的深厚底蕴和技术实力。
XVERSE-MoE-A4.2B的成功,离不开元象科技在MoE技术上的自研与创新。元象科技针对MoE架构中的专家路由和权重计算逻辑,研发了一套高效融合算子,显著提升了计算效率。同时,针对MoE模型高显存使用和大通信量的挑战,元象科技还设计了计算、通信和显存卸载的重叠操作,有效提高了整体处理吞吐量。
此外,XVERSE-MoE-A4.2B在模型架构上也进行了创新。元象科技采用了更细粒度的专家设计,每个专家大小仅为标准前馈网络(FFN)的四分之一,提高了模型的灵活性与性能。同时,元象科技还将专家分为共享专家(Shared Expert)和非共享专家(Non-shared Expert)两类,共享专家在计算过程中始终保持激活状态,非共享专家则根据需要选择性激活,这种设计有利于将通用知识压缩至共享专家参数中,减少非共享专家参数间的知识冗余。
在商业应用方面,元象科技同样展现出了前瞻性的布局。XVERSE-MoE-A4.2B大模型全开源,无条件免费商用,为海量中小企业、研究者和开发者提供了强大的工具支持。元象科技表示,这将有助于推动低成本部署,加速AI技术在各行各业的普及和应用。
元象科技自2021年初在深圳成立以来,一直致力于打造AI驱动的3D内容生产与消费一站式平台。此次XVERSE-MoE-A4.2B大模型的发布,不仅是元象科技在AI技术研发上的重要里程碑,也是其推动国产开源技术发展的重要举措。
未来,元象科技将继续秉承“定义你的世界”的愿景,不断推动前沿技术的自主研发和应用创新,为AI领域的发展贡献更多力量。
关于元象科技:
元象科技成立于2021年初,是国内领先的AI与3D技术服务公司。公司致力于打造AI驱动的3D内容生产与消费一站式平台,并已在3D和AI领域取得了多项引领性的技术成果。元象科技累计融资金额超过2亿美元,投资机构包括腾讯、高榕资本、五源资本等知名机构。目前,元象科技已为多家龙头企业提供一站式技术与服务,包括澳门大三巴、南京大报恩寺、央视、腾讯音乐TMELAND等。
模型下载链接:
- Hugging Face: https://huggingface.co/xverse/XVERSE-MoE-A4.2B
- ModelScope魔搭: https://modelscope.cn/models/xverse/XVERSE-MoE-A4.2B
- Github: https://github.com/xverse-ai/XVERSE-MoE-A4.2B
对于XVERSE-MoE-A4.2B大模型的更多信息和应用案例,欢迎访问元象科技官方网站或关注元象科技官方微信公众号。
关于文章版权的声明:
https://news.softunis.com/38370.html 文章来自软盟资讯
若非本站原创的文章,特别作如下声明:
本文刊载所有内容仅供提供信息交流和业务探讨而非提供法律建议目的使用,不代表任何监管机构的立场和观点。不承担任何由于内容的合法性及真实性所引起的争议和法律责任。
凡注明为其他媒体来源的信息,均为转载,版权归版权所有人所有。
如有未注明作者及出处的文章和资料等素材,请版权所有者联系我们,我们将及时补上或者删除,共同建设自媒体信息平台,感谢你的支持!