2026年10月4日，德国AI企业Aleph Alpha发布开源权重MoE大语言模型Kolibri，总参数78.1B，每token仅激活3.46B，面向英德双语场景。

该模型激活比例4.4%，支持1,048,576 token上下文，采用Apache 2.0许可发布于Hugging Face。FP8检查点约78GB，可在单张B200、B300或H200上运行。官方技术报告显示，混合注意力机制使序列长度达到全注意力模型的4倍。

激活比例仅4.4%，意味着推理显存占用大幅低于同参数规模稠密模型，为受监管行业本地化部署大模型提供了可行路径。

来源：权威科技媒体

软盟资讯 news.softunis.com 7×24小时AI快讯