The Verge编辑启动本地AI实测项目，在Mac Studio上运行Hermes与Qwen模型，尝试摆脱云端服务处理个人数据。

测试选用参数规模达70亿的Qwen2.5模型，配合Hermes量化版本，推理延迟约120毫秒，全程无需联网。该编辑表示：“本地AI的隐私优势明显，但配置复杂度远超预期。”

70亿参数模型在Mac Studio上实现120毫秒推理延迟，表明消费级硬件已具备承载大语言模型的能力，AI大模型本地化部署门槛正在下降。

来源：权威科技媒体

软盟资讯 news.softunis.com 7×24小时AI快讯