端侧AI的三条新线索:3GB内存跑350亿参数,6000亿模型进办公台
一、3GB 内存跑 350 亿参数:端侧多模态跨过”无损”这条线
10 月 13 日,面壁智能发布新一代端侧多模态大模型 MiniCPM-V 4.7,包含 35B-A3B 与 1B 两个版本。其中 35B-A3B 采用 MoE(混合专家)架构,总参数 350 亿、每次推理只激活 30 亿;官方称它是首个可在端侧无损流畅运行的开源 MoE 模型,约 3GB 内存即可运行,在 iPad Pro 上实测解码速度达到 15+ token/s(新京报、界面新闻)。
“3GB”这个数字,其实比”350 亿”更值得说。MoE 的机制是模型内部有众多”专家”,每次回答只调用其中几位,能力更强,但对手机运存的压力也更大:传统做法是”用哪位专家,就临时把它搬进运存,搬完再算”,一搬一停就会卡顿。面壁智能给出的答案是自研 LES(前瞻专家调度)技术——提前预测接下来要用到哪些”专家”,趁当前计算还在进行时就把它们加载好,让加载与计算同步推进。据新京报报道,该技术目前是业界独有的开源方案。
落地路径也交代得很清楚:发布当日即支持瑞芯微、NVIDIA、Intel 和 Apple 等国内外主流芯片平台,同时支持 iOS、安卓和鸿蒙系统,并提供开源端侧适配代码及主流推理框架。面壁智能联合 OpenBMB 开源社区发布的 MiniCPM 系列,全球累计下载量已突破 6000 万次,覆盖文本、视觉、语音全模态。换句话说,端侧多模态正在从”少数设备的探索”走向”每个人的日常”。
二、6000 亿参数的 MoE 进办公台:先限免两周
10 月 12 日,腾讯旗下全场景 AI 办公工作台 WorkBuddy 接入阶跃最新旗舰模型 Step 5 Preview,独家限时免费开放两周(新浪科技、腾讯新闻)。官方给出的能力清单是:深度研究、信息检索、数据分析、文档与 PPT 生成,并支持多步骤复杂任务的持续执行。
Step 5 Preview 是阶跃新一代旗舰基座模型,采用稀疏 MoE 架构,总参数量 6000 亿、每个 token 激活约 270 亿,面向 AI 编程、软件工程、专业知识工作及金融等场景优化。新浪科技援引 Artificial Analysis 榜单数据:其综合智能指数为 44 分,位居全球开源前三;此前一周该模型登顶 OpenRouter Trending 榜首,按 token 使用量统计的日榜位列全球第二。
把这两件事放在一起看,逻辑就出来了:一边是把 350 亿参数压进 3GB 内存,一边是把 6000 亿参数的模型塞进办公工作台。端侧与云端各走各的技术路线,目标却一致——让模型出现在用户已经在用的界面里,而不是让用户再去打开另一个聊天窗口。
三、终端不再只是入口:端云一体的生意开始算账
10 月 10 日,杭州。智垣恒启旗下品牌 AstrynX 联合 MiniMax 发布电商 AI Agent 端云一体终端。与云端 SaaS 不同,它采用本地算力架构,店铺经营数据留在设备内部,主打”数据不出店”;设备预装 AstrynXOS 与整套数字员工应用,商家开机激活、绑定店铺、设置业务任务三步即可上手,覆盖客服值守、内容生成、数据分析、店铺运维等重复性工作。文中提到的一组背景数字是:电商商家 AI 使用率已从 2023 年的不足 10%,攀升至 2026 年覆盖超 90% 的经营场景(新华网)。
MiniMax 提供底层模型能力:全模态体系覆盖语言、视频、语音、图像与音乐,其中 MiniMax H3 多模态生成模型在视频编辑能力项位居全球第一,2K 视频生成成本为业内同类旗舰模型的三分之一。
市场侧的数字更直接。IDC 预测,中国”智能体电脑”出货量将从 2026 年的 77 万台增长到 2030 年的 2080 万台,年复合增长率达 127%;京东已联合英伟达、联想、华硕等产业链伙伴,提出未来两年智能体电脑产品累计销售额破千亿的目标。终端不再只是流量入口,而成了模型能力的产品化载体,也是新的付费点。
四、三条线索交汇处的三个判断
第一,端侧的竞争标准在变。过去比参数规模,现在比”在多少内存里跑得动、跑得多快”——3GB、15+ token/s 这类指标,比榜单分数更接近用户的实际体感。
第二,办公是最先被验证的场景。深度研究、数据分析、文档与 PPT,都是高频、可衡量、有付费意愿的任务;模型厂商愿意用”限免两周”去换真实的调用数据与使用习惯。
第三,数据边界正在变成产品卖点。”数据不出店””本地算力”被写进发布会的核心叙事,说明端侧的价值不只是省成本和低延迟,还有合规与信任。
当然,这三条线目前都还在早期:端侧 MoE 的实际体验取决于不同机型与芯片平台的适配程度;办公场景限免结束后的留存如何,终端形态能否真正规模化,都要靠后续几个季度的数据来回答。