跳到正文
量子位· 十三·· 10 小时前精选AI 评分75

面壁智能开源 MiniCPM-V 4.7:35B MoE 模型仅需 3G 内存即可在端侧流畅运行

iPhone断网跑35B多模态!国产开源新模型,只占3G内存

AI 导读

面壁智能和 OpenBMB 宣布正式开源端侧大模型 MiniCPM-V 4.7,包含 35B-A3B 与 1.3B 两个版本。其中的 35B-A3B 是首个能在端侧流畅运行且不牺牲性能的开源 MoE 模型,在仅占用约 3G 内存的情况下,可在 iPhone、iPad 等端侧设备上断网运行并实现每秒 13 个 token 以上的解码速度。

推荐理由

原文给出了新模型的端侧运行表现、内存占用数据和核心技术方案,想了解端侧大模型进展的读者可以参考这些具体指标。

来源:量子位 · qbitai.com