IT之家·· 1 小时前AI 评分67
淘宝 MNN 团队开源 MNN-Pocket-0.3B 手机大模型
淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s
AI 导读
淘宝 MNN 团队开源 MNN-Pocket-0.3B 手机原生大模型,在苹果 iPhone 18 Pro 上离线运行的平均解码速度达到 350 token/s。该模型采用 28 层结构与 64K 精简词表,INT4 部署文件体积为 173MB,峰值内存增量低至 228MB,并提供从预训练到端侧部署的多版本开源入口。
来源:IT之家 · ithome.com