淘宝 MNN 团队开源 0.3B 手机端模型
11 月 6 日,淘宝 MNN 团队开源约 3 亿参数的端侧模型 MNN-Pocket-0.3B,可在 iPhone 18 Pro 上完全离线运行,平均解码约 350 token/s,INT4 部署文件仅 173 MB。团队目标为峰值内存低于 300 MB、解码超过 200 token/s。
淘宝 MNN 团队开源 0.3B 手机端模型
11 月 6 日,淘宝 MNN 团队开源约 3 亿参数的端侧模型 MNN-Pocket-0.3B,iPhone 18 Pro 上完全离线运行,平均解码约 350 token/s,INT4 部署文件仅 173 MB。
团队目标为峰值内存低于 300 MB、解码超过 200 token/s,最终采用 28 层结构,词表从 151K 精简至 64K;按预训练、后训练、端侧部署分别开源多个版本。
来源:IT之家
