IT之家·· 2 小时前精选AI 评分74
开源引擎 Strata 发布:12GB 显存显卡可运行 125B 参数 Qwen3.8 模型
12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒
AI 导读
开发者 Niko1221 开源推出 Strata 引擎,支持在 12GB 及以上显存的消费级显卡上运行 125B 参数的 Qwen3.8-Flash-Next 模型。该引擎通过将 MoE 模型整体载入 RAM 并仅把高频专家模型载入 VRAM,配合轻量模型投机解码来降低显存占用。性能测试显示,在 RTX 5070(12GB 显存)环境下,Q2_0 量化版的生成速度可达 94 词元/秒。
推荐理由
该开源引擎通过内存分级加载与投机解码,降低了百亿级别大模型在消费级显卡上的本地运行门槛。
来源:IT之家 · ithome.com