跳到正文
IT之家·· 2 小时前精选AI 评分74

开源引擎 Strata 发布:12GB 显存显卡可运行 125B 参数 Qwen3.8 模型

12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒

AI 导读

开发者 Niko1221 开源推出 Strata 引擎,支持在 12GB 及以上显存的消费级显卡上运行 125B 参数的 Qwen3.8-Flash-Next 模型。该引擎通过将 MoE 模型整体载入 RAM 并仅把高频专家模型载入 VRAM,配合轻量模型投机解码来降低显存占用。性能测试显示,在 RTX 5070(12GB 显存)环境下,Q2_0 量化版的生成速度可达 94 词元/秒。

推荐理由

该开源引擎通过内存分级加载与投机解码,降低了百亿级别大模型在消费级显卡上的本地运行门槛。

来源:IT之家 · ithome.com