量子位· 思邈·· 23 小时前AI 评分58
是石科技发布 TokenFleet 分布式调度框架,首 Token 延迟降低 32.4%
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效
AI 导读
是石科技在 CCF 全国高性能计算学术大会期间发布 TokenFleet 分布式调度框架,包含 TokenPilot、FleetMind 和 SLOMax 三项核心技术。在 GLM5.3 调优测试中,采用预测延迟路由后 P95 首Token延迟降低 32.4%,P50 首Token延迟降低 71.3%。
来源:量子位 · qbitai.com