商汤大装置如何提升推理效能

商汤大装置平台日均 Token 服务量已达 6 万亿，预计 2026 年全年实现 25 倍增长并在第四季度达到日均 10 万亿。商汤大装置构建了万卡级异构推理集群，在特定测试配置下相较于基准方案可将整体 Token 吞吐量提升至原来的 5 倍。]]></thought>