Hugging Face Blog·· 2 小时前AI 评分59
Ai2 分享 GPU 集群调度重构经验:引入预算分配与时间切片机制提升效率
Impactful scheduling for GPU clusters
AI 导读
Ai2 AI 基础设施团队将 GPU 集群调度器由传统优先级模式重构为基于时间预算、分层公平共享与时间切片契约的系统,解决了资源争抢与占坑问题。新系统将调试任务的 p90 排队等待时间从 2 小时缩短至 30 秒,需人工干预的节点维护响应减少了 74%,同时使集群在超额需求下保持 98% 的高占用率。
来源:Hugging Face Blog · huggingface.co