StateBench：测试语言模型在长文档中追踪状态变化的能力

AllenAI 推出长上下文状态追踪基准 StateBench，用于测试语言模型在长文档中跟踪实体状态随时间演变的能力。测试结果表明，循环架构和混合模型在直接训练时比 Transformer 展现出更强的泛化能力，而前沿模型在输入变长时处理较难的状态追踪问题时仍会出现性能下降。