Simon Willison·· 7 小时前AI 评分45
ttok 1.0 发布
ttok 1.0
AI 导读
Simon Willison 正式发布 ttok 1.0,将默认 tokenizer 从 GPT-4 切换至 GPT-5 和 GPT-6 家族。该调整参考了 William Liu 的实验结果,测试显示包括 GPT-5.5、GPT-5.6 以及 GPT-6 在内的 7 个模型在 31 个测试用例中均输出 44,794 tokens,证明其 tokenizer 表现一致。
来源:Simon Willison · simonwillison.net