跳到正文
Simon Willison·· 7 小时前AI 评分45

ttok 1.0 发布

ttok 1.0

AI 导读

Simon Willison 正式发布 ttok 1.0,将默认 tokenizer 从 GPT-4 切换至 GPT-5 和 GPT-6 家族。该调整参考了 William Liu 的实验结果,测试显示包括 GPT-5.5、GPT-5.6 以及 GPT-6 在内的 7 个模型在 31 个测试用例中均输出 44,794 tokens,证明其 tokenizer 表现一致。

来源:Simon Willison · simonwillison.net