TokenCounter

令牌是在 LLM 中处理的文本单元。它可以是一个完整的词、词的一部分，甚至是一个字符，具体取决于模型的令牌化方法。

令牌计数对管理 API 成本、估算处理时间以及确保输入不超过模型限制至关重要。许多 LLM 提供商根据令牌使用情况收费，并且模型对输入和输出有最大令牌限制。

对于 OpenAI 模型，我们使用它们推荐的 tiktoken 库，因此准确性应该非常高。对于 Anthropic 模型，我们目前使用的是一种较旧的方法，因为 Anthropic 尚未提供其最新模型的令牌化更新信息。

是的，我们的工具支持多种语言。尽管我们的界面完全是英语，但令牌化过程对所有语言的工作方式是相同的。

我们的工具主要支持 OpenAI 和 Anthropic 的模型令牌计数。我们专注于这些，因为它们目前是在行业中使用最广泛的。