karpathy/minbpe

项目概览

该项目允许用户在给定文本上从头训练自定义分词词表与合并规则，并在教育导向的可读代码中提供了经 tiktoken 验证的 GPT-4 分词复现能力，适用于理解 LLM 分词内部机制。

项目类型

模型开发 · 提示词工程

部署方式

查看项目说明

License

MIT

适合谁

• 需要阅读可修改、注释详尽的教学型 Python 代码来理解 LLM 分词中 BPE 算法的开发者与教学者。

核心能力

• 直接在文本上运行最基础的 BPE 算法实现，支持训练、编码与解码。
• 在分词前通过正则模式对输入文本进行预处理拆分，避免跨类别边界合并，并处理特殊 token。
• 在 RegexTokenizer 基础上的轻量封装，可精确复现 tiktoken 库中 GPT-4 的分词行为。
• 允许用户在给定文本上训练自己的分词器词表与合并规则。
• 计划提供一个可在大型文件和较大词表上运行的、更为优化的 Python 版本。
• 计划提供用 C 或 Rust 编写的、进一步优化的算法实现版本。
• 计划编写类似 GPT4Tokenizer 的 LlamaTokenizer，尝试实现 sentencepiece 等效功能。

限制与风险

• 当前 Python 实现未针对大型文件和大型词表进行优化；更优化的 Python 版本及 C 或 Rust 版本仍处于计划阶段。

如何开始

• 设置难度较低：从 minbpe 导入分词器类（如 BasicTokenizer）进行初始化，然后调用 encode、decode 或 train 方法即可开始使用。

核验依据

• GitHub 项目简介: Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.
• README: 1) train the tokenizer vocabulary and merges on a given text, 2) encode from text to tokens, 3) decode from tokens to text.
• README: All of the files above are very short and thoroughly commented, and also contain a usage example on the bottom of the file.
• README: We use the pytest library for tests. All of them are located in the `tests/` directory.
• README: Implements the `BasicTokenizer`, the simplest implementation of the BPE algorithm that runs directly on text.

内容核验时间：