粘贴长文本
文章、会议纪要、字幕稿都可以。工具会立即统计字符数并估算 token 数。
LONG TEXT IN. TOKEN CHUNKS OUT.
长文 → Token 片段.
把长文档切成适合投喂模型的小段，句子尽量不被截断。
免费 · 无需登录纯浏览器本地处理
切分粒度
以空行分隔段落，尽量整段放进同一片段，段落过长时才按句子和字符继续切。 重叠会让相邻片段共享一段上下文，必须小于每段 token 数。
原文
切分结果等待输入
把长文本粘贴到左边，设定每段 token 数，片段会显示在这里。
估算与限制
- token 为估算值：中文约 1 字 ≈ 1 token，英文约 4 字符 ≈ 1 token。实际数量以模型 tokenizer 为准，切分边界也按估算值计算。
- 段落或句子本身超过每段 token 数时，只能按字符硬切，对应片段会标注「含强制切分」。
- 重叠部分计入片段长度，重叠数必须小于每段 token 数。
- 结果列表最多显示前 100 段，复制全部和下载不受影响。
隐私说明
切分完全在你的浏览器里完成，文本不会上传到服务器，也不会被保存；刷新页面后内容即清空。
粘贴、设参数、拿走，只需三步
SPLIT WITHOUT UPLOAD设定每段大小
填写每段 token 数和重叠数，再选段落、句子或字符粒度，结果会自动更新。
复制或下载
单段复制、复制全部，或下载一份用分隔线隔开的 .txt，方便逐段投喂模型。
A FEW THINGS TO KNOW
你可能想知道
关于估算精度、切分粒度和隐私。
这个 token 切分工具免费吗？
免费，无需注册，也不限制次数。切分、复制和下载都在你的浏览器里完成，刷新页面后内容即清空。
显示的 token 数准确吗？
是估算值：中文约 1 字 ≈ 1 token，英文约 4 字符 ≈ 1 token。不同模型的 tokenizer 规则不同，实际数量会有出入，切分边界也按这个估算计算，建议留出一点余量。
我的文本会被上传吗？
不会。工具在浏览器本地运行，不发送任何网络请求，文本只存在于当前页面内存中，刷新或关闭页面就消失了。
三种切分粒度怎么选？
段落优先会尽量把整段放进同一片段，适合文章和文档；句子优先在句号、问号、感叹号、分号和换行处断开，适合对话记录和字幕；按字符则不考虑语义，直接按长度硬切，适合没有标点的文本。
为什么有的片段标着「含强制切分」？
当单个段落或句子本身就超过每段 token 数时，无法在语义边界处切分，只能按字符硬切。缩小粒度选择「句子优先」或调大每段 token 数可以减少这种情况。
重叠 token 数有什么用？
重叠让相邻片段共享一小段重复的上下文，避免关键信息正好落在切分点上。重叠部分计入每段长度，必须小于每段 token 数，设得越大，重复内容越多。
片段切好了，接下来做什么？
探索 AIGoCode，让 AI 更顺手地融入你的开发工作流。