多多宝宝🏠 回首页首页 › 8-12岁 动手实验 › 语言AI
✂️ 分词：大模型怎么读字
语言AI 入门 · 适合 8-12岁
把一句话切成 token，看看 AI 眼里的文字是什么样。
🤖 多多说：在框里打一句话，看看我是怎么把它切成小块的！
试试三种切法，比较 token 数量：按字切最多，按词切更少。中文的一个字在电脑里占 3 个字节。大模型按 token 计费、有长度上限，就是这个原因。
这是「多多宝宝」8-12岁 动手实验里的第 21 个活动（共 1020 个）。在浏览器里直接玩，免费、无广告、不需要注册。