使用方法
- 打开页面就有一组完整结果:文本框里是「apple Apple banana apple」,勾选了忽略大小写,结果区已经给出总词数 4、不重复词 2,以及 apple 出现 3 次、banana 出现 1 次,不需要先填任何东西。
- 把文本框换成你自己的内容:英文句子、日志片段、单词列表都行;单词之间用空格或常见标点(逗号、句号、冒号、分号、括号等)隔开,本页会自动切分。
- 在文本框里按 Ctrl 或 Command 加回车会立即重新统计;清空输入框再点「立即统计」,页面会自动填回默认的那组示例,不会留空报错。
- 「忽略大小写」勾上时,apple、Apple、APPLE 会被当作同一个词合并计数;不勾时则区分大小写,三个会各算各的。这个开关直接改变不重复词的数量,记得按需求选择。
- 结果区第一行是总词数与不重复词数,后面每一行是「单词 : 次数」,按字母序排列,方便你一眼看到哪些词出现得最多。
- 「复制结果」复制整段文字,「复制对照表」复制下面那张例表的制表符分隔版本,「导出 CSV」保存成带字节序标记的文件,Excel 双击不乱码。
- 本页不联网、不写本地存储,刷新即回到默认示例,所有文本都在你自己的浏览器里处理。
这个Unique词查询能解决什么
Unique词查询解决的是「一段文本里到底有几个不同的词、各出现几次」的问题。肉眼数长文本几乎不可能不出错,而这个工具一次贴进去就能给出准确的不重复词清单与频次。
第一类用途是日志与语料去重。排查接口日志、统计用户评论里出现的高频词、给单词本去重,本质都是先切词再计数。忽略大小写后,Hello 与 hello 不会再被算成两个,结果更贴近真实语义。
第二类用途是词频初筛。你不需要完整词云,只要知道哪些词最常用,本页按字母序列出频次,搭配复制结果就能直接丢进表格做后续分析,比在线平台更省心也更私密。
第三类用途是教学与校对。学英语时把一篇文章粘进来,看自己重复用了哪些词;写文案时检查有没有某个词堆得太密。它是轻量的「文本体检」,几秒就出报告。
值得一提,本页不会把你的文本上传到任何服务器,切词与计数都只在你自己的设备上发生。你即便把含客户名、日志正文这类不宜外传的内容粘进来,整个统计过程也不会离开本机,这与需要把文本发到云端处理的在线词频工具不同,因此更适合处理敏感或内部文本。结果按字母序输出,复制后可直接进表格继续加工。
切词、忽略大小写与计数的原理
本页先用一个字符类把文本切成单词:凡落在空白、逗号、句号、分号、冒号、感叹号、问号,以及它们的中文全角版本、顿号、引号、括号和换行上的位置都当作分隔符,连续的分隔符被并成一个切口,空串被丢弃。这样「apple,Apple」和「apple Apple」切出来的单词集合一致。
忽略大小写时,本页先把每个单词统一转成小写再做计数键,所以 apple、Apple、APPLE 会落到同一个键上累加;不忽略时则用原始写法作键,大小写不同就算不同词。这个开关只影响「归并」,不影响切分本身。
计数完成后,单词按字母序(即字典序)升序排列输出,便于人眼核对和后续排序。下面是本页用到的几个关键项与含义。
| 项目 | 含义 | 处理 | 影响 |
|---|---|---|---|
| 切词 | 把文本拆成单词 | 按标点空白切分 | 决定统计单元 |
| 忽略大小写 | apple=Apple | 转小写作键 | 改变不重复数 |
| 总词数 | 切出的词总数 | 含重复 | 反映文本长度 |
| 不重复词 | 去重后的词数 | 键的去重计数 | 反映词汇丰富度 |
| 频次 | 每个词出现次数 | 按字母序输出 | 看出高频词 |
完整示例
默认示例输入是「apple Apple banana apple」,忽略大小写打开。切词得到四个词:apple、Apple、banana、apple;统一小写后键为 apple(出现 3 次)与 banana(出现 1 次)。总词数 4、不重复词 2,按字母序先 apple 后 banana 输出。
总词数 4 · 不重复词 2 apple : 3 banana : 1
如果把「忽略大小写」取消勾选,apple、Apple、banana、apple 四个键各不相同,不重复词会变成 3(apple、Apple、banana),apple 与 Apple 各计 1 次;这能帮你验证大小写开关到底有没有生效。
示例文本对照表
下表共 14 行,给出几段示例文本及其总词数、不重复词数,其中部分默认忽略大小写。前 12 行默认显示,点工具区的「加载更多」看余下 2 行。所有计数都按本页同一套切词与计数逻辑得出。
| 示例文本 | 总词数 | 不重复词 |
|---|---|---|
| apple Apple banana apple | 4 | 2 |
| 猫 狗 猫 鸟 狗 狗 | 6 | 3 |
| the The THE cat | 4 | 2 |
| Hello hello WORLD world | 4 | 2 |
| a a a b b c | 6 | 3 |
| Go go GO python | 4 | 3 |
| one two three one | 4 | 3 |
| A a B b C c | 6 | 3 |
| red Red RED blue | 4 | 2 |
| sun Sun moon Moon | 4 | 2 |
| x y x y x | 5 | 2 |
| cat dog fish cat dog | 5 | 3 |
| aa AA bb BB cc | 5 | 3 |
| run runs RUN ran | 4 | 3 |
横向读这张表能看出:忽略大小写对「同一个词反复以不同大小写出现」的文本影响最大(如 the The THE cat 从 4 个不重复降到 2 个);而中文这类本就不区分大小写的文本,开关几乎不改变结果,因为键本来就是原样。
结果边界与错误提示
- 文本框被清空后再运行,会提示「文本为空:请先粘贴一段要统计的英文或混合文本」,并自动把默认示例填回,不会留下空白结果。
- 切词只按既定分隔符切分,不含分隔符的整段会被当作一个词;例如没有空格的「helloworld」会作为单个词统计,不会强行按字母拆。
- 忽略大小写是把单词整体转小写,不会改词内拼写;「Color」与「colour」拼写不同仍算两个词,本页不做词义归一。
- 频次统计对中文同样有效:中文词之间用空格隔开时会计为独立词,但中文分词不是本页职责,连续中文字会被整体视为一个词。
- 结果区与错误区都带 role="alert",内容变化会被屏幕阅读器播报;所有文本仅在本地处理,不联网也不写存储。
- 对照表 CSV 导出带字节序标记,Excel 双击不乱码;「复制对照表」是制表符分隔文本,粘进表格软件会自动分列。
- 输出按字母序排列,大小写不敏感的键统一以小写形式展示,方便和原始文本对照时快速定位。
- 总词数包含重复项、不重复词是去重后的数量,两者之差就是重复出现的次数,二者关系在结果第一行就写清楚。
常见问题
忽略大小写会改动原词吗?
不会。忽略大小写只在计数阶段把单词转小写作键,输出时仍按你原文里出现过的写法展示(默认展示小写键),不会把 Apple 改成 apple 写回原文。
为什么 apple 和 Apple 算几个词?
取决于「忽略大小写」开关。勾上时它们被合并成一个键计 2 次;不勾时按原始大小写各算一个词。默认示例勾选了忽略,所以 apple 与 Apple 合并为 3 次。
中文能统计吗?
能,但要自己用空格把词隔开。本页不做中文分词,连续的中文会被整体当作一个词;只有被空格或标点分开的中文片段才会被分别计数。
标点会被算成词吗?
不会。逗号、句号、冒号、分号、引号、括号以及它们的全角版本都是分隔符,会被切掉,不会作为单词进入统计,也不会凭空增加词数。
结果按什么顺序排列?
按字母序(字典序)升序排列,不按频次。如果你想看「出现最多的词」,可以复制结果到表格里再按频次排,本页专注给出干净的基础计数。
总词数和不重复词差很多正常吗?
正常,差值就是重复次数。差值越大说明文本里反复用的词越多;若几乎相等,说明词汇丰富、很少重复,两者关系在结果第一行就标明了。
能统计很长的文本吗?
能。所有处理在浏览器本地完成,几千词也能一次统计完;唯一限制是你的设备内存,普通文章级别毫无压力,也不会上传到任何服务器。
导出的 CSV 为什么会带字节序标记?
带字节序标记(BOM)是为了让 Excel 双击打开时正确识别 UTF-8,不会把中文显示成乱码;「复制对照表」则是纯文本制表符分隔,粘进表格软件同样会自动分列。