Unique词查询工具_统计文本中不重复单词与出现频次分布

Unique词查询把一段英文或混合文本拆成单词,统计每个不重复单词出现了几次,支持忽略大小写,并按字母序排列好。日志去重、词频初筛、背单词清单都能直接用它,文本不出浏览器。

文本框里按 Ctrl 或 Command 加回车立即统计;打开就带一组示例,清空再运行会提示先粘贴文本。下方对照表默认显示 12 行,点「加载更多」看余下 2 行。

使用方法

  1. 打开页面就有一组完整结果:文本框里是「apple Apple banana apple」,勾选了忽略大小写,结果区已经给出总词数 4、不重复词 2,以及 apple 出现 3 次、banana 出现 1 次,不需要先填任何东西。
  2. 把文本框换成你自己的内容:英文句子、日志片段、单词列表都行;单词之间用空格或常见标点(逗号、句号、冒号、分号、括号等)隔开,本页会自动切分。
  3. 在文本框里按 Ctrl 或 Command 加回车会立即重新统计;清空输入框再点「立即统计」,页面会自动填回默认的那组示例,不会留空报错。
  4. 「忽略大小写」勾上时,apple、Apple、APPLE 会被当作同一个词合并计数;不勾时则区分大小写,三个会各算各的。这个开关直接改变不重复词的数量,记得按需求选择。
  5. 结果区第一行是总词数与不重复词数,后面每一行是「单词 : 次数」,按字母序排列,方便你一眼看到哪些词出现得最多。
  6. 「复制结果」复制整段文字,「复制对照表」复制下面那张例表的制表符分隔版本,「导出 CSV」保存成带字节序标记的文件,Excel 双击不乱码。
  7. 本页不联网、不写本地存储,刷新即回到默认示例,所有文本都在你自己的浏览器里处理。

这个Unique词查询能解决什么

Unique词查询解决的是「一段文本里到底有几个不同的词、各出现几次」的问题。肉眼数长文本几乎不可能不出错,而这个工具一次贴进去就能给出准确的不重复词清单与频次。

第一类用途是日志与语料去重。排查接口日志、统计用户评论里出现的高频词、给单词本去重,本质都是先切词再计数。忽略大小写后,Hello 与 hello 不会再被算成两个,结果更贴近真实语义。

第二类用途是词频初筛。你不需要完整词云,只要知道哪些词最常用,本页按字母序列出频次,搭配复制结果就能直接丢进表格做后续分析,比在线平台更省心也更私密。

第三类用途是教学与校对。学英语时把一篇文章粘进来,看自己重复用了哪些词;写文案时检查有没有某个词堆得太密。它是轻量的「文本体检」,几秒就出报告。

值得一提,本页不会把你的文本上传到任何服务器,切词与计数都只在你自己的设备上发生。你即便把含客户名、日志正文这类不宜外传的内容粘进来,整个统计过程也不会离开本机,这与需要把文本发到云端处理的在线词频工具不同,因此更适合处理敏感或内部文本。结果按字母序输出,复制后可直接进表格继续加工。

切词、忽略大小写与计数的原理

本页先用一个字符类把文本切成单词:凡落在空白、逗号、句号、分号、冒号、感叹号、问号,以及它们的中文全角版本、顿号、引号、括号和换行上的位置都当作分隔符,连续的分隔符被并成一个切口,空串被丢弃。这样「apple,Apple」和「apple Apple」切出来的单词集合一致。

忽略大小写时,本页先把每个单词统一转成小写再做计数键,所以 apple、Apple、APPLE 会落到同一个键上累加;不忽略时则用原始写法作键,大小写不同就算不同词。这个开关只影响「归并」,不影响切分本身。

计数完成后,单词按字母序(即字典序)升序排列输出,便于人眼核对和后续排序。下面是本页用到的几个关键项与含义。

项目含义处理影响
切词把文本拆成单词按标点空白切分决定统计单元
忽略大小写apple=Apple转小写作键改变不重复数
总词数切出的词总数含重复反映文本长度
不重复词去重后的词数键的去重计数反映词汇丰富度
频次每个词出现次数按字母序输出看出高频词

完整示例

默认示例输入是「apple Apple banana apple」,忽略大小写打开。切词得到四个词:apple、Apple、banana、apple;统一小写后键为 apple(出现 3 次)与 banana(出现 1 次)。总词数 4、不重复词 2,按字母序先 apple 后 banana 输出。

总词数 4 · 不重复词 2
apple : 3
banana : 1

如果把「忽略大小写」取消勾选,apple、Apple、banana、apple 四个键各不相同,不重复词会变成 3(apple、Apple、banana),apple 与 Apple 各计 1 次;这能帮你验证大小写开关到底有没有生效。

示例文本对照表

下表共 14 行,给出几段示例文本及其总词数、不重复词数,其中部分默认忽略大小写。前 12 行默认显示,点工具区的「加载更多」看余下 2 行。所有计数都按本页同一套切词与计数逻辑得出。

示例文本总词数不重复词
apple Apple banana apple42
猫 狗 猫 鸟 狗 狗63
the The THE cat42
Hello hello WORLD world42
a a a b b c63
Go go GO python43
one two three one43
A a B b C c63
red Red RED blue42
sun Sun moon Moon42
x y x y x52
cat dog fish cat dog53
aa AA bb BB cc53
run runs RUN ran43

横向读这张表能看出:忽略大小写对「同一个词反复以不同大小写出现」的文本影响最大(如 the The THE cat 从 4 个不重复降到 2 个);而中文这类本就不区分大小写的文本,开关几乎不改变结果,因为键本来就是原样。

结果边界与错误提示

常见问题

忽略大小写会改动原词吗?

不会。忽略大小写只在计数阶段把单词转小写作键,输出时仍按你原文里出现过的写法展示(默认展示小写键),不会把 Apple 改成 apple 写回原文。

为什么 apple 和 Apple 算几个词?

取决于「忽略大小写」开关。勾上时它们被合并成一个键计 2 次;不勾时按原始大小写各算一个词。默认示例勾选了忽略,所以 apple 与 Apple 合并为 3 次。

中文能统计吗?

能,但要自己用空格把词隔开。本页不做中文分词,连续的中文会被整体当作一个词;只有被空格或标点分开的中文片段才会被分别计数。

标点会被算成词吗?

不会。逗号、句号、冒号、分号、引号、括号以及它们的全角版本都是分隔符,会被切掉,不会作为单词进入统计,也不会凭空增加词数。

结果按什么顺序排列?

按字母序(字典序)升序排列,不按频次。如果你想看「出现最多的词」,可以复制结果到表格里再按频次排,本页专注给出干净的基础计数。

总词数和不重复词差很多正常吗?

正常,差值就是重复次数。差值越大说明文本里反复用的词越多;若几乎相等,说明词汇丰富、很少重复,两者关系在结果第一行就标明了。

能统计很长的文本吗?

能。所有处理在浏览器本地完成,几千词也能一次统计完;唯一限制是你的设备内存,普通文章级别毫无压力,也不会上传到任何服务器。

导出的 CSV 为什么会带字节序标记?

带字节序标记(BOM)是为了让 Excel 双击打开时正确识别 UTF-8,不会把中文显示成乱码;「复制对照表」则是纯文本制表符分隔,粘进表格软件同样会自动分列。

相关工具