词频统计工具

把一段文字粘进来,本页按空格与标点分词、逐词计数,再按出现次数从高到低排好,帮你快速找出一篇文章的高频词。

口径:按非字母数字汉字字符切分,中文按单字统计;结果为「词 / 次数 / 占比」,按次数降序。演示文本含中英混合。

使用方法

词频统计工具用法四步:

  1. 把要分析的文本粘贴进「要统计的文本」框,页面已预置一段中英混合示例。
  2. 按需勾选 忽略大小写(The 与 the 合并)与 忽略标点。
  3. 点「统计词频」,下方表格按出现次数从高到低列出词、次数和占比。
  4. 点「导出 CSV」「导出 JSON」或「复制对照表」把结果带走。

词频统计工具能解决什么

它适合这些场景:

  • 查关键词密度:发文章前看看某个词出现了几次,避免堆砌。
  • 找文章重点:高频词往往就是主题词,帮你快速抓主旨。
  • 校对重复用词:某个词出现几十次,说明该换说法了。

本页不做的事:不做中文分词(中文按单字计数,不识别「人工智能」这类合成词),也不做情感或语义分析。

原理和变量

① 用了哪个具体函数:分词用「正则切分 + 逐词计数」,即用 match(/[A-Za-z0-9]+|[\u4e00-\u9fff]/g) 把文本切成一个个 token,再放入计数字典。

② 关键参数为什么这样取:勾「忽略大小写」时先把 token 转小写再计数;勾「忽略标点」时切分只保留字母、数字和汉字,逗号句号直接丢弃——两个开关都是事后处理,不改动原文。

③ 遵循哪个标准:词元划分参考常见的「字母数字连续段 + 单个汉字」方案;占比 = 该词次数 ÷ 有效词总数 × 100。

④ 输入怎么变成输出:演示文本里 the(忽略大小写后 the/The 合并)出现 3 次,是英文最高频词;中文「工具」出现多次,排在前面。

⑤ 边界与阈值:文本为空时提示;全文只有一个词时占比显示 100%;表格默认显示前 12 行,超出的可点「加载更多」。

⑥ 常见误用的正确解释:这不是「中文分词」,中文按单字统计而非按词;也不做词形还原,runs 与 run 会算成两个词。

完整示例

用页面预置的演示文本(含两句中文、两句英文)统计,忽略大小写与标点后:

  • the:出现 3 次(The、the、the 合并),占比最高。
  • fox / dog:各出现 2 次。
  • 词频统计工具:因按单字切分,会拆成「词」「频」「统」「计」「工」「具」逐字计数。

因此演示结果的最高频项通常是 the 或某个高频汉字,这与「中文按单字、英文按整词」的规则一致。演示数值仅作说明。

输入范围与对照表

分词规则与结果对照:

输入片段切分结果说明
The quick foxThe, quick, fox英文按空白分隔
runs, barks.runs, barks标点被丢弃
The / thethe(合并后 2 次)忽略大小写时合并
词频统计词, 频, 统, 计中文按单字
123, 456123, 456数字整体保留
Hello!Hello感叹号丢弃
(括号)括, 号中文标点丢弃
a-ba, b连字符视为分隔

导出 CSV 默认带 BOM(Excel 打开不乱码),JSON 不带 BOM(程序读取更干净)。

结果边界和舍入

占比按有效词总数计算并保留一位小数,各项相加可能因舍入不等于 100%。空文本不产生任何行;仅含标点的文本会被提示「没有可统计的词」。

表格超过 12 行时默认折叠,点「加载更多」逐批展开;导出文件包含全部词,不受折叠影响。

常见问题

中文会按词统计吗?

不会。本页不做中文分词,中文一律按单个汉字计数,例如「统计」会拆成「统」和「计」各计一次。

The 和 the 会分成两个词吗?

默认勾选「忽略大小写」,两者会合并计数;取消勾选后则分开统计。

标点符号会计入吗?

勾选「忽略标点」时标点被丢弃,不参与统计;取消勾选则标点也会作为一个符号被计数。

导出的 CSV 为什么用 Excel 打开正常?

因为 CSV 带 UTF-8 BOM,Excel 能正确识别中文;JSON 则刻意不带 BOM,方便程序直接解析。

数据会上传吗?

不会。分词、计数、导出都在你的浏览器本地完成,文本不会离开设备。

能统计整篇文章吗?

可以,粘贴多长都行,只是词表会相应变长,导出文件也更大。

占比加起来不是 100%?

占比逐项四舍五入到一位小数,误差会累加,属正常现象。

可以只统计某一段吗?

先在框里只保留你要统计的段落,再点「统计词频」即可。

相关工具