使用方法
词频统计工具用法四步:
- 把要分析的文本粘贴进「要统计的文本」框,页面已预置一段中英混合示例。
- 按需勾选 忽略大小写(The 与 the 合并)与 忽略标点。
- 点「统计词频」,下方表格按出现次数从高到低列出词、次数和占比。
- 点「导出 CSV」「导出 JSON」或「复制对照表」把结果带走。
词频统计工具能解决什么
它适合这些场景:
- 查关键词密度:发文章前看看某个词出现了几次,避免堆砌。
- 找文章重点:高频词往往就是主题词,帮你快速抓主旨。
- 校对重复用词:某个词出现几十次,说明该换说法了。
本页不做的事:不做中文分词(中文按单字计数,不识别「人工智能」这类合成词),也不做情感或语义分析。
原理和变量
① 用了哪个具体函数:分词用「正则切分 + 逐词计数」,即用 match(/[A-Za-z0-9]+|[\u4e00-\u9fff]/g) 把文本切成一个个 token,再放入计数字典。
② 关键参数为什么这样取:勾「忽略大小写」时先把 token 转小写再计数;勾「忽略标点」时切分只保留字母、数字和汉字,逗号句号直接丢弃——两个开关都是事后处理,不改动原文。
③ 遵循哪个标准:词元划分参考常见的「字母数字连续段 + 单个汉字」方案;占比 = 该词次数 ÷ 有效词总数 × 100。
④ 输入怎么变成输出:演示文本里 the(忽略大小写后 the/The 合并)出现 3 次,是英文最高频词;中文「工具」出现多次,排在前面。
⑤ 边界与阈值:文本为空时提示;全文只有一个词时占比显示 100%;表格默认显示前 12 行,超出的可点「加载更多」。
⑥ 常见误用的正确解释:这不是「中文分词」,中文按单字统计而非按词;也不做词形还原,runs 与 run 会算成两个词。
完整示例
用页面预置的演示文本(含两句中文、两句英文)统计,忽略大小写与标点后:
- the:出现 3 次(The、the、the 合并),占比最高。
- fox / dog:各出现 2 次。
- 词频统计工具:因按单字切分,会拆成「词」「频」「统」「计」「工」「具」逐字计数。
因此演示结果的最高频项通常是 the 或某个高频汉字,这与「中文按单字、英文按整词」的规则一致。演示数值仅作说明。
输入范围与对照表
分词规则与结果对照:
| 输入片段 | 切分结果 | 说明 |
|---|---|---|
| The quick fox | The, quick, fox | 英文按空白分隔 |
| runs, barks. | runs, barks | 标点被丢弃 |
| The / the | the(合并后 2 次) | 忽略大小写时合并 |
| 词频统计 | 词, 频, 统, 计 | 中文按单字 |
| 123, 456 | 123, 456 | 数字整体保留 |
| Hello! | Hello | 感叹号丢弃 |
| (括号) | 括, 号 | 中文标点丢弃 |
| a-b | a, b | 连字符视为分隔 |
导出 CSV 默认带 BOM(Excel 打开不乱码),JSON 不带 BOM(程序读取更干净)。
结果边界和舍入
占比按有效词总数计算并保留一位小数,各项相加可能因舍入不等于 100%。空文本不产生任何行;仅含标点的文本会被提示「没有可统计的词」。
表格超过 12 行时默认折叠,点「加载更多」逐批展开;导出文件包含全部词,不受折叠影响。
常见问题
中文会按词统计吗?
不会。本页不做中文分词,中文一律按单个汉字计数,例如「统计」会拆成「统」和「计」各计一次。
The 和 the 会分成两个词吗?
默认勾选「忽略大小写」,两者会合并计数;取消勾选后则分开统计。
标点符号会计入吗?
勾选「忽略标点」时标点被丢弃,不参与统计;取消勾选则标点也会作为一个符号被计数。
导出的 CSV 为什么用 Excel 打开正常?
因为 CSV 带 UTF-8 BOM,Excel 能正确识别中文;JSON 则刻意不带 BOM,方便程序直接解析。
数据会上传吗?
不会。分词、计数、导出都在你的浏览器本地完成,文本不会离开设备。
能统计整篇文章吗?
可以,粘贴多长都行,只是词表会相应变长,导出文件也更大。
占比加起来不是 100%?
占比逐项四舍五入到一位小数,误差会累加,属正常现象。
可以只统计某一段吗?
先在框里只保留你要统计的段落,再点「统计词频」即可。