🔍
免费重复行查找器
查找、统计或删除列表中的重复行。适合清理邮件列表、审计日志或查找数据导出中的重复条目。
加载后可离线使用
常见用途
- 去重电子邮件列表在导入到Mailchimp、SendGrid或其他ESP之前清理电子邮件列表。
- 分析前清理数据在CSV导出或数据库转储中查找重复行，然后进行分析工作。
- 识别待办事项列表中的重复项在长待办事项列表或项目跟踪器中找到重复任务。
- 计数词频粘贴词汇/关键字列表以查看哪个出现最频繁。
- 查找重复的提交消息粘贴git日志以找到作者习惯性的提交消息模式。
工作原理
重复检测完全在你的浏览器中运行，使用手写的 JavaScript Map 一次遍历统计每一行——没有库、没有服务器、不上传。结果在你输入时实时更新。
- 1行拆分与规范化工具按换行拆分文本（同时处理 \r\n 和 \n），然后根据你在处理前设置的复选框，可选择去除每行首尾空白并删除空行。
- 2单次遍历的 Map 计数每一行以其规范化形式（开启忽略大小写时转为小写）为键放入 JavaScript Map。Map 在一次线性遍历中累计每个唯一键的出现次数，并保留首次出现时的原始文本。
- 3按模式生成输出根据所选标签页——计数、去重、仅重复项或高亮——Map 的值会被筛选或排序（按频率、字母顺序或首次出现顺序），并格式化为纯文本或内联的颜色标记视图。
- 4复制或下载结果处理后的文本可以复制到剪贴板、导出为 .txt 文件，或（在计数模式下）复制为 CSV，每个值及其出现次数占一行——可直接粘贴到电子表格中。