Поиск дублирующихся строк — бесплатно
Находите, считайте или удаляйте дублирующиеся строки из списка. Отлично для очистки списков email, журналов аудита или поиска повторяющихся записей в дампах данных.
Этот инструмент ищет повторяющиеся строки и строки CSV в тексте, а не дубликаты файлов или фото. Чтобы проверить, одинаковы ли два файла, используйте проверку хеша файла
Параметры
Результат появится здесь…Частые применения
- Удаление дубликатов из списков рассылкиОчистите списки адресов электронной почты перед импортом в Mailchimp, SendGrid или другие ESP.
- Очистка данных перед анализомНайдите дублирующиеся строки в CSV-экспортах или дампах базы данных перед аналитической работой.
- Определите повторения в списках делОбнаружьте дублирующиеся задачи в длинных списках дел или системах отслеживания проектов.
- Подсчитайте частоту словВставьте список слов/ключевых слов, чтобы увидеть, какие из них появляются чаще всего.
- Найдите повторяющиеся сообщения коммитовВставьте лог git, чтобы найти характерные шаблоны сообщений коммитов авторов.
Как это работает
Обнаружение дубликатов полностью работает в вашем браузере с использованием написанного вручную JavaScript Map, который подсчитывает каждую строку за один проход — без библиотеки, без сервера, без загрузки. Результаты обновляются вживую по мере ввода.
- 1Разбиение и нормализация строкИнструмент разбивает ваш текст по переводам строк (обрабатывая как \r\n, так и \n), затем опционально обрезает начальные/конечные пробелы из каждой строки и удаляет пустые строки — контролируется флажками, которые вы устанавливаете перед обработкой.
- 2Однопроходный подсчёт с MapКаждая строка подаётся в JavaScript Map, индексированный по её нормализованной форме (в нижнем регистре, когда включено игнорирование регистра). Map накапливает счётчик вхождений для каждого уникального ключа за один линейный проход, сохраняя первый встреченный оригинальный текст.
- 3Генерация вывода в зависимости от режимаВ зависимости от выбранной вкладки — Подсчёт, Уникальные, Только дубликаты или Подсвеченные — значения Map фильтруются или сортируются (по частоте, по алфавиту или по порядку первого появления) и форматируются как обычный текст или инлайн-вид с цветовой кодировкой.
- 4Скопируйте или скачайте результатОбработанный текст можно скопировать в буфер обмена, экспортировать как файл .txt, или (в режиме подсчёта) скопировать как CSV с одной строкой на значение и его количество вхождений — готово для вставки в электронную таблицу.
Похожие инструменты
Поиск дубликатов файлов и фото
Находите дубликаты файлов и похожие фото в папке: точные копии по содержимому, а также уменьшенные или пересохранённые версии одной и той же фотографии. Оставьте лучшую копию, остальные уберите в сторону. Работает в браузере; ничего не загружается на сервер.
Выбор эмодзи
Ищите и копируйте эмодзи одним щелчком. Просматривайте по категориям, составляйте строку из нескольких эмодзи, выбирайте оттенок кожи и находите недавно использованные.
Сортировщик текста
Сортируйте строки текста по алфавиту, длине, числовому значению или случайно. Удаляйте дубликаты, обрезайте пробелы и перемешивайте списки.