Пошук дублікатів рядків — безкоштовно
Знаходьте, рахуйте або видаляйте дублікати рядків зі списку. Чудово для очищення списків email, журналів аудиту або пошуку повторних записів у дампах даних.
Цей інструмент знаходить дубльовані рядки та рядки CSV у тексті, а не дубльовані файли чи фото. Щоб перевірити, чи два файли ідентичні, скористайтеся перевіркою хешу файлу
Параметри
Результат зʼявиться тут…Типові застосування
- Видаліть дублікати з списків електронної поштиОчистіть списки електронної пошти перед імпортом у Mailchimp, SendGrid або інші провайдери.
- Очистіть дані перед аналізомЗнайдіть дублікати рядків у експортах CSV або резервних копіях баз даних перед аналітичною роботою.
- Визначте повтори в списках завданьЗнайдіть дублікати завдань у довгих списках справ або засобах відстеження проектів.
- Підрахуйте частоту словаВставте список слів/ключових слів, щоб побачити, які найчастіше з'являються.
- Знайдіть повторювальні повідомлення фіксаціїВставте журнал git, щоб знайти звичні схеми повідомлень про фіксацію авторів.
Як це працює
Пошук дублікатів працює повністю у вашому браузері на власноруч написаній Map у JavaScript, яка рахує кожен рядок за один прохід, — без бібліотек, сервера й завантажень. Результати оновлюються наживо під час введення.
- 1Поділ і нормалізація рядківІнструмент ділить текст за переносами рядків (обробляючи і \r\n, і \n), а потім за бажанням обрізає пробіли на початку й у кінці кожного рядка й прибирає порожні рядки — відповідно до прапорців, установлених перед обробкою.
- 2Підрахунок через Map за один прохідКожен рядок додається в Map у JavaScript з ключем у нормалізованій формі (у нижньому регістрі, коли ввімкнено ігнорування регістру). Map за один лінійний прохід накопичує кількість входжень для кожного унікального ключа, зберігаючи оригінальний текст першої появи.
- 3Створення результату для кожного режимуЗалежно від вибраної вкладки — «Підрахунок», «Унікальні», «Лише дублікати» чи «Підсвічені» — значення Map фільтруються чи сортуються (за частотою, за алфавітом або за порядком першої появи) і форматуються як звичайний текст або вбудований кольоровий вигляд.
- 4Скопіюйте або завантажте результатОброблений текст можна скопіювати в буфер обміну, експортувати як файл .txt або (у режимі підрахунку) скопіювати як CSV з рядком для кожного значення та кількістю його входжень — готово до вставлення в таблицю.
Схожі інструменти
Пошук дублікатів файлів і фото
Знаходьте дублікати файлів і схожі фото в папці: точні копії за вмістом, а також зменшені чи повторно збережені версії того самого фото. Залиште найкращу копію, а решту відкладіть убік. Працює у вашому браузері; нічого не завантажується на сервер.
Вибір емодзі
Шукайте й копіюйте емодзі одним клацанням. Переглядайте за категоріями, складайте рядок із кількох емодзі, обирайте відтінок шкіри та знаходьте нещодавно використані.
Сортувальник тексту
Сортуйте рядки тексту за алфавітом, довжиною, числово або випадково. Видаляйте дублікати, обрізайте пробіли та перемішуйте списки.