Намиране на дублирани редове — безплатно
Намирайте, броете или премахвайте дублирани редове от списък. Идеален за почистване на имейл списъци, одитни журнали или намиране на повтарящи се записи в дъмпове на данни.
Този инструмент намира дублирани редове и CSV редове в текст, а не дублирани файлове или снимки. За да проверите дали два файла са идентични, използвайте проверката на хеш на файл
Опции
Тук ще се появи резултатът…Често срещани употреби
- Дедупликирайте списъци с имейлиОчистете списъци с имейли преди импортиране в Mailchimp, SendGrid или други ESP.
- Очистете данните преди анализНамерете дублирани редове в CSV експорти или базови снимки преди аналитична работа.
- Идентифицирайте повторения в списъци на задачиОткрийте дублирани задачи в дълги списъци на задачи или проектни тракери.
- Брой на честотата на думатаПоставете списък с думи/ключни думи, за да видите кои се появяват най-често.
- Намерете повтарящи се съобщения за ангажиранеПоставете git лог, за да намерите навичките на авторите за съобщения за ангажиране.
Как работи
Откриването на дублирания се извършва изцяло във вашия браузър чрез ръчно написан JavaScript Map, който брои всеки ред в един проход — без библиотека, без сървър, без качване. Резултатите се обновяват на живо, докато пишете.
- 1Разделяне на редове и нормализацияИнструментът разделя текста ви по нови редове (обработвайки както \r\n, така и \n), след което по избор изрязва празните знаци в началото/края на всеки ред и премахва празните редове — контролирано от отметките, които задавате преди обработка.
- 2Броене чрез Map в един проходВсеки ред се подава в JavaScript Map, ключуван по нормализираната си форма (с малки букви, когато е включено игнориране на регистъра). Map натрупва брой на срещанията за всеки уникален ключ в един линеен проход, запазвайки първо видения оригинален текст.
- 3Генериране на изход, специфично за режимаВ зависимост от избрания раздел — брой, уникални, само дублирания или маркирани — стойностите на Map се филтрират или сортират (по честота, азбучно или по ред на първо появяване) и се форматират като обикновен текст или изглед с цветово кодиране в реда.
- 4Копирайте или изтеглете резултатаОбработеният текст може да бъде копиран в клипборда, експортиран като .txt файл или (в режим „брой“) копиран като CSV с по един ред за всяка стойност и броя на срещанията ѝ — готов за поставяне в електронна таблица.
Свързани инструменти
Търсене на дублирани файлове и снимки
Намери дублирани файлове и подобни снимки в папка: точни копия по съдържание, плюс преоразмерени или запазени наново версии на една и съща снимка. Запази най-доброто копие и премести останалите настрани. Работи в браузъра; нищо не се качва.
Избор на емоджи
Търсете и копирайте емоджи с едно щракване. Разглеждайте по категории, съставяйте низ от няколко емоджи, изберете тон на кожата и намерете последно използваните.
Сортиране на текст
Сортирайте редове текст по азбучен ред, по дължина, числово или произволно. Премахвайте дубликати, изрязвайте интервали и разбърквайте списъци.