Wyszukiwacz zduplikowanych linii za darmo
Znajdź, zlicz lub usuń zduplikowane linie z listy. Świetny do czyszczenia list e-mail, dzienników audytu lub znajdowania powtarzających się wpisów w zrzutach danych.
To narzędzie znajduje zduplikowane wiersze i wiersze CSV w tekście, a nie zduplikowane pliki czy zdjęcia. Aby sprawdzić, czy dwa pliki są identyczne, użyj narzędzia do sprawdzania skrótu pliku
Opcje
Wynik pojawi się tutaj…Typowe zastosowania
- Deduplikuj listy e-mailiOczyść listy e-maili przed importowaniem do Mailchimp, SendGrid lub innych dostawców usług.
- Oczyść dane przed analiząZnajdź zduplikowane wiersze w eksportach CSV lub zrzutach baz danych przed pracą analityczną.
- Zidentyfikuj powtórzenia na listach zadańSpot zduplikowane zadania na długich listach rzeczy do zrobienia lub narzędziach do śledzenia projektów.
- Policz częstotliwość słówWklej listę słów/słów kluczowych, aby zobaczyć, które pojawiają się najczęściej.
- Znajdź powtarzające się komunikaty zatwierdzeniaWklej dziennik git, aby znaleźć zwyczajowe wzory komunikatów zatwierdzenia autorów.
Jak to działa
Wykrywanie duplikatów działa w całości w przeglądarce, z użyciem ręcznie napisanej struktury Map w JavaScript, która zlicza każdy wiersz w jednym przebiegu — bez biblioteki, serwera i przesyłania. Wyniki aktualizują się na żywo podczas pisania.
- 1Dzielenie na wiersze i normalizacjaNarzędzie dzieli tekst na znakach nowego wiersza (obsługując zarówno \r\n, jak i \n), a następnie opcjonalnie usuwa białe znaki z początku i końca każdego wiersza i pomija puste wiersze — zgodnie z polami wyboru ustawionymi przed przetwarzaniem.
- 2Zliczanie w Map w jednym przebieguKażdy wiersz trafia do Map w JavaScript z kluczem w postaci znormalizowanej (małymi literami, gdy włączone jest ignorowanie wielkości liter). Map zlicza wystąpienia każdego unikalnego klucza w jednym liniowym przebiegu, zachowując oryginalny tekst z pierwszego wystąpienia.
- 3Generowanie wyniku zależnie od trybuW zależności od wybranej karty — Liczba, Unikalne, Tylko duplikaty lub Wyróżnione — wartości z Map są filtrowane lub sortowane (według częstości, alfabetycznie lub w kolejności pierwszego wystąpienia) i formatowane jako zwykły tekst lub widok z kolorowym oznaczeniem.
- 4Skopiuj lub pobierz wynikPrzetworzony tekst można skopiować do schowka, wyeksportować jako plik .txt lub (w trybie Liczba) skopiować jako CSV z jednym wierszem na wartość i liczbą jej wystąpień — gotowy do wklejenia do arkusza.
Powiązane narzędzia
Wyszukiwarka duplikatów plików i zdjęć
Znajdź zduplikowane pliki i podobne zdjęcia w folderze: dokładne kopie według zawartości oraz zmniejszone lub ponownie zapisane wersje tego samego zdjęcia. Zachowaj najlepszą kopię, a resztę odłóż na bok. Działa w przeglądarce; nic nie jest wysyłane.
Wybór emoji
Szukaj i kopiuj emoji jednym kliknięciem. Przeglądaj według kategorii, zbuduj ciąg z kilku emoji, wybierz odcień skóry i znajdź te, których ostatnio używałeś.
Sortownik tekstu
Sortuj wiersze tekstu alfabetycznie, według długości, numerycznie lub losowo. Usuń duplikaty, przycinaj białe znaki i tasuj listy.