Bepul So'z Chastotasi Hisoblagichi

Qanday ishlaydi

So'z chastotasi tahlili qo'lda yozilgan tokenizator va JavaScript Map yordamida to'liq brauzeringizda ishlaydi — kutubxonasiz, serversiz. Matn siz uni yozgan yoki joylashtirgan zahoti mahalliy tahlil qilinadi, sanaladi va saralanadi.

1. 1
   Unicode-bilimli tokenizatsiya

   Asbob matningizni kichik harfga aylantiradi, so'ng Unicode xususiyat regexi \p{L}\p{M} bilan tokenlarni chiqaradi — bu urg'uli harflar va lotin-bo'lmagan yozuvlarni to'g'ri boshqaradi. XYaK matni (xitoy, yapon, koreys) uchun, u orasida bo'shliqsiz belgilarni bo'lish uchun brauzerning o'rnatilgan granularity: 'word' bilan Intl.Segmenter API'siga o'tadi.
2. 2
   To'xtash-so'z va uzunlik filtrlash

   Ixtiyoriy filtrlash sayt mahalliy sozlamangizga mos qat'iy kodlangan Set yordamida umumiy funksiya so'zlarini (the, a, is va ispan, fransuz, nemis, italyan hamda portugal tillaridagi ekvivalentlarini) kesib tashlaydi. Minimal-uzunlik sursharshti sanash boshlanishidan oldin tanlagan chegarangizdan qisqaroq tokenlarni olib tashlaydi.
3. 3
   Map-asosidagi chastota sanash va n-gramm rejimi

   Tokenlar JavaScript Map'da hisoblanadi — aynan shu tanlangan, shunda 'constructor' kabi zaxiraviy xususiyat nomlari sanalgan so'zlar bilan to'qnashmasin. Bigram yoki trigram rejimida, tokenizator xom token oqimi bo'ylab oyna suradi va sanashdan oldin qo'shni so'zlarni iboralarga birlashtiradi.
4. 4
   Saralangan natijalar va CSV eksporti

   Natijalar son bo'yicha kamayish tartibida saralanadi va saralangan ustunli grafik sifatida ko'rsatiladi. Eksport brauzerning Blob API'si yordamida xotirada oddiy-matn CSV blob'ini quradi va yuklab olishni ishga tushiradi — hech narsa hech qanday bosqichda serverga yuborilmaydi.

Tegishli asboblar