Акысыз Сөз жыштыгын эсептегич

Бул кантип иштейт

Сөз жыштык талдоо кол менен жазылган токенизатор жана JavaScript Map колдонуп толугу менен браузериңизде болот — китепкана жок, сервер жок. Текст терип же чапкан заматта жергиликтүү талданат, эсептелет жана даражаланат.

1. 1
   Юникод-таанылуучу токенизация

   Курал текстиңизди кичине тамгалайт, андан кийин Юникод касиет регекси \p{L}\p{M} менен токендерди алат — басым белгилери жана латын эмес жазууларды туура иштетип. CJK тексти (кытай, жапон, корей) үчүн, ал алардын ортосунда боштук жок символдорду бөлүү үчүн granularity: 'word' менен браузердин курулма Intl.Segmenter API'сине которот.
2. 2
   Токтотуу-сөз жана узундук чыпкалоо

   Милдеттүү эмес чыпкалоо испан, француз, немис, италия жана португал тилдериндеги эквиваленттерди кошо кадимки функция сөздөрдү (the, a, is, ж.б.) сайтыңыздын локалисине дал келген катуу коддолгон Set менен алат. Минималдуу-узундук сырганагыч эсептөө башталганга чейин тандаган чегиңизден кыска токендерди алат.
3. 3
   Map-негизделген жыштык эсептөө жана n-грамма режими

   Токендер JavaScript Map'те эсептелет — резервделген касиет аттарынын ('constructor' сыяктуу) эсептелген сөздөр менен кагылышпашы үчүн атайын тандалган. Биграмма же триграмма режиминде, токенизатор чийки токен агымынын үстүнөн терезени сыдырат жана эсептөөдөн мурун жанаша сөздөрдү фразаларга бириктирет.
4. 4
   Даражаланган натыйжалар жана CSV экспорту

   Натыйжалар кемүүчү сан боюнча иретелип, даражаланган тилке диаграммасы катары көрсөтүлөт. Экспорт браузердин Blob API'си колдонуп эсте жөнөкөй-текст CSV блобун курат жана жүктөп алууну иштетет — эч нерсе эч бир учурда серверге жиберилбейт.

Байланыштуу куралдар