Numërues Frekuence Fjalësh Falas

Si funksionon

Analiza e frekuencës së fjalëve funksionon tërësisht në shfletuesin tënd duke përdorur një tokenizues të shkruar me dorë dhe një Map JavaScript — pa bibliotekë, pa server. Teksti analizohet, numërohet, dhe renditet lokalisht në momentin që e shkruan ose ngjit.

1. 1
   Tokenizim i vetëdijshëm për Unicode

   Mjeti e bën tekstin tënd me shkronja të vogla, pastaj nxjerr shenja me regex-in e vetive Unicode \p{L}\p{M} — i cili trajton saktë shkronja me theks dhe shkrime jo-latine. Për tekst CJK (kinezisht, japonisht, koreanisht), kalon te API-ja e integruar Intl.Segmenter e shfletuesit me granularity: 'word' për të ndarë karaktere që nuk kanë hapësira mes tyre.
2. 2
   Filtrim fjalësh-ndalese dhe gjatësie

   Filtrimi opsional heq fjalë funksionale të zakonshme (the, a, is, dhe ekuivalentët në spanjisht, frëngjisht, gjermanisht, italisht, dhe portugalisht) duke përdorur një Set të paravendosur të përputhur me gjuhën e faqes tënde. Një rrëshqitës gjatësie-minimale heq shenja më të shkurtra se pragu yt i zgjedhur para se të fillojë numërimi.
3. 3
   Numërim frekuence i bazuar në Map dhe mënyra n-gram

   Shenjat regjistrohen në një Map JavaScript — të zgjedhur specifikisht kështu që emra vetish të rezervuara si 'constructor' nuk mund të përplasen me fjalët e numëruara. Në mënyrën bigram ose trigram, tokenizuesi rrëshqet një dritare nëpër rrjedhën e shenjave të papërpunuara dhe bashkon fjalë fqinje në fraza para se të numërojë.
4. 4
   Rezultate të renditura dhe eksport CSV

   Rezultatet renditen sipas numrit zbritës dhe shfaqen si një grafik shufra i renditur. Eksporti ndërton një blob CSV tekst-i-thjeshtë në memorie duke përdorur API-në Blob të shfletuesit dhe aktivizon një shkarkim — asgjë nuk dërgohet te një server në asnjë pikë.

Mjete të ngjashme