Բառերի հաճախականության հաշվիչ անվճար

Ինչպես է այն աշխատում

Բառերի հաճախականության վերլուծությունը լիովին աշխատում է ձեր դիտարկիչում՝ ձեռագիր նշանագրիչով և JavaScript Map-ով — ոչ մի գրադարան, ոչ մի սերվեր։ Տեքստը վերլուծվում, հաշվվում և դասակարգվում է տեղում, հենց մուտքագրելուն կամ փակցնելուն պես։

1. 1
   Unicode-զգայուն նշանագրում

   Գործիքը ձեր տեքստը փոքրատառացնում է, ապա հանում է նշաններ Unicode հատկանիշի regex \p{L}\p{M}-ով — որը ճիշտ է մշակում ընդգծված տառերն ու ոչ-լատինական գրերը։ CJK տեքստի համար (չինարեն, ճապոներեն, կորեերեն), այն փոխարկվում է դիտարկիչի ներկառուցված Intl.Segmenter API-ին granularity: 'word'-ով՝ բացատ չունեցող նիշերը բաժանելու համար։
2. 2
   Կանգառ-բառի և երկարության զտում

   Ընտրովի զտումը հեռացնում է տարածված ֆունկցիոնալ բառեր (the, a, is, և համարժեքները իսպաներենում, ֆրանսերենում, գերմաներենում, իտալերենում և պորտուգալերենում)՝ օգտագործելով ձեր կայքի տեղանքին համապատասխանեցված կոշտ կոդավորված Set։ Նվազագույն-երկարության սահիչը հեռացնում է ձեր ընտրած շեմից կարճ նշանները՝ մինչև հաշվարկի սկսելը։
3. 3
   Map-հիմքով հաճախականության հաշվում և n-գրամ ռեժիմ

   Նշանները հաշվվում են JavaScript Map-ում — ընտրված հատուկ, որպեսզի պահված հատկության անուններ, ինչպիսին է 'constructor'-ը, չկարողանան բախվել հաշված բառերի հետ։ Bigram կամ trigram ռեժիմում նշանագրիչը սահող պատուհան է շարժում հում նշանների հոսքի վրայով և հարակից բառերը միացնում արտահայտությունների՝ մինչև հաշվելը։
4. 4
   Դասակարգված արդյունքներ և CSV արտահանում

   Արդյունքները տեսակավորվում են ըստ հաշվարկի նվազման կարգով և ցուցադրվում որպես դասակարգված սյունակագիծ։ Արտահանումը հիշողության մեջ կառուցում է պարզ-տեքստային CSV blob՝ դիտարկիչի Blob API-ով և գործարկում է ներբեռնում — ոչինչ ոչ մի պահի չի ուղարկվում սերվեր։

Առնչվող գործիքներ