სიტყვების სიხშირის დამთვლელი უფასოდ

როგორ მუშაობს

სიტყვის-სიხშირის ანალიზი მთლიანად თქვენს ბრაუზერში მუშაობს, ხელით დაწერილი ტოკენიზერისა და JavaScript Map-ის გამოყენებით — ბიბლიოთეკის, სერვერის გარეშე. ტექსტი დამუშავდება, ითვლება და ილაგება ლოკალურად, აკრეფის ან ჩასმისთანავე.

1. 1
   Unicode-გამთვალისწინებელი ტოკენიზაცია

   ხელსაწყო თქვენს ტექსტს პატარა-ასოებად აქცევს, შემდეგ ტოკენებს ამოიღებს Unicode თვისების regex-ით \p{L}\p{M} — რომელიც სწორად ამუშავებს ხაზგასმულ ასოებსა და არალათინურ დამწერლობებს. CJK ტექსტისთვის (ჩინური, იაპონური, კორეული), ის ბრაუზერის ჩაშენებულ Intl.Segmenter API-ზე გადადის, granularity: 'word'-ით, სიმბოლოების დასაყოფად, რომლებსაც შორის ცარიელი ადგილები არ არის.
2. 2
   გამონაკლისი-სიტყვისა და სიგრძის ფილტრაცია

   არასავალდებულო ფილტრაცია შლის გავრცელებულ ფუნქციურ სიტყვებს (the, a, is, და ეკვივალენტებს ესპანურში, ფრანგულში, გერმანულში, იტალიურსა და პორტუგალიურში), ჩაშენებული Set-ის გამოყენებით, თქვენს საიტის ენასთან შესატყვისად. მინიმალურ-სიგრძის სლაიდერი შლის ტოკენებს, თქვენ მიერ არჩეულ ზღვარზე მოკლეს, დათვლის დაწყებამდე.
3. 3
   Map-ზე-დაფუძნებული სიხშირის დათვლა და n-გრამის რეჟიმი

   ტოკენები ითვლება JavaScript Map-ში — არჩეული სპეციალურად იმისთვის, რომ დაცული თვისების სახელები, როგორიცაა 'constructor', დათვლილ სიტყვებთან ვერ შეეჯახოს. ბიგრამის ან ტრიგრამის რეჟიმში, ტოკენიზერი ფანჯარას აცურებს დაუმუშავებელ ტოკენების ნაკადზე და მოსაზღვრე სიტყვებს ფრაზებად აერთიანებს, დათვლამდე.
4. 4
   დალაგებული შედეგები და CSV გამოტანა

   შედეგები ილაგება რაოდენობით კლებადობით და ჩნდება, როგორც დალაგებული ზოლების დიაგრამა. გამოტანა მეხსიერებაში აშენებს უბრალო-ტექსტის CSV ბლობს, ბრაუზერის Blob API-ის გამოყენებით, და იწყებს ჩამოტვირთვას — არაფერი იგზავნება სერვერზე, არცერთ ეტაპზე.

დაკავშირებული ინსტრუმენტები