အခမဲ့ စကားလုံးကြိမ်နှုန်းရေတွက်စက်

မည်သို့ အလုပ်လုပ်သည်

Word frequency ခွဲခြမ်းစိတ်ဖြာမှုကို ကိုယ်တိုင်ရေးထားသော tokenizer နှင့် JavaScript Map ကို သုံး၍ သင့် browser ထဲတွင် လုံးဝ လုပ်ဆောင်ပါသည် — library၊ server မပါဝင်ပါ။ ရိုက် (သို့) paste လုပ်လိုက်သည်နှင့် စာသားကို local တွင် parse, count, and rank လုပ်ပါသည်။

1. 1
   Unicode သိသော တိုကင်ခွဲခြင်း

   ကိရိယာသည် သင့်စာသားကို အက္ခရာသေးပြောင်းပြီး accent ပါသော စာလုံးများနှင့် Latin မဟုတ်သော script များကို မှန်ကန်စွာ ကိုင်တွယ်သော Unicode property regex \p{L}\p{M} ဖြင့် token များ ထုတ်ယူသည်။ CJK စာသား (Chinese, Japanese, Korean) အတွက် granularity: 'word' ပါသော browser ၏ built-in Intl.Segmenter API သို့ ပြောင်းလဲကာ space မရှိသော character များကို ခွဲသည်။
2. 2
   Stop-word နှင့် အရှည် filtering

   ရွေးချယ်နိုင်သော filtering သည် သင့် site locale နှင့် ကိုက်ညီစစ်ဆေးထားသော ကိန်းသေ Set တစ်ခုကို သုံး၍ ရိုးရိုး function word များ (the, a, is, and Spanish, French, German, Italian, and Portuguese ရှိ ညီမျှသောစကားလုံးများ) ကို ဖယ်ရှားသည်။ Minimum-length slider တစ်ခုသည် ရေတွက်ခြင်း မစတင်မီ သင်ရွေးချယ်ထားသော threshold ထက် တိုသော token များကို ဖယ်ရှားသည်။
3. 3
   Map-based ကြိမ်နှုန်း ရေတွက်ခြင်းနှင့် n-gram mode

   Token များကို JavaScript Map တစ်ခုတွင် ရေတွက်ထားသည် — 'constructor' ကဲ့သို့ ကြိုတင်ကန့်သတ်ထားသော property အမည်များ ရေတွက်ထားသော စကားလုံးများနှင့် ပဋိပက္ခ မဖြစ်စေရန် တမင် ရွေးချယ်ထားသည်။ Bigram or trigram mode တွင် tokenizer သည် raw token stream ကို ဖြတ်၍ window တစ်ခု ရွှေ့ကာ ရေတွက်မီ ကပ်လျက် စကားလုံးများကို စာစုများအဖြစ် ချိတ်ဆက်သည်။
4. 4
   Rank ချထားသော ရလဒ်များနှင့် CSV export

   ရလဒ်များကို count အလိုက် ကျဆင်း sort လုပ်ပြီး ranked bar chart တစ်ခုအဖြစ် ပြသည်။ Export သည် browser ၏ Blob API ကို သုံး၍ memory ထဲတွင် plain-text CSV blob တစ်ခု တည်ဆောက်ပြီး download trigger လုပ်သည် — server မည်သည့်အချိန်တွင်မျှ ဘာမှ မပို့ပါ။

ဆက်နွှယ်သော ကိရိယာများ