Kyauta Mai Ƙidayar Yawan Kalmomi

Yadda Yake Aiki

Bincike na yawan amfani da kalma yana gudana gaba ɗaya a burauzarka ta amfani da mai tsara alamomi da aka rubuta da hannu da wani Map na JavaScript — babu ɗakin karatu, babu uwar garke. Ana nazarin rubutu, ƙidaya shi, kuma jera shi a wurin nan nan take da ka buga ko manna shi.

1. 1
   Rabar alamomi mai fahimtar Unicode

   Kayan aikin yana mayar da rubutunka ƙananan-harufa, sannan yana cire alamomi da regex na siffa na Unicode \p{L}\p{M} — wanda yake sarrafa haruffa masu lafazi da rubutun da ba na Latin daidai. Don rubutun CJK (Sinawa, Japan, Koriya), yana sauya zuwa Intl.Segmenter API na burauza da aka gina tare da granularity: 'word' don raba haruffan da babu sarari tsakaninsu.
2. 2
   Tacewar stop-word da tsawo

   Tacewa na zaɓi yana cire kalmomin aiki na yau da kullum (the, a, is, da daidai a Sifaniyanci, Faransanci, Jamusanci, Italiyanci, da Portuguese) ta amfani da Set da aka rubuta kai tsaye mai dacewa da yankin shafinka. Wani mai zamewar mafi-ƙarancin-tsawo yana cire alamomin da suka fi guntu daga zaɓaɓɓen iyakarka kafin ƙidaya ta fara.
3. 3
   Ƙidayar yawan amfani bisa Map da yanayin n-gram

   Ana ƙidaya alamomi a wani Map na JavaScript — an zaɓi musamman don sunayen dukiya da aka kebe kamar 'constructor' kada su yi karo da kalmomin da aka ƙidaya. A yanayin bigram ko trigram, mai tsara alamomin yana zamewa wani taga a kan gudan alama danye kuma yana haɗa kalmomi kusa da junansu zuwa jimloli kafin ƙidaya.
4. 4
   Sakamako da aka jera da fitarwar CSV

   Ana jera sakamako bisa ƙidaya mai raguwa kuma ana nuna su a matsayin wani zanen sanda da aka jera. Fitarwar tana gina wani blob na CSV na rubutu-sauƙi a ƙwaƙwalwa ta amfani da Blob API na burauza kuma tana kunna saukewa — babu wani da ake aika shi zuwa uwar garke a kowane lokaci.

Kayan Aiki Masu Alaƙa