ژمێرکاری دووبارەبوونەوەی وشەی بەخۆڕایی

چۆن کار دەکات

شیکاری دووبارەبوونەوەی وشە تەواو لە وێبگەڕەکەتدا کاردەکات بە بەکارهێنانی تۆکنایزەرێکی دەستنووس و Mapیەکی جاڤاسکریپت — بەبێ کتێبخانە، سێرڤەر. دەق شیدەکرێتەوە، دەژمێردرێت، و بەشێوەیەکی ناوخۆیی ڕیز دەکرێت ساتێک دەینووسیت یان لکاندی دەکەیت.

1. 1
   تۆکنایزکردنی یونیکۆد-هۆشیار

   ئامرازەکە دەقەکەت بچووک دەکات، پاشان تۆکن دەردەهێنێت بە ڕێجێکسی تایبەتمەندی یونیکۆدی \p{L}\p{M} — کە بەدروستی پیتی خاڵدار و خەتی نا-لاتینی مامەڵەیان لەگەڵ دەکات. بۆ دەقی CJK (چینی، ژاپۆنی، کۆرەیی)، دەگۆڕدرێت بۆ APIی سەرەکی Intl.Segmenterی وێبگەڕ بە granularity: 'word' بۆ دابەشکردنی پیتانەی هیچ بۆشاییان لەنێواندا نییە.
2. 2
   پاڵاوتنی وشەی-وەستان و درێژی

   پاڵاوتنی ئارەزوومەندانە وشە فەرمانبەری باو لادەبات (the، a، is، و هاوتاکانیان بە ئیسپانی، فەرەنسی، ئەڵمانی، ئیتاڵی، و پۆرتوگالی) بە بەکارهێنانی Setیەکی جێگیر هاوتا بە زمانی ماڵپەڕەکەت. خشتەبەرێکی کەمترین-درێژی تۆکنی کورتتر لە سنووری هەڵبژێردراوت لادەبات پێش دەستپێکردنی ژماردن.
3. 3
   ژماردنی دووبارەبوونەوەی بنەمای-Map و دۆخی n-gram

   تۆکنەکان لە Mapیەکی جاڤاسکریپتدا ژمێردەکرێن — تایبەتی هەڵبژێردراو بۆیە ناوی تایبەتمەندی پاراستراو وەک 'constructor' ناتوانێت لەگەڵ وشەی ژمێردراودا تێکبدات. لە دۆخی bigram یان trigramدا، تۆکنایزەرەکە پەنجەرەیەک بەسەر ڕیزبەندی تۆکنی خاودا ڕادەکێشێت و وشەی لێکنزیک بەیەکەوە دەبەستێت بۆ دەستەواژە پێش ژماردن.
4. 4
   ئەنجامی ڕیزکراو و دەرهێنانی CSV

   ئەنجامەکان بەپێی ژمارە دابەزیوو ڕیز دەکرێن و وەک چارتی ستوونی ڕیزکراو نیشان دەدرێن. دەرهێنانەکە بلۆبی CSVی دەقی سادە لە بیرگەدا بنیاتدەنێت بە بەکارهێنانی APIی Blobی وێبگەڕ و داگرتنێک دەگیرسێنێت — هیچ شتێک لە هیچ خاڵێکدا بۆ سێرڤەرێک نانێردرێت.

ئامرازە پەیوەندیدارەکان