مفت لفظ تکرار شمار کار

یہ کیسے کام کرتا ہے

لفظ کی تعدد کا تجزیہ مکمل طور پر آپ کے براؤزر میں ایک ہاتھ سے لکھے گئے ٹوکنائزر اور ایک JavaScript Map کا استعمال کرتے ہوئے چلتا ہے — کوئی لائبریری، کوئی سرور نہیں۔ متن کو آپ کے ٹائپ یا پیسٹ کرتے ہی مقامی طور پر پارس، شمار، اور درجہ بند کیا جاتا ہے۔

1. 1
   یونیکوڈ-آگاہ ٹوکنائزیشن

   ٹول آپ کے متن کو چھوٹے حروف میں بدلتا ہے، پھر Unicode خاصیت regex \p{L}\p{M} کے ساتھ ٹوکنز نکالتا ہے — جو accent والے حروف اور غیر-Latin رسوم الخط کو درست طریقے سے سنبھالتا ہے۔ CJK متن (چینی، جاپانی، کورین) کے لیے، یہ ان حروف کو تقسیم کرنے کے لیے براؤزر کے بلٹ ان Intl.Segmenter API کو granularity: 'word' کے ساتھ استعمال کرتا ہے جن کے درمیان کوئی خالی جگہ نہیں ہوتی۔
2. 2
   Stop-word اور لمبائی فلٹرنگ

   اختیاری فلٹرنگ عام فنکشن الفاظ (the، a، is، اور ہسپانوی، فرانسیسی، جرمن، اطالوی، اور پرتگالی میں مساوی الفاظ) کو آپ کے سائٹ علاقے سے مماثل ایک مقررہ Set کا استعمال کرتے ہوئے ہٹاتی ہے۔ ایک کم از کم لمبائی سلائیڈر گنتی شروع ہونے سے پہلے آپ کی منتخب حد سے چھوٹے ٹوکنز ہٹا دیتا ہے۔
3. 3
   Map پر مبنی تعدد کی گنتی اور n-gram موڈ

   ٹوکنز کو ایک JavaScript Map میں شمار کیا جاتا ہے — خاص طور پر اس لیے منتخب کیا گیا تاکہ 'constructor' جیسے محفوظ خاصیت کے نام شمار شدہ الفاظ سے متصادم نہ ہوں۔ Bigram یا trigram موڈ میں، ٹوکنائزر خام ٹوکن سلسلے پر ایک ونڈو سرکاتا ہے اور گننے سے پہلے ملحقہ الفاظ کو فقروں میں جوڑتا ہے۔
4. 4
   درجہ بند نتائج اور CSV ایکسپورٹ

   نتائج تعداد کے لحاظ سے نزولی ترتیب میں لگائے جاتے ہیں اور ایک درجہ بند بار چارٹ کے طور پر دکھائے جاتے ہیں۔ ایکسپورٹ براؤزر کے Blob API کا استعمال کرتے ہوئے میموری میں ایک سادہ متن CSV blob بناتا ہے اور ایک ڈاؤن لوڈ شروع کرتا ہے — کسی بھی مرحلے پر کچھ بھی سرور کو نہیں بھیجا جاتا۔

متعلقہ ٹولز