இலவச சொல் அதிர்வெண் எண்ணி

இது எவ்வாறு செயல்படுகிறது

வார்த்தை அதிர்வெண் பகுப்பாய்வு கை-எழுதப்பட்ட டோக்கனைசர் மற்றும் JavaScript Map பயன்படுத்தி உங்கள் பிரவுசரில் முழுமையாக நடக்கிறது — library இல்லை, சர்வர் இல்லை. நீங்கள் தட்டச்சு செய்யும் அல்லது பேஸ்ட் செய்யும் தருணத்தில் டெக்ஸ்ட் உள்ளூரில் பார்ஸ் செய்யப்பட்டு, எண்ணப்பட்டு, தரவரிசைப்படுத்தப்படுகிறது.

1. 1
   Unicode-அறிந்த டோக்கனைசேஷன்

   டூல் உங்கள் டெக்ஸ்டை சிறிய எழுத்தாக்கி, பின் Unicode property regex \p{L}\p{M} — accent எழுத்துக்களையும் Latin அல்லாத எழுத்துமுறைகளையும் சரியாக கையாளும் — மூலம் டோக்கன்களை பிரித்தெடுக்கிறது. CJK டெக்ஸ்டுக்கு (சீனம், ஜப்பானியம், கொரியன்), இது வெற்றிடங்கள் இல்லாத எழுத்துக்களைப் பிரிக்க granularity: 'word' கொண்ட பிரவுசரின் உள்ளமைந்த Intl.Segmenter API-க்கு மாறுகிறது.
2. 2
   ஸ்டாப்-வேர்ட் மற்றும் நீள வடிகட்டல்

   விருப்பமான வடிகட்டல் பொதுவான செயல்பாட்டு வார்த்தைகளை (the, a, is, ஸ்பானிஷ், பிரெஞ்சு, ஜெர்மன், இத்தாலியன் மற்றும் போர்ச்சுகீஸ் ஆகியவற்றின் சமானங்கள்) உங்கள் தள மொழிக்கு பொருந்தும் ஹார்ட்-கோட் Set பயன்படுத்தி நீக்குகிறது. ஒரு குறைந்தபட்ச-நீள ஸ்லைடர் எண்ணும் முன் உங்கள் தேர்ந்தெடுத்த வரம்பை விட குறுகிய டோக்கன்களை நீக்குகிறது.
3. 3
   Map-அடிப்படையிலான அதிர்வெண் எண்ணிக்கை மற்றும் n-gram முறை

   'constructor' போன்ற reserved property பெயர்கள் எண்ணப்பட்ட வார்த்தைகளுடன் மோதாதவாறு குறிப்பாகத் தேர்ந்தெடுக்கப்பட்ட JavaScript Map-இல் டோக்கன்கள் தொகுக்கப்படுகின்றன. bigram அல்லது trigram முறையில், டோக்கனைசர் தூய டோக்கன் ஸ்ட்ரீமில் ஒரு சாளரத்தை நகர்த்தி அருகிலுள்ள வார்த்தைகளை எண்ணுவதற்கு முன் சொற்றொடர்களாக இணைக்கிறது.
4. 4
   தரவரிசைப்படுத்தப்பட்ட முடிவுகள் மற்றும் CSV ஏற்றுமதி

   முடிவுகள் எண்ணிக்கை இறங்குவரிசையில் வரிசைப்படுத்தப்பட்டு தரவரிசைப்படுத்தப்பட்ட பார் விளக்கப்படமாக காட்டப்படுகின்றன. ஏற்றுமதி பிரவுசரின் Blob API பயன்படுத்தி நினைவகத்தில் ஒரு plain-text CSV blob-ஐ உருவாக்கி பதிவிறக்கத்தைத் தூண்டுகிறது — எந்த நேரத்திலும் சர்வருக்கு எதுவும் அனுப்பப்படாது.

தொடர்புடைய கருவிகள்