ಉಚಿತ ಪದ ಆವರ್ತನ ಎಣಿಕೆ

ಇದು ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ

ಪದ ಆವರ್ತನ ವಿಶ್ಲೇಷಣೆ ಕೈಬರಹದ ಟೋಕನೈಜರ್ ಮತ್ತು JavaScript Map ಬಳಸಿ ಸಂಪೂರ್ಣವಾಗಿ ನಿಮ್ಮ ಬ್ರೌಸರ್‌ನಲ್ಲಿ ನಡೆಯುತ್ತದೆ — ಲೈಬ್ರರಿ ಇಲ್ಲ, ಸರ್ವರ್ ಇಲ್ಲ. ನೀವು ಟೈಪ್ ಮಾಡಿದ ಅಥವಾ ಅಂಟಿಸಿದ ಕ್ಷಣ ಪಠ್ಯವನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಪಾರ್ಸ್ ಮಾಡಿ, ಎಣಿಸಿ, ಮತ್ತು ಶ್ರೇಣೀಕರಿಸಲಾಗುತ್ತದೆ.

1. 1
   Unicode-ಅರಿವಿನ ಟೋಕನೈಸೇಶನ್

   ಟೂಲ್ ನಿಮ್ಮ ಪಠ್ಯವನ್ನು ಸಣ್ಣಕ್ಷರೀಕರಿಸುತ್ತದೆ, ನಂತರ Unicode ಪ್ರಾಪರ್ಟಿ regex \p{L}\p{M} ಬಳಸಿ ಟೋಕನ್‌ಗಳನ್ನು ಹೊರತೆಗೆಯುತ್ತದೆ — ಇದು ಉಚ್ಚಾರಣಾ ಅಕ್ಷರಗಳು ಮತ್ತು ಲ್ಯಾಟಿನ್ ಅಲ್ಲದ ಲಿಪಿಗಳನ್ನು ಸರಿಯಾಗಿ ನಿರ್ವಹಿಸುತ್ತದೆ. CJK ಪಠ್ಯಕ್ಕೆ (ಚೀನೀ, ಜಪಾನೀ, ಕೊರಿಯನ್), ಅಕ್ಷರಗಳ ನಡುವೆ ಸ್ಪೇಸ್‌ಗಳಿಲ್ಲದವುಗಳನ್ನು ವಿಭಜಿಸಲು ಇದು granularity: 'word' ನೊಂದಿಗೆ ಬ್ರೌಸರ್‌ನ ಅಂತರ್ನಿರ್ಮಿತ Intl.Segmenter API ಗೆ ಬದಲಾಗುತ್ತದೆ.
2. 2
   ಸ್ಟಾಪ್-ಪದ ಮತ್ತು ಉದ್ದ ಫಿಲ್ಟರಿಂಗ್

   ಐಚ್ಛಿಕ ಫಿಲ್ಟರಿಂಗ್ ನಿಮ್ಮ ಸೈಟ್ ಲೊಕೇಲ್‌ಗೆ ಹೊಂದಿಸಿದ ಹಾರ್ಡ್‌ಕೋಡ್ ಮಾಡಿದ Set ಬಳಸಿ ಸಾಮಾನ್ಯ ಕಾರ್ಯ ಪದಗಳನ್ನು (the, a, is, ಮತ್ತು ಸ್ಪ್ಯಾನಿಷ್, ಫ್ರೆಂಚ್, ಜರ್ಮನ್, ಇಟಾಲಿಯನ್, ಮತ್ತು ಪೋರ್ಚುಗೀಸ್‌ನಲ್ಲಿ ಸಮಾನಾರ್ಥಕಗಳು) ತೆಗೆದುಹಾಕುತ್ತದೆ. ಕನಿಷ್ಠ-ಉದ್ದ ಸ್ಲೈಡರ್ ಎಣಿಕೆ ಪ್ರಾರಂಭವಾಗುವ ಮೊದಲು ನಿಮ್ಮ ಆಯ್ಕೆಮಾಡಿದ ಮಿತಿಗಿಂತ ಚಿಕ್ಕ ಟೋಕನ್‌ಗಳನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ.
3. 3
   Map-ಆಧಾರಿತ ಆವರ್ತನ ಎಣಿಕೆ ಮತ್ತು n-gram ಮೋಡ್

   ಟೋಕನ್‌ಗಳನ್ನು JavaScript Map ನಲ್ಲಿ ಎಣಿಸಲಾಗುತ್ತದೆ — 'constructor' ನಂತಹ ಮೀಸಲಾದ ಪ್ರಾಪರ್ಟಿ ಹೆಸರುಗಳು ಎಣಿಸಿದ ಪದಗಳೊಂದಿಗೆ ಘರ್ಷಣೆಗೊಳ್ಳದಂತೆ ನಿರ್ದಿಷ್ಟವಾಗಿ ಆಯ್ಕೆಮಾಡಲಾಗಿದೆ. bigram ಅಥವಾ trigram ಮೋಡ್‌ನಲ್ಲಿ, ಟೋಕನೈಜರ್ ಕಚ್ಚಾ ಟೋಕನ್ ಸ್ಟ್ರೀಮ್ ಮೇಲೆ ವಿಂಡೋವನ್ನು ಸ್ಲೈಡ್ ಮಾಡಿ ಎಣಿಸುವ ಮೊದಲು ಪಕ್ಕದ ಪದಗಳನ್ನು ಪದಗುಚ್ಛಗಳಾಗಿ ಸೇರಿಸುತ್ತದೆ.
4. 4
   ಶ್ರೇಣೀಕೃತ ಫಲಿತಾಂಶಗಳು ಮತ್ತು CSV ಎಕ್ಸ್‌ಪೋರ್ಟ್

   ಫಲಿತಾಂಶಗಳನ್ನು ಎಣಿಕೆಯ ಇಳಿಕೆ ಕ್ರಮದಲ್ಲಿ ವಿಂಗಡಿಸಿ ಶ್ರೇಣೀಕೃತ ಬಾರ್ ಚಾರ್ಟ್ ಆಗಿ ತೋರಿಸಲಾಗುತ್ತದೆ. ಎಕ್ಸ್‌ಪೋರ್ಟ್ ಬ್ರೌಸರ್‌ನ Blob API ಬಳಸಿ ಮೆಮೊರಿಯಲ್ಲಿ ಸರಳ-ಪಠ್ಯ CSV blob ನಿರ್ಮಿಸಿ ಡೌನ್‌ಲೋಡ್ ಪ್ರಚೋದಿಸುತ್ತದೆ — ಯಾವುದೇ ಹಂತದಲ್ಲಿ ಏನೂ ಸರ್ವರ್‌ಗೆ ಕಳುಹಿಸಲ್ಪಡುವುದಿಲ್ಲ.

ಸಂಬಂಧಿತ ಪರಿಕರಗಳು