Tirinta Isticmaalka Ereyada oo Bilaash ah

Sida Ay U Shaqeyso

Falanqaynta soo-noqoshada ereyada wuxuu gebi ahaanba ka shaqeeyaa biraawsarkaaga isagoo isticmaalaya tokenizer gacan lagu qoray iyo Map JavaScript ah — laybreri, server midna ma jiraan. Qoraalka waa la falanqeeyaa, la tiriyaa, waana la kala saaraa si gudaha ah isla markaad qorto ama dhajiso.

1. 1
   Tokenization Unicode-aware ah

   Qalabku qoraalkaaga wuxuu u beddelaa xarfo yaryar, kadibna wuxuu ka soo saaraa tokens isticmaalka regex-ka sifada Unicode \p{L}\p{M} — kaasoo si sax ah u maareeya xarfaha aksent leh iyo qoraallada aan Laatiinka ahayn. Qoraallada CJK (Shiine, Jabbaan, Kuuriyaan), wuxuu u wareegaa API-ga Intl.Segmenter ee biraawsarka ku dhex jira oo leh granularity: 'word' si loo kala qaybiyo xarfo aan bannaan u dhexeyn.
2. 2
   Sifeynta erayada-joogsiga iyo dhererka

   Sifeyn ikhtiyaar ah ayaa ka saarta erayada shaqada caadiga ah (the, a, is, iyo u-dhigmayaal ku jira Isbaanishka, Faransiiska, Jarmalka, Talyaaniga, iyo Boortaqiisiga) isticmaalka Set go'an oo la beddelay goobta bogga. Slider dherer-ugu-yar ah wuxuu ka saaraa tokens ka gaagaaban xadka aad doortay ka hor inta tirintu bilaabmayso.
3. 3
   Tirin ku salaysan Map iyo habka n-gram

   Tokens waxaa lagu tiriyaa Map JavaScript ah — la doortay si gaar ah si magacyada sifada la ilaaliyay sida 'constructor' aysan ula dhicin erayada la tirinayo. Habka bigram ama trigram, tokenizer-ku wuxuu daaqad ku socodsiiyaa hab-socodka token-ka qaawan wuxuuna erayo isku xigxiga isku daraa jumlado ka hor tirinta.
4. 4
   Natiijooyin kala-sooc ah iyo soo-saar CSV

   Natiijooyinka waxaa lagu kala saaraa tirada-dhaafsan waxaana loo muujiyaa jaantus kala-sooc ah. Soo-saarku wuxuu dhisaa blob CSV qoraal-caadi ah oo xasuusta ku jira isticmaalka API-ga Blob ee biraawsarka wuxuuna bilaabaa soo-dejin — waxba wakhti kasta server looma diro.

Qalabka La Xiriira