Olùkà Ìgbà-Ọ̀rọ̀ Ọ̀fẹ́

Bí Ó Ṣe Ń Ṣiṣẹ́

Ìtúpalẹ̀ gẹ̀rẹ́ ọ̀rọ̀ ń ṣiṣẹ́ pátápátá nínú aṣàwákiri rẹ ní lílo tokenizer tí a fi ọwọ́ kọ àti Map JavaScript kan — kò sí ìwé-ìṣirò, kò sí sáfà. A ń pín, ka, tí a sì ń tò ọ̀rọ̀ ládùúgbò ní kété tí o bá kọ tàbí lẹ̀ ẹ́.

1. 1
   Ìdásí àmì tí ó mọ Unicode

   Irinṣẹ́ náà ń sọ ọ̀rọ̀ rẹ di kékeré-lásán, kí ó sì mú àwọn àmì jáde pẹ̀lú regex àkànṣe Unicode \p{L}\p{M} — èyí tí ó ń mú àwọn lẹ́tà tí ó ní ààmì àti àwọn àkọsọ tí kì í ṣe Latin dáadáa. Fún ọ̀rọ̀ CJK (Ṣáínà, Japan, Korea), ó ń yí padà sí API Intl.Segmenter aṣàwákiri tí a kọ́ sínú rẹ̀ pẹ̀lú granularity: 'word' láti pín àwọn àmì tí kò ní àyè láàrin wọn.
2. 2
   Ìdí ọ̀rọ̀-ìdúró àti ìtẹ̀ gígùn

   Ìdí yíyàn ń yọ àwọn ọ̀rọ̀ iṣẹ́ wọ́pọ̀ kúrò (the, a, is, àti àwọn ìbámu ní Spanish, French, German, Italian, àti Portuguese) ní lílo Set tí a dá kalẹ̀ tí ó bára mu agbègbè ojúlé wẹ́ẹ̀bù rẹ. Ìtọ́ka ìtẹ̀-kéré-jùlọ kan ń yọ àwọn àmì tí ó kúrú ju ààlà tí o yàn kúrò kí kíkà tó bẹ̀rẹ̀.
3. 3
   Kíkà gẹ̀rẹ́ tí ó gbé lé Map àti ipò n-gram

   A ń ka àwọn àmì nínú Map JavaScript kan — tí a yàn pàápàá nítorí náà àwọn orúkọ ohun-ìní tí a dá sílẹ̀ bí i 'constructor' kì í dàpọ̀ mọ́ àwọn ọ̀rọ̀ tí a ka. Ní ipò bigram tàbí trigram, tokenizer náà ń fi fèrèsé kan ràn kọjá ìṣàn àmì gan-an náà tí ó sì ń so àwọn ọ̀rọ̀ tí ó súnmọ́ ara wọn pọ̀ sí àwọn gbólóhùn kí kíkà tó ṣẹlẹ̀.
4. 4
   Àwọn àbájáde tí a tò àti gbígbé CSV jáde

   A ń tò àwọn àbájáde gẹ́gẹ́ bí iye ìsàlẹ̀-lọ tí a sì fihàn gẹ́gẹ́ bí àwòrán ọ̀pá tí a tò. Gbígbé jáde ń kọ́ blob CSV ọ̀rọ̀-lásán papọ̀ nínú ìrántí ní lílo API Blob aṣàwákiri tí ó sì ń dá gbígbà sílẹ̀ — kò sí ohunkóhun tí a fi ránṣẹ́ sí sáfà kankan ní àkókò èyíkéyìí.

Àwọn Irinṣẹ Tó Jọra