Π ΡΡΠΎΠΌ Π²ΠΈΠ΄Π΅ΠΎ ΠΌΡ ΠΏΡΠΎΠ΄ΠΎΠ»ΠΆΠΈΠΌ ΡΠ°Π·Π³ΠΎΠ²ΠΎΡ ΠΎ ΡΠΎΠΌ, ΠΊΠ°ΠΊ ΠΈΠ·Π²Π»Π΅ΠΊΠ°ΡΡ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΈ ΠΈΠ· ΡΠ΅ΠΊΡΡΠΎΠ² ΠΈ ΠΎΠ±ΡΡΠ΄ΠΈΠΌ ΠΏΡΠΎΠ΄Π²ΠΈΠ½ΡΡΡΠ΅ ΠΌΠ΅ΡΠΎΠ΄Ρ, ΠΎΡΠ½ΠΎΠ²Π°Π½Π½ΡΠ΅ Π½Π° n-Π³ΡΠ°ΠΌΠΌΠ°Ρ
ΠΈ skip-Π³ΡΠ°ΠΌΠΌΠ°Ρ
. Β«ΠΠ΅ΡΠΎΠΊ ΡΠ»ΠΎΠ²Β», ΠΎ ΠΊΠΎΡΠΎΡΠΎΠΌ ΠΌΡ Π³ΠΎΠ²ΠΎΡΠΈΠ»ΠΈ ΡΠ°Π½ΡΡΠ΅, Π½ΠΈΠΊΠ°ΠΊ Π½Π΅ ΡΡΠΈΡΡΠ²Π°Π΅Ρ ΠΏΠΎΡΡΠ΄ΠΎΠΊ ΡΠ»ΠΎΠ² Π² Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ΅. ΠΠ½ Π»ΠΈΡΡ ΡΡΠΈΡΠ°Π΅Ρ, ΡΠΊΠΎΠ»ΡΠΊΠΎ ΡΠ°Π· ΠΊΠ°ΠΊΠΎΠ΅ ΡΠ»ΠΎΠ²ΠΎ Π²ΡΡΡΠ΅ΡΠΈΠ»ΠΎΡΡ Π² ΡΠ΅ΠΊΡΡΠ΅. ΠΠΎΠ½ΡΡΠ½ΠΎ, ΡΡΠΎ ΡΡΠΎΡ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ Π½Π΅ ΠΎΡΠ΅Π½Ρ Ρ
ΠΎΡΠΎΡ. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Π΅ΡΠ»ΠΈ Ρ Π½Π°Ρ Π΅ΡΡΡ ΡΡΠ°Π·Π° Β«Π½ΡΠ°Π²ΠΈΡΡΡΒ» ΠΈ ΡΡΠ°Π·Π° Β«Π½Π΅ Π½ΡΠ°Π²ΠΈΡΡΡΒ», Ρ Π½ΠΈΡ
ΠΏΡΠΎΡΠΈΠ²ΠΎΠΏΠΎΠ»ΠΎΠΆΠ½ΡΠΉ ΡΠΌΡΡΠ», Π½ΠΎ ΠΏΡΠΈ ΡΡΠΎΠΌ Β«ΠΌΠ΅ΡΠΎΠΊ ΡΠ»ΠΎΠ²Β» Π½ΠΈΠΊΠ°ΠΊ Π½Π΅ ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ ΠΏΠΎΠΉΠΌΠ°ΡΡ Π½Π°ΠΌ ΡΡΠΈ ΠΏΡΠΎΡΠΈΠ²ΠΎΠΏΠΎΠ»ΠΎΠΆΠ½ΡΠ΅ ΡΠΌΡΡΠ»Ρ. Π Β«ΠΌΠ΅ΡΠΊΠ΅ ΡΠ»ΠΎΠ²Β» ΠΌΡ Π±ΡΠ΄Π΅ΠΌ Π»ΠΈΡΡ Π·Π½Π°ΡΡ, ΡΡΠΎ Π² ΡΠ΅ΠΊΡΡΠ΅ Π΅ΡΡΡ ΡΠ»ΠΎΠ²ΠΎ Β«Π½ΡΠ°Π²ΠΈΡΡΡΒ» ΠΈ Π³Π΄Π΅-ΡΠΎ Π΅ΡΡΡ ΡΠ°ΡΡΠΈΡΠ° Β«Π½Π΅Β». ΠΠΎΠ½ΡΡΠ½ΠΎ, ΡΡΠΎ Π² ΡΡΠΎΠΌ Π½Π΅ ΠΎΡΠ΅Π½Ρ ΠΌΠ½ΠΎΠ³ΠΎ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΈ. ΠΠΎΠ»Π΅Π΅ ΡΠΎΠ³ΠΎ, Π΅ΡΠ»ΠΈ Π±Ρ ΠΌΡ ΡΡΠΈΡΡΠ²Π°Π»ΠΈ Π½Π΅ ΡΠΎΠ»ΡΠΊΠΎ ΡΠ»ΠΎΠ²Π°, Π½ΠΎ ΠΈ ΡΠ»ΠΎΠ²ΠΎΡΠΎΡΠ΅ΡΠ°Π½ΠΈΡ Π² ΡΠ΅ΠΊΡΡΠ΅, ΡΠΎ ΠΏΠΎΠ½ΡΡΠ½ΠΎ, ΡΡΠΎ Π½Π°ΡΠ΅ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ²ΠΎΠ΅ ΠΏΡΠΎΡΡΡΠ°Π½ΡΡΠ²ΠΎ Π±ΡΠ»ΠΎ Π±Ρ Π±ΠΎΠ»Π΅Π΅ Π±ΠΎΠ³Π°ΡΡΠΌ, Π±ΠΎΠ»Π΅Π΅ ΠΎΠ±ΡΠΈΡΠ½ΡΠΌ. Π Π²Ρ ΠΌΠΎΠ³Π»ΠΈ Π±Ρ Π½Π°Ρ
ΠΎΠ΄ΠΈΡΡ Π±ΠΎΠ»Π΅Π΅ ΡΠ»ΠΎΠΆΠ½ΡΠ΅ Π·Π°ΠΊΠΎΠ½ΠΎΠΌΠ΅ΡΠ½ΠΎΡΡΠΈ, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡ ΡΠ΅ ΠΆΠ΅ ΡΠ°ΠΌΡΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΊΠ°ΠΊ ΠΈΠ·Π²Π΅ΡΡΠ½ΠΎ, Π΅ΡΠ»ΠΈ Π΄ΠΎΠ±Π°Π²ΠΈΡΡ Π½ΠΎΠ²ΡΠ΅ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΈ, ΡΠΎ Π»ΠΈΠ½Π΅ΠΉΠ½ΡΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΡΠΌΠΎΠ³ΡΡ Π½Π°Ρ
ΠΎΠ΄ΠΈΡΡ Π±ΠΎΠ»Π΅Π΅ ΡΠ»ΠΎΠΆΠ½ΡΠ΅ ΡΠ°Π·Π΄Π΅Π»ΡΡΡΠΈΠ΅ ΠΏΠΎΠ²Π΅ΡΡ
Π½ΠΎΡΡΠΈ ΠΈΠ»ΠΈ ΡΡΠ½ΠΊΡΠΈΠΈ. ΠΡΠ°ΠΊ, ΡΠ°ΠΌΡΠΉ ΠΏΡΠΎΡΡΠΎΠΉ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄, ΠΊΠΎΡΠΎΡΡΠΉ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΡΡΠΈΡΡΠ²Π°ΡΡ ΠΏΠΎΡΡΠ΄ΠΎΠΊ ΡΠ»ΠΎΠ² β ΡΡΠΎ n-Π³ΡΠ°ΠΌΠΌΡ. ΠΠΎ ΡΡΡΠΈ, n-Π³ΡΠ°ΠΌΠΌΠ° β ΡΡΠΎ ΠΏΡΠΎΡΡΠΎ Π½Π°Π±ΠΎΡ ΠΈΠ· n ΠΏΠΎΠ΄ΡΡΠ΄ ΠΈΠ΄ΡΡΠΈΡ
ΡΠ»ΠΎΠ² Π² ΡΠ΅ΠΊΡΡΠ΅. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Π΅ΡΠ»ΠΈ Π²Π·ΡΡΡ ΠΏΡΠ΅Π΄Π»ΠΎΠΆΠ΅Π½ΠΈΠ΅ Β«ΠΠ°Π±ΠΎΡΡ ΠΏΠΎΠ΄ΡΡΠ΄ ΠΈΠ΄ΡΡΠΈΡ
ΡΠΎΠΊΠ΅Π½ΠΎΠ²Β», ΡΠΎ Π΅Π΅ ΡΠ½ΠΈΠ³ΡΠ°ΠΌΠΌΡ, ΡΠΎ Π΅ΡΡΡ n-Π³ΡΠ°ΠΌΠΌΡ Π΄Π»Ρ n = 1, β ΡΡΠΎ Π½Π°Π±ΠΎΡΡ, ΠΏΠΎΠ΄ΡΡΠ΄, ΠΈΠ΄ΡΡΠΈΡ
, ΡΠΎΠΊΠ΅Π½ΠΎΠ² β 4 ΡΠ½ΠΈΠ³ΡΠ°ΠΌΠΌΡ; Π±ΠΈΠ³ΡΠ°ΠΌΠΌΡ, ΡΠΎ Π΅ΡΡΡ ΠΏΠ°ΡΡ ΡΠ»ΠΎΠ² β ΡΡΠΎ Π½Π°Π±ΠΎΡΡ ΠΏΠΎΠ΄ΡΡΠ΄, ΠΏΠΎΠ΄ΡΡΠ΄ ΠΈΠ΄ΡΡΠΈΡ
ΠΈ ΠΈΠ΄ΡΡΠΈΡ
ΡΠΎΠΊΠ΅Π½ΠΎΠ². Π ΡΡΠΈΠ³ΡΠ°ΠΌΠΌΡ β ΡΡΠΎ Π½Π°Π±ΠΎΡΡ ΠΏΠΎΠ΄ΡΡΠ΄ ΠΈΠ΄ΡΡΠΈΡ
ΠΈ ΠΏΠΎΠ΄ΡΡΠ΄ ΠΈΠ΄ΡΡΠΈΡ
ΡΠΎΠΊΠ΅Π½ΠΎΠ². ΠΠΎΡΠ»Π΅ ΡΠΎΠ³ΠΎ ΠΊΠ°ΠΊ ΠΌΡ ΠΏΠΎΡΡΠΈΡΠ°Π»ΠΈ Π²ΡΠ΅ Π½ΡΠΆΠ½ΡΠ΅ Π½Π°ΠΌ n-Π³ΡΠ°ΠΌΠΌΡ ΠΏΠΎ ΡΠ΅ΠΊΡΡΡ, ΠΌΡ ΠΏΠΎΠ»ΡΠ·ΡΠ΅ΠΌΡΡ ΡΠ΅ΠΌΠΈ ΠΆΠ΅ ΡΠ°ΠΌΡΠΌΠΈ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄Π°ΠΌΠΈ, ΠΊΠ°ΠΊ ΠΈ Π² ΡΠ»ΡΡΠ°Π΅ Ρ Β«ΠΌΠ΅ΡΠΊΠΎΠΌ ΡΠ»ΠΎΠ²Β». ΠΠΎΠ΄ΡΡΠΈΡΡΠ²Π°Π΅ΠΌ ΡΡΠ΅ΡΡΠΈΠΊΠΈ Π΄Π»Ρ ΡΡΠΈΡ
n-Π³ΡΠ°ΠΌΠΌ, Π²ΡΡΠΈΡΠ»ΡΠ΅ΠΌ TF-IDF ΠΈΠ»ΠΈ Π΄Π΅Π»Π°Π΅ΠΌ ΡΡΠΎ-ΡΠΎ Π΅ΡΠ΅. ΠΠΎΠ½ΡΡΠ½ΠΎ, ΡΡΠΎ ΡΠ΅ΠΌ Π΄Π»Ρ Π±ΠΎΠ»ΡΡΠ΅Π³ΠΎ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ n ΠΌΡ Π±ΡΠ΄Π΅ΠΌ ΠΏΠΎΠ΄ΡΡΠΈΡΡΠ²Π°ΡΡ n-Π³ΡΠ°ΠΌΠΌΡ, ΡΠ΅ΠΌ Π±ΠΎΠ»ΡΡΠ΅ ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ
ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ² Ρ Π½Π°Ρ Π±ΡΠ΄Π΅Ρ ΠΏΠΎΠ»ΡΡΠ°ΡΡΡΡ, ΡΠ΅ΠΌ Π±ΠΎΠ»Π΅Π΅ Π±ΠΎΠ³Π°ΡΡΠΌ Π±ΡΠ΄Π΅Ρ Π½Π°ΡΠ΅ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ²ΠΎΠ΅ ΠΏΡΠΎΡΡΡΠ°Π½ΡΡΠ²ΠΎ. ΠΡΠΈ ΡΡΠΎΠΌ, ΡΠ°Π·ΡΠΌΠ΅Π΅ΡΡΡ, Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ n β ΡΡΠΎ Π³ΠΈΠΏΠ΅ΡΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ. Π§Π΅ΠΌ Π±ΠΎΠ»ΡΡΠ΅ n ΠΌΡ Π±Π΅ΡΠ΅ΠΌ, ΡΠ΅ΠΌ Π²ΡΡΠ΅ ΡΠ°Π½Ρ ΠΏΠ΅ΡΠ΅ΠΎΠ±ΡΡΠΈΡΡΡΡ. ΠΡΠ»ΠΈ ΠΌΡ Π²ΠΎΠ·ΡΠΌΠ΅ΠΌ n, ΡΠ°Π²Π½ΠΎΠ΅ ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎΠΉ Π΄Π»ΠΈΠ½Π΅ ΡΠ΅ΠΊΡΡΠ° Π² Π½Π°ΡΠ΅ΠΉ Π²ΡΠ±ΠΎΡΠΊΠ΅, ΡΠΎ Ρ Π½Π°Ρ Ρ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΡΠ΅ΠΊΡΡΠ° Π±ΡΠ΄Π΅Ρ ΡΠ½ΠΈΠΊΠ°Π»ΡΠ½ΡΠΉ ΠΏΡΠΈΠ·Π½Π°ΠΊ, ΠΈ ΠΌΡ ΡΠΌΠΎΠΆΠ΅ΠΌ ΠΈΠ΄Π΅Π°Π»ΡΠ½ΠΎ ΠΏΠΎΠ΄ΠΎΠ³Π½Π°ΡΡΡΡ ΠΏΠΎΠ΄ ΠΎΠ±ΡΡΠ°ΡΡΡΡ Π²ΡΠ±ΠΎΡΠΊΡ. ΠΠΎ ΠΏΠΎΠ½ΡΡΠ½ΠΎ, ΡΡΠΎ ΡΠ°ΠΊΠΎΠΉ Π°Π»Π³ΠΎΡΠΈΡΠΌ Π±ΡΠ΄Π΅Ρ ΠΏΠ΅ΡΠ΅ΠΎΠ±ΡΡΠ΅Π½Π½ΡΠΌ. ΠΡΡΠ°ΡΠΈ, n-Π³ΡΠ°ΠΌΠΌΡ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ Π½Π΅ ΡΠΎΠ»ΡΠΊΠΎ Π½Π° ΡΠ»ΠΎΠ²Π°Ρ
. ΠΠΎΠ½ΡΡΠ½ΠΎ, ΡΡΠΎ Π² ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ ΡΠΎΠΊΠ΅Π½ΠΎΠ² ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠ°ΠΊΠΆΠ΅ ΠΈ ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΠ΅ ΡΠΈΠΌΠ²ΠΎΠ»Ρ Π² ΠΏΡΠ΅Π΄Π»ΠΎΠΆΠ΅Π½ΠΈΡΡ
. Π ΠΏΠΎΡΠ»Π΅ ΡΠΎΠ³ΠΎ ΠΊΠ°ΠΊ ΠΌΡ Π½Π°ΠΉΠ΄Π΅ΠΌ ΡΠ°ΠΊΠΈΠ΅ ΡΠΎΠΊΠ΅Π½Ρ, Π΄Π»Ρ Π½ΠΈΡ
ΡΠΎΠΆΠ΅ Π²ΡΡΠΈΡΠ»ΡΡΡ n-Π³ΡΠ°ΠΌΠΌΡ, ΡΠ°ΠΊ Π½Π°Π·ΡΠ²Π°Π΅ΠΌΡΠ΅ Π±ΡΠΊΠ²Π΅Π½Π½ΡΠ΅ n-Π³ΡΠ°ΠΌΠΌΡ. ΠΡΠΎΡ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ ΠΈΠΌΠ΅Π΅Ρ ΠΌΠ½ΠΎΠ³ΠΎ ΠΏΡΠ΅ΠΈΠΌΡΡΠ΅ΡΡΠ². ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΎΠ½ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΡΡΠΈΡΡΠ²Π°ΡΡ ΡΠΌΠ°ΠΉΠ»ΠΈΠΊΠΈ, Π²ΡΡΡΠ΅ΡΠ°ΡΡΠΈΠ΅ΡΡ Π² ΡΠ΅ΠΊΡΡΠ΅, ΠΈΠ»ΠΈ ΠΆΠ΅ ΡΡΠΈΡΡΠ²Π°ΡΡ Π±ΠΎΠ»Π΅Π΅-ΠΌΠ΅Π½Π΅Π΅ ΠΈΠ·Π²Π΅ΡΡΠ½ΡΠ΅ ΡΠ»ΠΎΠ²Π°, Π½ΠΎ Π² Π½Π΅Π·Π½Π°ΠΊΠΎΠΌΡΡ
ΡΠΎΡΠΌΠ°Ρ
, Π½ΠΎ Ρ ΠΊΠΎΡΠΎΡΡΡ
ΡΠ΅ ΠΆΠ΅ ΡΠ°ΠΌΡΠ΅ ΠΊΠΎΡΠ½ΠΈ, ΡΡΠΎ ΠΈ Ρ Π·Π½Π°ΠΊΠΎΠΌΡΡ
ΡΠ»ΠΎΠ². Π§Π°ΡΡΠΎ Π±ΡΠΊΠ²Π΅Π½Π½ΡΠ΅ n-Π³ΡΠ°ΠΌΠΌΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡ Π²ΠΌΠ΅ΡΡΠ΅ Ρ n-Π³ΡΠ°ΠΌΠΌΠ°ΠΌΠΈ ΠΏΠΎ ΡΠ»ΠΎΠ²Π°ΠΌ. Π§ΡΡΡ Π±ΠΎΠ»Π΅Π΅ ΡΠ°ΡΡΠΈΡΠ΅Π½Π½ΡΠΉ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ ΠΊ ΠΏΠΎΠ΄ΡΡΠ΅ΡΡ n-Π³ΡΠ°ΠΌΠΌ β ΡΡΠΎ skip-Π³ΡΠ°ΠΌΠΌΡ ΠΈΠ»ΠΈ, ΠΊΠ°ΠΊ ΠΎΠ½ΠΈ Π½Π°Π·ΡΠ²Π°ΡΡΡΡ Π±ΠΎΠ»Π΅Π΅ ΡΠΎΡΠ½ΠΎ, k-skip-n-Π³ΡΠ°ΠΌΠΌΡ. k-skip-n-Π³ΡΠ°ΠΌΠΌΡ β ΡΡΠΎ ΡΠ°ΠΊΠΈΠ΅ Π½Π°Π±ΠΎΡΡ ΠΈΠ· n ΡΠΎΠΊΠ΅Π½ΠΎΠ², ΡΡΠΎ ΠΌΠ΅ΠΆΠ΄Ρ ΡΠΎΡΠ΅Π΄Π½ΠΈΠΌΠΈ ΡΠΎΠΊΠ΅Π½Π°ΠΌΠΈ ΡΠ°ΡΡΡΠΎΡΠ½ΠΈΠ΅ Π½Π΅ Π±ΠΎΠ»Π΅Π΅ ΡΠ΅ΠΌ k. ΠΡΠ»ΠΈ Π²Π·ΡΡΡ Π½Π°Ρ ΠΏΡΠΈΠΌΠ΅Ρ, ΠΏΡΠ΅Π΄Π»ΠΎΠΆΠ΅Π½ΠΈΠ΅ Β«ΠΠ°Π±ΠΎΡΡ ΠΏΠΎΠ΄ΡΡΠ΄ ΠΈΠ΄ΡΡΠΈΡ
ΡΠΎΠΊΠ΅Π½ΠΎΠ²Β», ΡΠΎ, ΠΊΠ°ΠΊ ΠΌΡ ΠΏΠΎΠΌΠ½ΠΈΠΌ, Π±ΠΈΠ³ΡΠ°ΠΌΠΌΡ Π΄Π»Ρ Π½Π΅Π³ΠΎ Π±ΡΠ»ΠΈ: Π½Π°Π±ΠΎΡΡ ΠΏΠΎΠ΄ΡΡΠ΄, ΠΏΠΎΠ΄ΡΡΠ΄ ΠΈΠ΄ΡΡΠΈΡ
ΠΈ ΠΈΠ΄ΡΡΠΈΡ
ΡΠΎΠΊΠ΅Π½ΠΎΠ². ΠΡΠ»ΠΈ ΠΆΠ΅ ΠΌΡ Π΄ΠΎΠ±Π°Π²Π»ΡΠ΅ΠΌ ΠΎΠ΄ΠΈΠ½ skip Π±ΠΈΠ³ΡΠ°ΠΌΠΌΡ, ΡΠΎ Π΅ΡΡΡ ΡΠ°Π·ΡΠ΅ΡΠ°Π΅ΠΌ ΡΠ°ΡΡΡΠΎΡΠ½ΠΈΠ΅ 1 ΠΌΠ΅ΠΆΠ΄Ρ ΡΠΎΡΠ΅Π΄Π½ΠΈΠΌΠΈ ΡΠ»ΠΎΠ²Π°ΠΌΠΈ, ΡΠΎ ΡΠ°ΠΊΠΆΠ΅ ΠΏΠΎΠ»ΡΡΠ°Π΅ΠΌ Π±ΠΈΠ³ΡΠ°ΠΌΠΌΡ: Π½Π°Π±ΠΎΡΡ ΠΈΠ΄ΡΡΠΈΡ
, ΠΌΠ΅ΠΆΠ΄Ρ ΡΠ»ΠΎΠ²Π°ΠΌΠΈ Β«Π½Π°Π±ΠΎΡΡ ΠΈΠ΄ΡΡΠΈΡ
Β» ΡΠ°ΡΡΡΠΎΡΠ½ΠΈΠ΅ ΡΠ°Π²Π½ΠΎ ΠΊΠ°ΠΊ ΡΠ°Π· ΠΎΠ΄Π½ΠΎΠΌΡ, ΠΌΠ΅ΠΆΠ΄Ρ Π½ΠΈΠΌΠΈ Π²ΡΡΠ°Π²Π»Π΅Π½ΠΎ 1 ΡΠ»ΠΎΠ²ΠΎ, ΠΈ Β«ΠΏΠΎΠ΄ΡΡΠ΄ ΡΠΎΠΊΠ΅Π½ΠΎΠ²Β». ΠΠ΅ΠΆΠ΄Ρ ΡΠ»ΠΎΠ²Π°ΠΌΠΈ Β«ΠΏΠΎΠ΄ΡΡΠ΄Β» ΠΈ Β«ΡΠΎΠΊΠ΅Π½ΠΎΠ²Β» ΡΠΎΠΆΠ΅ Π΅ΡΡΡ ΠΎΠ΄Π½ΠΎ ΡΠ»ΠΎΠ²ΠΎ. ΠΡΠ΅ ΠΎΠ΄ΠΈΠ½ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄, ΠΊΠΎΡΠΎΡΡΠΉ ΡΠ°ΡΡΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ ΠΏΡΠΈ Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΠΈ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ² Π΄Π»Ρ ΡΠ΅ΠΊΡΡΠΎΠ² β ΡΡΠΎ Ρ
ΡΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅. ΠΠΎΠΏΡΡΡΠΈΠΌ, Ρ Π½Π°Ρ Π΅ΡΡΡ Π½Π΅ΠΊΠΎΡΠΎΡΠ°Ρ ΡΡΠ½ΠΊΡΠΈΡ h(x), ΠΊΠΎΡΠΎΡΠ°Ρ ΠΏΡΠΈΠ½ΠΈΠΌΠ°Π΅Ρ Π½Π° Π²Ρ
ΠΎΠ΄ ΡΠ»ΠΎΠ²ΠΎ ΠΈ Π²ΡΠ΄Π°Π΅Ρ Π½Π΅ΠΊΠΎΡΠΎΡΡΠΉ Ρ
ΡΡ. ΠΡΠΈΡΠ΅ΠΌ ΡΠ°ΠΊΠΈΡ
Ρ
ΡΡΠ΅ΠΉ Ρ Π½Π΅Π΅ Π½Π° Π²ΡΡ
ΠΎΠ΄Π΅ ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ Π²ΡΠ΅Π³ΠΎ 2 Π² ΡΡΠ΅ΠΏΠ΅Π½ΠΈ n, Π³Π΄Π΅ n β Π½Π΅ΠΊΠΎΡΠΎΡΠΎΠ΅ Π½Π΅Π±ΠΎΠ»ΡΡΠΎΠ΅ ΡΠΈΡΠ»ΠΎ. ΠΡ ΠΌΠΎΠΆΠ΅ΠΌ Π·Π°ΠΌΠ΅Π½ΠΈΡΡ Π²ΡΠ΅ ΡΠ»ΠΎΠ²Π° Π² ΡΠ΅ΠΊΡΡΠ΅ Π½Π° ΠΈΡ
Ρ
ΡΡΠΈ, ΡΠΎ Π΅ΡΡΡ ΠΏΠ΅ΡΠ΅ΠΉΡΠΈ ΠΎΡ ΡΠ»ΠΎΠ²Π° x ΠΊ Π΅Π³ΠΎ Ρ
ΡΡΡ h(x), ΠΈ Π΄Π°Π»ΡΡΠ΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠΆΠ΅ ΡΡΠΈ Ρ
ΡΡΠΈ ΠΊΠ°ΠΊ ΡΠΎΠΊΠ΅Π½Ρ, ΠΈ Π΄Π»Ρ Π½ΠΈΡ
Π²ΡΡΠΈΡΠ»ΡΡΡ ΡΡΠ΅ΡΡΠΈΠΊΠΈ TF-IDF ΠΈΠ»ΠΈ ΡΡΠΎ-ΡΠΎ Π΅ΡΠ΅. ΠΡΠΎΡ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ ΠΎΡΠ΅Π½Ρ ΠΏΡΠΎΡΡΠΎΠΉ β ΠΏΠ΅ΡΠ΅Ρ
ΠΎΠ΄ ΠΎΡ ΡΠ»ΠΎΠ² ΠΊ ΠΈΡ
Ρ
ΡΡΠ°ΠΌ, Π½ΠΎ ΠΈΠΌΠ΅Π΅Ρ ΡΡΠ΄ Π²Π°ΠΆΠ½ΡΡ
ΠΏΡΠ΅ΠΈΠΌΡΡΠ΅ΡΡΠ². ΠΠΎ-ΠΏΠ΅ΡΠ²ΡΡ
, ΠΎΠ½ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ Π»Π΅Π³ΠΊΠΎ ΡΠΎΠΊΡΠ°ΡΠΈΡΡ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ², Π²Ρ ΠΌΠΎΠΆΠ΅ΡΠ΅ Π½Π΅ Π·Π°Π΄ΡΠΌΡΠ²Π°ΡΡΡΡ ΠΎ ΡΠΎΠΌ, ΠΊΠ°ΠΊ ΠΈΠΌΠ΅Π½Π½ΠΎ ΡΠ³ΡΡΠΏΠΏΠΈΡΠΎΠ²Π°ΡΡ ΡΠ»ΠΎΠ²Π°, Π° ΠΏΡΠΎΡΡΠΎ ΠΎΠ±ΡΠ΅Π΄ΠΈΠ½ΠΈΡΡ Π² ΠΎΠ΄Π½ΠΎ ΡΠ»ΠΎΠ²ΠΎ ΡΠ΅ ΠΈΡΡ
ΠΎΠ΄Π½ΡΠ΅ ΡΠ»ΠΎΠ²Π°, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΈΠΌΠ΅ΡΡ ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²ΡΠ΅ Ρ
ΡΡΠΈ. ΠΠΎΠ½ΡΡΠ½ΠΎ, ΡΡΠΎ ΡΡΠΎΡ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ Π½Π΅ ΠΎΡΠ΅Π½Ρ ΡΠΌΠ½ΡΠΉ, Π²Ρ ΠΌΠΎΠ³Π»ΠΈ Π±Ρ ΠΏΠΎΠΏΡΡΠ°ΡΡΡΡ Π³ΡΡΠΏΠΏΠΈΡΠΎΠ²Π°ΡΡ ΡΠ»ΠΎΠ²Π° ΠΏΠΎ ΠΈΡ
ΡΠΌΡΡΠ»Ρ ΠΈ ΠΎΠ±ΡΠ΅Π΄ΠΈΠ½ΡΡΡ ΠΏΠΎΡ
ΠΎΠΆΠΈΠ΅ ΡΠ»ΠΎΠ²Π°, Π½ΠΎ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ Ρ Ρ
ΡΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ ΡΠΎΠΆΠ΅ ΡΠ°Π±ΠΎΡΠ°Π΅Ρ Π½Π΅ΠΏΠ»ΠΎΡ
ΠΎ ΠΈ Π½Π΅ ΡΡΠ΅Π±ΡΠ΅Ρ Π½ΠΈΠΊΠ°ΠΊΠΈΡ
ΡΡΠΈΠ»ΠΈΠΉ. ΠΠΎ ΡΠ°ΠΌΠΎΠ΅ Π³Π»Π°Π²Π½ΠΎΠ΅ ΠΏΡΠ΅ΠΈΠΌΡΡΠ΅ΡΡΠ²ΠΎ, ΡΡΠΎ Π΅ΡΠ»ΠΈ Π²Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΠ΅ Ρ
ΡΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅, ΡΠΎ Π²Π°ΠΌ Π½Π΅ Π½ΡΠΆΠ½ΠΎ Π·Π°ΠΏΠΎΠΌΠΈΠ½Π°ΡΡ ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΠ΅ ΠΌΠ΅ΠΆΠ΄Ρ ΠΈΡΡ
ΠΎΠ΄Π½ΡΠΌΠΈ ΡΠ»ΠΎΠ²Π°ΠΌΠΈ Π² ΡΠ΅ΠΊΡΡΠ΅ ΠΈ Π½ΠΎΠΌΠ΅ΡΠ°ΠΌΠΈ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ². ΠΠ°ΠΌ Π½Π΅ Π½ΡΠΆΠ½ΠΎ ΠΏΠΎΠΌΠ½ΠΈΡΡ, ΡΡΠΎ ΡΠ»ΠΎΠ²ΠΎ Β«ΡΠΎΠΊΠ΅Π½Β» β ΡΡΠΎ Π΄Π΅ΡΡΡΡΠΉ ΠΏΡΠΈΠ·Π½Π°ΠΊ Π² Π²Π°ΡΠ΅ΠΌ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ²ΠΎΠΌ ΠΏΡΠΎΡΡΡΠ°Π½ΡΡΠ²Π΅. ΠΡΠΆΠ½ΠΎ Π»ΠΈΡΡ ΠΏΠΎΡΡΠΈΡΠ°ΡΡ Ρ
ΡΡ, ΠΈ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ Ρ
ΡΡΠ° ΠΈ Π±ΡΠ΄Π΅Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠΎΠΌ ΡΡΠΎΠ³ΠΎ ΡΠ»ΠΎΠ²Π°. ΠΡΠΎ ΡΡΡΠ΅ΡΡΠ²Π΅Π½Π½ΠΎ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΡΠΏΡΠΎΡΡΠΈΡΡ Ρ
ΡΠ°Π½Π΅Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ. Π₯ΡΠ°Π½Π΅Π½ΠΈΠ΅ ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΡ ΠΌΠ΅ΠΆΠ΄Ρ ΡΠ»ΠΎΠ²Π°ΠΌΠΈ ΠΈ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΠΌΠΈ β ΡΡΠΎ Π΄ΠΎΠ²ΠΎΠ»ΡΠ½ΠΎ ΠΌΠ°ΡΡΠΈΠ²Π½Π°Ρ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ. ΠΡΠ°ΠΊ, ΠΌΡ ΠΎΠ±ΡΡΠ΄ΠΈΠ»ΠΈ ΡΠ°ΠΊΠΈΠ΅ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄Ρ ΠΊ ΡΠ°ΡΡΠΈΡΠ΅Π½ΠΈΡ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ²ΠΎΠ³ΠΎ ΠΏΡΠΎΡΡΡΠ°Π½ΡΡΠ²Π° ΠΊΠ°ΠΊ n-Π³ΡΠ°ΠΌΠΌΡ ΠΈ skip-Π³ΡΠ°ΠΌΠΌΡ ΠΈ ΠΏΠΎΠ³ΠΎΠ²ΠΎΡΠΈΠ»ΠΈ ΠΎ ΡΠΎΠΌ, ΠΊΠ°ΠΊ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ Ρ
ΡΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΏΡΠΈ Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΠΈ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ² ΡΠ΅ΠΊΡΡΠΎΠ². Π Π² ΡΠ»Π΅Π΄ΡΡΡΠ΅ΠΌ Π²ΠΈΠ΄Π΅ΠΎ ΠΏΠΎΠ³ΠΎΠ²ΠΎΡΠΈΠΌ ΠΎ ΡΠΎΠΌ, ΠΊΠ°ΠΊ ΠΎΠ±ΡΡΠ°ΡΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π½Π° ΡΠ΅ΠΊΡΡΠΎΠ²ΡΡ
Π΄Π°Π½Π½ΡΡ
.