Модели и методы автоматической классификации текстовых документов - page 27

где n — количество повторяющихся слов ; pi — коэффициент, завися-
щий от части речи повторяемого слова (вероятность отсутствия смы -
словой связи при лексическом повторе данного типа слов).
6. Все предложения s i с вероятностью Li > Cl min ( Cl min = 0,5) по -
лагаются синсемантичными, остальные — автосемантичными.
7. Для каждого вхождения tij всех терминов ti вычисляется w ij по
формуле
w ij = Psk (1 − Lk ) 1/3 c1
c2 Nj + 1
c2 Nj
, (9)
где Nj — число предложений в связном фрагменте текста, содержащем
данное вхождение термина tij (под связным фрагментом понимается
несколько последовательных предложений текста, первое из которых
автосемантичное, а остальные синсемантичные ); k — номер предло-
жения, в котором содержится tij ; с 1, с 2 — настроечные коэффициенты,
с1 = 0, 43, с 2 = 3.
8. Для всех терминов t i вычисляется Wconti по формуле (5).
Определение статистической значимости терминов . Распределе -
ние частот появлений терминов по документам и характеристики их
совместной встречаемости позволяют сделать выводы об их информа-
тивности. Например, термины, которые присутствуют почти во всех до-
кументах с большой частотой, скорее всего не могут служить призна -
ками тематики. Эксперимент показывает, что такими характеристика-
ми обладают термины общей лексики: “почти”, “больший ”, “меньший”
и т.д.
В работе [6] описаны несколько базовых методов определения ста -
тистической значимости.
При использовании метода частотных мер анализируют частоты fnk
появлений термина tn в документе dk , суммарные частоты появлений
этого термина в наборе Fk и т.д. Часто предполагают, что термины ,
имеющие высокую частоту появления, не являются специфическими ,
но все же они могут дать большое число возможных совпадений при
сравнении терминов рубрики и документа, обеспечивая, таким обра-
зом, классификацию многих релевантных документов (т.е . увеличивая
полноту). Термины, имеющие низкую частоту появления, дают очень
небольшое число совпадений, но если такие термины попали в список
признаков рубрики и были найдены в обрабатываемых документах , то
это почти наверняка говорит о релевантности соответствующего доку-
мента рубрике.
Существует интуитивное предположение, что наилучшими индек-
сационными терминами, т.е. терминами, наиболее ценными для пред -
ставления содержания документа, являются термины, не слишком ред-
кие и не слишком частые. Поскольку, однако, удаление терминов , име-
ющих высокую частоту появления, может повлиять на полноту, выдви-
90 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана . Сер. “Приборостроение”. 2003. № 4