Метод обучения модели извлечения знанийиз естественно-языковых текстов - page 13

Рис. 3. Поиск маршрута, близкого к основной диагонали
p
(
w
)
— вероятность встретить слово
w
в тексте. Значения в ячейках
тем больше, чем больше общих слов содержат исходные лексические
ограничения
c
i
и
c
j
, а также чем меньше вероятности этих слов. Для
полностью идентичных образцов
p
i
и
p
j
длиной
n
элементов матрица
A
будет квадратной, при этом первые
n
ячеек с максимальными значе-
ниями
s
ij
будут расположены на основной диагонали матрицы. Поэто-
му поиск общего образца для анализируемой пары
p
i
и
p
j
сводится к
поиску среди ячеек матрицы
A
, для которых
s
ij
>
0
, маршрута опор-
ных точек, в геометрическом смысле близкого к эталонным точкам,
равномерно размещенным на основной диагонали матрицы (рис. 3).
Для любой пары соседних ячеек
s
ij
, s
kl
этого маршрута должно
выполняться следующее условие:
i
k
j
l
. Это необходимо,
чтобы сохранить порядок следования элементов нового образца таким
же, как в исходных образцах. Для оценки геометрической близости
маршрута к диагонали используется следующий критерий:
W
(
p
) =
L
l
=1
A
[
i
s
l
;
j
s
l
]
2
H
(
i
s
l
, i
e
l
)
H
(
j
s
l
, j
e
l
)
,
(10)
где
L
— число ячеек в маршруте;
A
[
i
s
l
;
j
s
l
]
— значение в соответствую-
щей ячейке матрицы;
i
s
l
,
j
s
l
— номера строки и столбца опорной точки;
i
e
l
,
j
e
l
— номера строки и столбца для эталонной точки;
H
(
i
1
, i
2
) =
=
i
1
i
1
+
i
2
log
2
i
1
i
1
+
i
2
i
2
i
1
+
i
2
log
2
i
2
i
1
+
i
2
— функция, подобная эн-
тропии, позволяющая оценить близость для произвольной пары ячеек
матрицы. Для одинаковых значений
(
i
1
=
i
2
)
индексов
H
(
i
1
, i
2
) = 1
.
Ячейки найденного маршрута являются опорными для построения
обобщенного образца. В итоговом образце элементы формируются
поочередным применением следующих правил:
r
=
< c,
, l
1
, l
2
>
: (
c
=
c
k
c
l
)
l
1
=
= min
l
k
1
, l
l
1
l
2
= max
l
k
2
, l
l
2
;
(11)
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. “Приборостроение”. 2007. № 3 87
1...,3,4,5,6,7,8,9,10,11,12 14,15,16,17,18,19
Powered by FlippingBook