где
a
и
b
— размеры изображения (кадра);
N
— общее число кадров;
G
i
=
f
(I
i
)
. Аналогично работе [9], интервал времени
dt
=
t
(
i
+ 1)
−
−
t
(
i
) =
const
8
i
2 {
1
, . . . , N
−
1
}
. Входные и выходные данные алго-
ритма формирования метаграфа изложены ниже, его подробное опи-
сание будет представлено в последующих работах. Для оперирования
в матричной форме метаграф
G
i
представляется в виде разряженного
вектор-столбца
g
i
= [
g
1
, . . . , g
n
]
т
.
Граф первого кадра
G
1
— базовый (reference graph), его пре-
образования формируют последующие графы
[G
1
,
G
2
, . . . ,
G
N
]
7
→
7
→
[G
1
, T
1
(G
1
)
, . . . ,T
N
−
1
(
T
N
−
2
(
. . .T
1
(G
1
)))]
. При этом в дальнейшем
для кластеризации паттернов сохраняются только сами преобразова-
ния
T = [
T
1
, . . . , T
N
−
1
]
и граф элементов лица
G
лицо
. При вычислении
преобразований и сопоставлении вершин метаграфа учитываются не-
значительные изменения между соседними кадрами, используются
знания между доменами (модальностями) для расчета согласован-
ных преобразований. Операторы агрегирования различных модаль-
ностей использовались, например в работе [4], для распознавания
жестов. Таким образом, последовательность изображений предста-
вляет собой метаграф лица и последовательность преобразований:
Φ
7
→ h
G
лицо
,
G
T
i
.
Как показано далее, паттерн поведения лица (
AU
) будет пред-
ставлять собой подмножество преобразований на подмножестве изо-
бражений в одном из доменов преобразований. В предыдущих ра-
ботах [10, 11] модели обучаются для распознавания конечного набора
[
AU
1
, AU
2
, . . . , AU
M
]
из системы кодирования FACS. Альтернативный
подход — кластеризация неконечного алфавита. Однако в таких рабо-
Рис. 1. Схема, иллюстрирующая методику кластеризации паттернов поведения
лица (группы элементов одной формы представляют собой экземпляры паттер-
нов в пределах одного кластера)
36 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. “Приборостроение”. 2014. № 4
