p = (
p
1
, p
2
, . . . , p
K
)
,
0
≤
p
j
≤
1
,
K
j
p
j
=1
= 1
,
где
(
p
j
)
показывает вероятность
j
-
го класса при условии
x
или
,
в другой
интерпретации
,
степень принадлежности точки
x
к
j
-
му классу
.
Тогда
задача построения классификатора
(
блок
“
Классификация
”)
сводится к
нахождению функции
p
j
=
P
(
j
-
й класс
|
x)
на основе обучающей информации
T
.
Для нескольких классов
,
доста
-
точно использовать векторную запись вероятностей
p =
P
(x)
.
Параметрические и непараметрические классификаторы
.
Ста
-
тистические классификаторы можно разделить на две группы с точки
зрения способа оценки вероятностей класса
:
1.
В параметрических методах необходима предварительная инфор
-
мация о форме функции плотности вероятности
(
p
j
),
и в процессе обу
-
чения вычисляется оценка параметров этой функции
.
Например
,
часто
используется функция нормального распределения
p
j
=
p
j
(
x, μ, σ
) =
1
σ
√
2
π
e
−
(
x
−
μ
) 2
2
σ
2
,
где
μ
и
σ
—
параметры
,
получаемые из обучающего набора
T
.
Этот
подход не эффективен
,
когда нет предварительной информации о фор
-
ме функции плотности распределения или она имеет сложный вид
(
на
-
пример
,
несколько локальных максимумов
).
2.
Непараметрические методы позволяют получить оценку вероят
-
ности напрямую из обучающего набора
T
:
p
j
=
p
j
(
x, T
)
.
Непараметрические методы могут работать со сложными многомерны
-
ми функциями распределения
.
Очевидно
,
такой подход более универ
-
сальный
,
но ресурсоемкий
.
Далее речь пойдет о непараметрических классификаторах
.
В рабо
-
те
[1]
выделяют два эффективных метода непараметрической класси
-
фикации
—
окно Парзена
(Parzen window)
и
k
-NN (
k
Nearest Neighbours
—
k
ближайших соседей
).
Ряд альтернативных подходов
[4]
обеспечи
-
вает высокое качество распознавания
,
но два упомянутых метода при
-
влекательны своей простотой и универсальностью
.
В их основе лежит
мера сходства
/
различия между образами
.
52 ISSN 0236-3933.
Вестник МГТУ им
.
Н
.
Э
.
Баумана
.
Сер
. “
Приборостроение
”. 2005.
№
3
