Выводы.
По результатам участия в кампании РОМИП 2010, было
принято решение исследовать подзадачу валидации ответа как задачу
бинарной классификации. Была предложена новая метрика — взвешен-
ная погрешность
E
α
, в отличие от традиционной
F
-меры учитываю-
щая исходы
true-negative
, являющиеся важной категорией ответов для
задачи валидации ответов. При использовании тестовой коллекции во-
просов и ответов, состоящей из большого числа негативных примеров,
метрика
E
α
позволяет сравнивать алгоритмы с тривиальным прогоном
“Отклонять все ответы”.
СПИСОК ЛИТЕРАТУРЫ
1. С о л о в ь е в А. А. Алгоритмы валидации ответов в задаче вопросно-ответного
поиска // Вестник Воронежского гос. ун-та. Сер.: Системный анализ и инфор-
мационные технологии. – 2011. – № 2. – C. 181–188.
2. V o o r h e e s E. The TREC-8 question answering track report // In Proc. of the
Eighth Text REtrieval Conference (TREC 8). – 1999. – P. 77–82.
3. V o o r h e e s E. M. Overview of the TREC 2002 question answering track // In
Proc. of the Eleventh Text Retrieval Conference (TREC 2002). – P. 57–67.
4. V o o r h e e s E. M. Overview of the TREC 2004 question answering track // In
Proc. of The Thirteenth Text Retrieval Conference (TREC 2004).
5. P e с a s А., H o v y E., F o r n e r P., R o d r i g o A., S u t c l i f f e R.,
F o r a s c u C. and S p o r l e d e r C. Overview of QA4MRE at CLEF 2011:
Question answering for machine reading evaluation // Working Notes for the CLEF
2011 Workshop. – 2011.
6. С о л о в ь е в А. А. Кто виноват и где собака зарыта? Метод валидации отве-
тов на основе неточного сравнения семантических графов в вопросно-ответной
системе // Российский семинар по оценке методов информационного поиска:
Тр. РОМИП 2010. (Казань, 15 октября 2010 г.).
7. W a n g, N e u m a n n. Using recognizing textual entailment as a core engine for
answer validation // Working Notes for the CLEF 2008 Workshop. – 2008.
8. M a r s i E., K r a h m e r E., B o s m a W. E., T h e u n e M. Normalized alignment
of dependency trees for detecting textual entailment // Second PASCAL Recognising
Textual Entailment Challenge. – 10–12 April 2006. – Venice, Italy.
9. P u n y a k a n o k V., R o t h D. and Y i h W. Natural language interface via
dependency tree mapping: An application to question answering // AI and Math. –
January, 2004.
10. S c h l a e f e r N. A semantic approach to question answering. Saarbr ¨ucken 2007.
Статья поступила в редакцию 22.11.2012
Александр Александрович Соловьeв — программист научно-технической библио-
теки МГТУ им. Н.Э. Баумана, инженер-конструктор ООО “Аплана международные
проекты”. Автор шести научных работ в области информационного поиска.
A.A. Soloviev — programmer of the scientific and technical library of the Bauman Moscow
State Technical University, engineer-designer of OOO APLANA International Projects.
Author of 6 publications in the field of data retrieval.
64 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. “Приборостроение”. 2013. № 1
