Оценка эффективности АИПС связана с анализом как затрат АИПС на информационное обеспечение основной деятельности, так и эффекта, получаемого в основной деятельности в результате использования предоставляемой АИПС информации. Однако "полезность" результатов основной деятельности в большинстве своём не может быть выражена количественно, в особенности, если такие результаты носят юридический, моральный, психологический и другой характер. Ещё большие сложности возникают при оценке той доли эффекта основной деятельности, которая получена в результате использования информации.
В силу сложности оценки экономической эффективности АИПС при анализе их функционирования приходится ограничиваться оценкой лишь функциональной эффективности. Под функциональной эффективностью системы понимают меру соответствия системы своему целевому назначению. Цель функционирования АИПС состоит в информационном обеспечении её пользователей, т.е. в оперативном поиске необходимой им информации.
В связи с этим основными показателями функциональной эффективности АИПС являются: полнота поиска; точность поиска; специфичность поиска; оперативность поиска.
Оценка любого показателя функциональной эффективности связана с определением неформальной релевантности выданной информации информационному запросу.
Различают два понятия релевантности – действительная релевантность и формальная релевантность.
Понятие действительной релевантности связано со смысловым соответствием сообщения (документа) тексту информационного запроса на естественном языке. Релевантность сообщения запросу в таком понимании может оценить только человек. Критерий, которым он при этом пользуется при принятии решения о релевантности, сформулировать невозможно.
Формальная релевантность – соответствие ПОДа ПОЗу. Поскольку ПОД и ПОЗ представляют собой формализованные структуры, оценку такой релевантности может дать компьютер. Однако для этого необходимо задать ему формальное выражение критерия релевантности.
При переводе информационной потребности в информационный запрос, а запрос в ПОЗ, так же как и при переводе сообщения в ПОД, возникают определённые семантические искажения. В связи с этим формальная релевантность весьма существенно отличается от действительной релевантности. Документ, признанный системой формально релевантным, может не оказаться таковым с точки зрения потребителя. Однако альтернативы нет, АИПС может пользоваться только понятием формальной релевантности.
Релевантность выданных документов (сообщений) запросу может оценить либо сам потребитель информации, либо группа экспертов. Будем считать, что такая оценка проведена и базе данных АИПС известны все сообщения, релевантные каждому запросу, т.е. множество документов БД по отношению к заданному запросу разделено на два подмножества:
подмножество релевантных документов;
подмножество нерелевантных документов.
Суть работы АИПС состоит в разбиении множества документов БД тоже на два подмножества:
подмножество формально релевантных запросу документов (выдаваемых документов);
подмножество формально нерелевантных запросу документов (невыдаваемых документов).
Показатели полноты и точности поиска находятся в обратно пропорциональной зависимости, т.е. повышение полноты поиска в рамках заданной ИПС всегда сопровождается снижением точности поиска и наоборот.
Для определения релевантности документов в исходной базе данных используются различные методы, позволяющие оценить число релевантных документов в БД, не прибегая к анализу всей БД.
1. Случайная выборка некоторой части документов. Определение доли релевантных документов в выборке и аппроксимация полученных данных на всю БД.
2. Использование запросов, ориентированных на поиск заранее заданных документов и определение в выдаче доли заданных документов. Этим методом
можно непосредственно оценить полноту поиска.
3. Проведение серии поисков по последовательно модифицируемому запросу и определение накапливаемых в процессе модификации запроса релевантных документов выдачи.
