<<
>>

6.6. Оценка эффективности процедуры

Оценим эффективность метода, т. е. насколько число заданных вопросов отличается от минимально возможного. Пусть классификация уже проведена. Какое минимальное число вопросов можно было бы задать ЛПР для ее получения? Число вопросов будет минимальным, если предъявлять ЛПР только граничные альтернативы.

Действительно, граничные альтернативы ¦- это, по определению, все недоминируемые (верхняя граница) и недоминирующие (нижняя граница) элементы классов. Таким образом, зная верхнюю и нижнюю границу класса, распространением по доминированию можно получить все остальные альтернативы этого класса. И обратно, никакой эле- мент границы не может быть получен распространением по доминированию (косвенно классифицирован), т. к. для каждого косвенно классифицированного элемента должны существовать два отличных от него элемента того же класса, один из которых доминирует его, а второй доминируется им. А все граничные элементы недоминируемые или недоминирующие.

Таким образом, минимальное число вопросов, которое необходимо задать ЛПР, чтобы получить заданную классификацию, есть число элементов в границах классов этой классификации. Разумеется, из числа этих элементов необходимо вычесть наилучшую и нанхудгпую альтернативы, поскольку они по определению относятся к первому и последнему классу соответственно и ЛПР не предъявляются. Когда классификация уже построена, можно найти границы классов. Число элементов на границах классов есть минимальное число обращений к ЛПР для построения данной классификации. Тем самым можно подсчитать теоретический, не,постижимый минимум числа вопросов к ЛПР.

Очевидно, что минимальное число вопросов к ЛПР принци-пиально недостижимо, т. к. для этого необходимо знать границы классов еще до проведения классификации. Однако имеет смысл сравнивать реальное число задаваемых вопросов с минимально возможным. Рассмотрим отношение

минимальное число вопросов п0/

Ег = 100/о,

реальное число вопросов

которое назовем эффективностью.

Из определения видно, что чем ближе эффективность EF к 100% , тем ближе реальное число вопросов к минимальному. Эффективность EF может зависать от числа критериев, числа классов и размера классифицируемого подмножества. Была предпринята попытка выяснить эту зависимость с помощью статистического моделирования.

Кроме исследования эффективности для произвольного типа классифицируемого подмножества, представляет интерес рассмотрение некоторых частных его видов. Например, рассмот-рение подмножества альтернатив, ни одна пара из которых не находится в отношении доминирования, и подмножества альтернатив. любая пара из которых находится в отношении доминирования. Анализ таких крайних случаев позволит нам лучше оценить интервал изменения эффективности EF в зависимости от конкретного вида (не размерности!) классифицируемого под-множества.

Для компьютерного моделирования ответов ЛПР нужно знать, как человек принимает решения. Однако точная информация об этом обычно отсутствует, ибо в противном случае при- нятием решений могли бы заниматься машины, освободив от этого бремени людей. Все же можно упрощенно смоделировать ЛПР, отвлекаясь от большинства факторов. И можно провести статистическое моделирование, пользуясь таким «автоматизированным» ЛПР.

Наиболее прогрессивным подходом сейчас считается моделирование ответов ЛПР путем задания нескольких частных случаев полной классификации множества альтернатив. Имея в своем распоряжении полную классификацию, ЛПР, конечно, без труда сможет классифицировать предъявленные ему альтернативы. Подсчитав для каждого частного случая число вопросов и усреднив их, получим искомое среднее число вопросов для данного метода.

Статистическое моделирование для оценки эффективности метода КЛАРА на множестве реальных альтернатив с учетом дисперсии было проведено следующим образом. Задается число критериев и число классов. Число оценок на шкалах критериев фиксировано и равно 3. Генерируется правило классификации. Задается уровень дисперсии.

Далее случайным образом из полного множества альтернатив данной задачи оставляется половина, треть, четверть и пятая часть всех элементов (для исследования крайних случаев вида подмножества в это подмножество отбираются соответственно альтернативы, только не находящиеся или только находящиеся в отношении доминирования), и каждый раз проводится их классификация. Программа фиксирует среднее число вопросов к ЛПР, среднее минимальное число вопросов (количество граничных элементов) и оптимальный уровень дисперсии, т. е. уровень значимости дисперсии, при котором было задано наименьшее число вопросов.

Результаты сведены в табл. 6.2. Таблица для заданного числа классов и критериев, а также для заданной реальной части полного множества показывает оптимальный уровень дисперсии, среднее число вопросов к ЛПР, а также эффективность, т. е. процент, который составляет недостижимое минимальное количество вопросов от реального. Например, для задачи из 5 критериев и 3 классов для классификации одной четверти всех альтернатив оптимальный уровень дисперсии получился равным 2,63, было задано в среднем 38,71 вопросов к ЛПР и средняя эффективность составила 52,68% .

Следует заметить, что из того, что оптимальный уровень дисперсии в задачах с числом критериев N>2 всегда больше О, следует, что метод КЛАРА превосходит метод ОРКЛАСС по эффективности, поскольку КЛАРА превращается в ОРКЛАСС при уровне значимости дисперсии равным 0.

Таблица 6.2. Результаты статистического моделирования. Крите-рии Часті мно-же-ства Мощ-ность Классы 2 3 4 Дис- пер. Вопросов Эф- фект. Дис- пер. Вопросов Эф- фект. Дис- пер. Вопросов Эффект. 2 1/2 1 (1.00 2,21 77,90 0.00 2,96 98,31 0,00 2,93 99,57 1 /3 3 0.00 1,83 82,25 0,00 2,14 99,42 0,00 2,24 99,72 і: і 2 0,00 1.33 90,09 0,00 1,41 100,00 0,00 1,49 100,00 1 /5 1 0,00 0,72 100,00 0,00 0,73 100,00 0,00 0,71 100,00 3 1 /2 13 1,00 5,58 49,10 1,50 10,03 75,52 1,50 10,20 84,32 1 /3 9 1.00 4.62 59,15 1,50 7,31 85,41 1,50 7,45 90,65 1/4 0 1,50 3,68 67,91 1,50 5,07 92,85 1,50 5,12 95,52 1/5 5 1,50 3,25 71,03 1,50 4,28 95,52 1,50 4,27 96,59 4 1/2 40 2,00 14,09 46,22 2,00 24,07 63,11 2,00 26,76 71,22 1/3 27 2,33 12.34 50.71 2,50 19,30 71,37 2,33 20,48 79,54 1/4 20 2,50 10,20 58,64 2,50 15,57 78,59 2,50 16,13 83,60 1 /5 10 2,07 8.90 63,97 2,63 13,03 83,50 2,50 13,33 86,25 5 1/2 121 2,75 27,04 32,50 2,45 54,66 39,85 2,25 66,17 48,23 1/3 81 2.75 23,87 35,85 2,63 45,32 47,15 2,33 52,65 60,04 1/4 00 3,00 21,61 38,21 2,63 38,71 52,68 2,33 43,24 68,40 1/5 18 3,25 19,63 41,13 2,80 33,51 58,43 2,50 36,88 73,45 6 1/2 304 3,38 70,32 27,48 2,75 113,17 34,05 2,25 156,73 36,91 1/3 2 13 3,38 63,27 30,34 2,63 100,54 37,51 2,38 133,99 45,35 1, 1 182 3,15 55,75 34,04 3,25 90,35 40,99 3,13 112,66 52,06 1/5 145 3.03 51,33 36,52 3,50 80,90 44,73 3,00 95,90 58,25

Как видно из табл. 6.2, оптимальные значения уровня дисперсии растут с увеличением размерности задачи (числа критериев) и уменьшаются с увеличением числа классов и уменьшением части реальных альтернатив. Сразу можно сделать некоторые рекомендации по выбору уровня значимости дисперсии для некоторого класса задач, которые приведены в табл. 6.3. Здесь показан ин тервал оптимального уровня дисперсии для задач с различным числом критериев и классов. Например, для задачи, имеющей 5 критериев и 3 класса, оптимальный уровень дисперсии следует выбирать в пределах 2,5-2,8. Эта таблица не гарантирует, что число вопросов при данном уровне значимости дисперсии будет действительно минимальным. Она просто пред- лагает такой интервал значений уровня дисперсии, чтобы число вопросов, заданных ЛПР, вероятнее всего было бы меньше, чем при ином значении.

Таблица 6.3.

Рекомендуемые уровни дисперсии для задач классификации. Число критериев N Число классов М 2 3 4 2 0 0 0 3 1-1,5 1,5 1,5 4 2-2,7 2-2,7 2-2,5 5 2,7-3,3 2,5-2,8 2,3-2,5 6 3,4-3,7 2,7-3,5 2,2-3,0

Проследим зависимость эффективности от размерности задачи. Как видно из табл. 6.2, эффективность уменьшается с ростом размерности и увеличивается с ростом числа классов. Кроме того, видно, что чем меньше подмножество реальных альтернатив, тем число вопросов ближе к минимальному пределу. Однако при больших размерностях эффективность классификации становится весьма низкой. Применение метода КЛАРА при больших размерностях может быть оправдано только при относительно небольшом размере классифицируемого подмножества. Иначе стоит использовать метод ЦИКЛ.

<< | >>
Источник: Ларичев О.И.. Вербальный анализ решений. 2006

Еще по теме 6.6. Оценка эффективности процедуры:

  1. 4.7. Оценка эффективности процедуры опроса ЛПР
  2. 3.7. Оценка эффективности процедуры сравнения альтернатив
  3. Приложение 2Резолюция Экономического и Социального Совета ООН 1 989/60 от 24 мая 1989 г. «Процедуры эффективного осуществления Основных принципов независимости судебных органов
  4. 3. Оценка эффективности управления государственным долгом
  5. Критерии оценки эффективности РR-программы
  6. 6.2 Оценка специализации производства и ее эффективность
  7. Виленский ПЛ., Лившиц В.Н., Смоляк С.А.. Оценка эффективности инвестиционных проектов, 2002
  8. КОНТРОЛЬ И ОЦЕНКА ЭФФЕКТИВНОСТИ СТИМУЛИРОВАНИЯ
  9. Глава 48. ОЦЕНКА ЭФФЕКТИВНОСТИ И СТИМУЛИРОВАНИЕ ИННОВАЦИОННОЙ ДЕЯТЕЛЬНОСТИ
  10. Оценка эффективности СМК проектного бизнеса
  11. 3.8 Анализ и оценка эффективности использования ресурсов
  12. 10.4. Оценка эффективности монополистической конкуренции и олигополии
  13. Тема 11. ОЦЕНКА ЭФФЕКТИВНОСТИ ХОЗЯЙСТВЕННОЙ ДЕЯТЕЛЬНОСТИ И СОСТОЯНИЯ БАЛАНСА