Экспертные методы - методы оценки, проводимые группой экспертов в условиях неопределенности или риска.
Экспертные методы используются для определения номенклатуры показателей качества, коэффициентов их весомости, для измерения показателей качества и их оценки органолептическим методом. Оценка показателей качества измерительным, регистрационным, расчетным методами применяется для определения комплексных показателей качества различных уровней иерархии.
Предназначены для экспертной оценки товаров в случаях, когда другие, ранее перечисленные методы неприменимы или неэкономичны.
Экспертные методы основаны на принятии эвристических решений, базой для которых являются знания и опыт, накопленные экспертами в конкретной области в прошлом.
Экспертным методам присущи определенные достоинства и недостатки.
Преимуществами является то, что они позволяют принимать решения, когда объективные методы невосприимчивы. К другим преимуществам относится их восстанавливаемость. Сфера применения этих методов - не только оценка качества товаров, но и исследование операций технологического цикла, принятие решений, управляющие, прогнозирования.
Экспертные методы, применяемые квалифицированными экспертами, позволяют дать точную оценку товаров. Проведенные эксперименты свидетельствуют, что при правильной методике экспертной оценки погрешность результатов составляет 5-10%, что допускается для измерительных методов. Полученные экспериментальным путем результаты экспертных оценок в различных группах экспертов показали их достаточно высокую восстанавливаемость.
К недостаткам экспертных методов относятся субъективизм, ограниченность применения, высокие затраты на их проведения.
Субъективизм экспертных методов является следствием того, что экспертная оценка проводится каждым экспертом индивидуально и представляет, по мнению Е. П. Райхмана ы Г. Г. Азгальдова "не что иное, как его психологическую реакцию на физические и химические характеристики продукции". Однако следует иметь в виду, что экспертная оценка складывается из мнений нескольких экспертов, каждый из которых является не только специалистом в определенной отрасли знаний, но и потребителем. Поэтому экспертная оценка в определенной мере отражает и мнения потребителей, что невозможно осуществить при других методах.
Вследствие значительной доли субъективизма экспертные методы имеют определенные ограничения. их использование рационально в двух случаях: во-первых, когда поставленные перед экспертами цели не могут быть решены другими методами; во-вторых, когда имеющиеся альтернативные методы дают менее точные и достоверные результаты или связаны с большими затратами.
Для устранения этого недостатка экспертные методы при проведении товарной экспертизы сочетаются с другими методами. Чаще всего вместе применяются экспертный и органолептический методы. Более того, при разработке шкал органолептической балловой оценки, выборе номенклатуры показателей качества, определении коэффициентов весомости экспертные методы незаменимы.
Экспертные методы подразделяются на три подгруппы: 1) методы группового опроса экспертов; 2) математико-статистические методы обработки экспертных оценок 3) методы экспертной оценки показателей качества.
Каждая группа экспертных методов в свою очередь подразделяется на виды и разновидности. Классификация экспертных методов представлена на рис. 1.3.
Рис. 1.3. в
Методы группового опроса экспертов - методы, основанные на проведении опроса группы экспертов с последующим анализом и обработкой полученной от них информации.
Целью этих методов является получение групповой экспертной оценки для принятия окончательных решений.
Основанием для выбора является необходимость принятия сложных решений в ситуации неопределенности или составление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области или многих областях знаний (например, знаний однородной группы товаров или всех продовольственных товаров).
Основные преимущества групповой экспертной оценки заключаются в возможности разностороннего анализа количественных и качественных аспектов проблем определения и/или прогнозирования отдельных характеристик товаров или их совокупности. Взаимодействие между экспертами позволяет значительно увеличить объем суммарной информации, которой владеет группа экспертов, в сравнении с информацией любого члена группы. К тому же количество факторов, учтенных при групповой оценке и влияющих на результативность принимаемого решения, больше, чем сумма факторов, учтенных одним экспертом. При групповой оценке меньше ошибка принятия основных решений и показателей, не имеющих существенного значения для решения проблемы. Поэтому важным преимуществом групповой оценки является возможность получения обобщенного результата.
К недостаткам групповых оценок относятся: трудности в получении надежной и согласованной оценки; получение неодинаковых ответов на один и тот же вопрос с большой разницей мнений из-за разной компетентности экспертов; получение однозначных ответов не гарантирует их обоснованности и достоверности, причем при проведении экспертизы это невозможно проверить; большее количество неверной информации у группы экспертов, чем у отдельного эксперта, может привести к значительным ошибкам в конечных результатах; возможность конфронтации, когда отдельные эксперты за неуверенности или иных причин могут соглашаться с мнением большинства.
Несмотря на указанные недостатки, экспериментально установлено, что при соблюдении определенных требований групповая оценка более надежна, чем индивидуальная. К таким требованиям относятся: приемлемое распределение оценок; групповая надежность; подготовка экспертизы.
Эффективность экспертизы зависит от точности и надежности полученных результатов, то есть от применяемых методов и от квалификации эксперта. Выбор эксперта является сложной задачей, чаще всего учитывают несколько личных свойств: компетентность - профессиональное и кваліметричну, заинтересованность эксперта в результатах экспертизы, отношение к делу, объективность. Почти не учитываются такие черты, как склонность к риску, другие психологические особенности.
Не разработан до сих системный подход к оценке качества эксперта; существующие методы оценки делятся на пять групп:
Эвристические;
Статистические - оценки, которые получают в результате анализа оценок экспертов с определением отклонений от средних значений;
Тестовые - оценки, полученные в результате выполнения тестовых заданий экспертами;
Документальные - оценки компетентности, полученные при анализе отдельных документальных данных экспертиз, проведенных экспертом;
Комбинированные - оценки, полученные во время анализа данных, полученных при сочетании перечисленных методов.
Эвристические оценки включают самооценку и оценку, сделанную коллективом экспертов. Самооценка чаще всего субъективная; для уменьшения субъективности применяют балльную шкалу по отдельным свойствам эксперта. Самооценку проводят соответственно по видам товаров и показателям качества, например, эстетичность изделий, эксперт оценивает себя анкетированием. Анкета включает периодичность ознакомления с современной отечественной и зарубежной литературой, с современными образцами продукции, с результатами социологических опросов.
Как разновидность самооценки применяют метод оценки по аргументированностью и ознакомления с продукцией, которая анализируется. Оценка проводится с помощью анкеты с определением коэффициента компетентности.
С помощью тестовых оценок возможно оценить такие важные свойства эксперта, как кваліметричну и профессиональную компетентность, объективность. Квалиметрична компетентность при проведении органолептической оценки заключается в многократном опросе экспертов для определения коэффициентов весомости несколько раз и определение достоверности оценок.
Профессиональная компетентность проверяется в виде контроля умение пользоваться различными типами оценочных шкал - порядка, отношений, интервалов, а также умения различать значительное количество характеристик, градаций при оценке свойств продукта, который анализируется.
При участии экспертов в коллективной оценке и обсуждении наблюдается явление конформизма, то есть попадание эксперта под влияние выводов других экспертов, что негативно влияет на формирование объективной оценки эксперта. Поэтому умение придерживаться своего мнения и отстаивать свои выводы имеет положительное значение во время проведения экспертизы коллективным методом и формирования объективной оценки.
Экспертные методы оценки качества основываются на использовании выводов экспертов. Они применяются при невозможности или нецелесообразности, неекономічності использования измерительных или расчетных методов. Это происходит при нехватке информации, необходимости применения и разработке специальных технических средств, при оценке эстетических показателей качества и тому подобное. Экспертные методы могут сочетаться с другими методами или применяться как самостоятельный вид во время оценки качества нормативной документации на продукцию и продукции, определении номенклатуры показателей и коэффициентов их весомости, при выборе базовых образцов и показателей качества, во время определения и измерения показателей качества органолептическим методом, во время оценки единичных и комплексных показателей качества, определенных измерительным или расчетным методом.
Основой экспертной оценки качества является объективная общественная полезность продукции, которая отражает ее современность. Мнение о качестве продукции, которую выражает квалифицированный эксперт, отвечает общественным потребностям и совпадает с мнением массового потребителя.
Однако в выборе товара потребитель придерживается консервативной позиции и новую продукцию принимает осторожно, а иногда и вовсе не воспринимает. В заключении экспертов о качестве товара обобщается совокупность мнений потребителей продукции. Исследования показали, что зафиксированы оценки качества товара экспертов совпадают с оценками качества продукции, которые получили во время массового опроса потребителей. Определение точности экспертных исследований за соблюдение методологии проведения экспертизы показало, что она составляет 5-10%.
в Отношении качества продукции, ее потребительских свойств экспертные методы используют в таких случаях:
Определение номенклатуры показателей во время проведения экспертизы;
Выбор критериев оценки продукта или товара и размещения показателей по принципу иерархии;
Определение коэффициентов весомости показателей качества для определения уровня качества продукта, товара;
Исследование показателей органолептическим методом с применением методов их количественного выражения;
Оценка показателей качества измерительным, регистрационным, расчетным методами для определения комплексных показателей качества различных уровней иерархии.
Чаще всего применяются следующие экспертные методы:
Ведущего эксперта (единичного);
Комиссий;
комбинированный.
Метод ведущего эксперта дает возможность быстро провести экспертизу, сократить время на процедуру согласования и обсуждения, статистическую обработку данных членами группы. Однако результаты экспертизы, проводимой одним экспертом, зависят от уровня его профессиональных знаний, личности, уровня компетентности.
Метод экспертных комиссий предполагает участие группы специалистов, которые проводят анализ и оценку. Такой метод позволяет получить достоверные, объективные результаты, но требует значительных затрат времени на подготовку и организацию экспертизы. Количество экспертов, которые формируют комиссию, зависит от требуемой точности и надежности результатов экспертизы. Экспертная комиссия состоит из двух групп - рабочей и экспертной. Рабочая группа осуществляет подготовку, организацию и проведение экспертной оценки качества продукции, последующий анализ ее результатов. В состав рабочей группы входят организатор, консультант, который владеет профессиональными знаниями о продукции, оценивают технические работники. Экспертная группа может состоять из нескольких подгрупп, каждая из которых специализируется на решении соответствующих задач - определении номенклатуры показателей, оценке отдельных групп показателей и тому подобное.
Комбинированный метод, который основывается на последовательном использовании работы ведущего эксперта и небольшой по количеству экспертной комиссии, применяется в некоторых случаях.
в Общей классификации экспертных методов нет. Однако применяют классификацию в зависимости от соотношения количества данных, полученных экспертным или аналитическим методом, способа получения информации от эксперта и некоторых других факторов.
в Зависимости от способа получения от эксперта информации различают методы:
Коллективный;
Индивидуальный.
При коллективном способе технический работник проводит опрос сразу всей группы экспертов, при индивидуальном - каждого эксперта отдельно. Для получения достоверных результатов необходимо четко и правильно поставить цель и задачи эксперту, при групповом методе это трудно, однако возможно при постоянно сформированном составе группы. При индивидуальном способе применяют интервью, интервью-анкеты, анкетирование, смешанное анкетирование. Опросы могут проводить очным и заочным способом. При очном способе эксперт излагает свои суждения лицу, проводящему опрос. При заочном опросе контакт между ними отсутствует и эксперт заполняет сам анкету или карточку опроса.
Во время проведения интервью технический работник делает отметку в форме беседы, которая проходит по программе и определенному перечню вопросов. Во время проведения интервью-анкеты перечень вопросов носит более конкретный, направленный характер, последовательность вопросов жестко определена. Анкета заполняется в присутствии эксперта.
Анкетирование отличается тем, что эксперт самостоятельно заполняет анкету, имея пояснительную записку по заполнению. Смешанное анкетирование предполагает предварительное объяснение эксперта по заполнению анкеты с уточнением задачи.
По информативности наибольшие возможности имеют методы интервью, интервью - анкеты, анкетирование. Самая большая независимость суждений характерна для метода анкетирования.
Для решения сложных ситуаций неопределенности или во время формирования научно - технического прогноза экспертиза требует участия группы эрудированных специалистов, хорошо осведомленных во многих областях знаний. Основное преимущество коллективной оценки заключается в возможности разностороннего анализа количественных и качественных аспектов проблем. Существуют проблемы, решить которые невозможно без участия специалистов. Предполагается, что мнение группы экспертов надежнее, чем мнение отдельного индивидуума, т. е. две группы одинаково компетентных экспертов с большей вероятностью найдут объективное решение.
Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколько экспертных методов, получивших наибольшее признание и распространение. К ним относятся методы Дельфи, ПАТТЕРН и комбинированный.
Метод Дельфи (в некоторых источниках - Дельфи) - метод опроса экспертов, основанный на последовательно осуществляемых процедурах, которые направлены на формирование группового мнения по процедурам с недостаточной информацией.
Метод Дельфи был разработан в американской исследовательской компании РЭНД Корпорейшн В.Хелмером, Н.Долки и Т. Гордоном. Он использовался для военного научно-технического прогнозирования будущего. Срок Дельфы происходит от названия городка в Греции, где жили оракулы при храме бога Аполлона.
Особенностями метода Дельфи является: отказ от совместной работы экспертов; анонимность оценок; регулируемый обратной связи; групповая ответ.
Отказ от совместной работы экспертов и анонимность достигаются тем, что каждый эксперт высказывает свое мнение в анкете, без группового обсуждения. Применяются и другие технические приемы индивидуального опроса, например, ответы на вопросы вводятся экспертами в ЭВМ. Это позволяет уменьшить расхождение индивидуальных оценок и получить групповой ответ, что правильно отражает мнение каждого эксперта.
Анонимность опроса позволяет уменьшить конформний авторитарный влияние отдельных доминирующих экспертов, регулируемый обратная связь уменьшает влияние индивидуальных и групповых интересов. Введение обратной связи также повышает критерий объективности и надежности оценок.
При использовании этого метода для целей экспертной оценки качества потребительских товаров оказываются следующие его недостатки: сложность опрос экспертов и заполнение анкет, трудоемкость оценки в связи с большим количеством показателей качества (иногда до 20-40) и заполнением нескольких анкет (3-10), громоздкость записей объяснений из-за отсутствия прямого контакта организатора с экспертами.
Метод перспективен для получения групповой экспертной оценки и углубленного анализа событий в ситуациях неопределенности.
Метод ПАТТЕРН - метод опроса экспертов, основанный на построении иерархической структуры - дерева целей - и вынесении постановления этих целей после открытого обсуждения.
Название метода состоит из первых букв английских слов, означающих "Помощь планированию путем количественной оценки технических данных".
Метод разработан в американской фирме "Хонкуелл" для оценки проектов новых систем вооружения. Метод имеет аналоги: ПРОФАЙЛ, во Франции - метод КПЭ, ПРОПЛЕН тому подобное.
Метод ПАТТЕРН предусматривает несколько этапов.
I этап - постановка основной проблемы, требующей решения, и разделение ее на ряд вторичных проблем первого, второго и т. д. порядка, которые затем делятся на более узкие задачи. Деление продолжается до тех пор, пока не будут получены простые элементы, которые могут быть оценены экспертами.
В результате такого деления получается иерархическая структура связанных друг с другом основных, вторичных проблем и задач, называемых деревом целей.
II этап - определение с помощью экспертов коэффициентов весомости (или значимости) каждого задания в отношении основной цели, при этом эксперты выносят решение после открытого обсуждения в экспертной группе.
Такое открытое обсуждение наряду с положительным фактором - взаимодействие экспертов, которые стремятся к принятию положительного решения, - имеет и негативные последствия из-за конформизма, т. е. искажения действительного мнения экспертов за счет внушения или приспособления к мнению большинства.
III этап - применение ЭВМ для обработки полученных данных и их анализа. Преимуществами метода ПАТТЕРН является упрощение процедуры экспертного опроса. Недостатки: отсутствие обоснований оптимального числа членов экспертной группы, а также методики отбора в экспертную группу компетентных специалистов; обработка результатов опроса без учета различий как отдельные эксперты; отсутствие барьеров для проявления конформизма экспертов; недостаточная разработка и неопределенность принципов построения дерева целей.
Поскольку методы Дельфи и ПАТТЕРН имеют существенные недостатки и не соответствуют полностью целям экспертной оценки, Ое. Л. Райхман и Г. Г. Азгальдов предложили комбинированный метод, в котором были использованы положительные особенности других экспертных методов и исключены их недостатки.
Комбинированный метод - метод, основанный на сочетании индивидуальных и коллективных экспертных оценок.
Преимуществами комбинированного метода, является достаточная гибкость, которая позволяет исключить ошибки при опросе экспертов и повысить достоверность результатов экспертизы, четкое определение стратегии путем классификации задач по степени значимости и операций по их выполнению, высокая воспроизводимость результатов.
К недостаткам метода относится багатоопераційність, которая требует значительных затрат времени и средств. Однако этот недостаток окупается повышенной достоверностью и восстановлению результатов.
Для оценки качества товаров комбинированный метод имеет общий алгоритм экспертных операций:
1. Этап подготовительный:
Формирование рабочей группы;
Формирование экспертной группы;
Классификация продукции и потребителей;
Построение структурной схемы показателей качества.
2. Этап получения индивидуальных экспертных оценок:
Выбор процедуры назначения оценок экспертами;
Выбор метода получения информации от эксперта и подготовка документов, необходимых для опроса;
Опрос экспертов.
3. Этап получения коллективных экспертных оценок:
Обобщения индивидуальных экспертных оценок;
Определение согласованности индивидуальных экспертных оценок;
Определение объективности коллективных экспертных оценок.
Для каждого этапа есть соответствующие задачи. В период подготовительного этапа решаются такие задачи, как определение функций и структуры рабочей группы, ее количественного состава, обязанностей отдельных членов. Определяются и разрабатываются принципы формирования экспертной группы: относительно количества экспертов, их профессиональной подготовки и тому подобное.
На втором этапе происходит определение техники опроса экспертов, оцениваются наличие контакта между экспертами, метод передачи информации и форма экспертных оценок. Эксперты могут определять оценки самостоятельно или после обсуждения с другими экспертами или ознакомления с анонимными экспертами. Оценки обосновываются, определяются в количественной форме и дихотомічній, где ответы даются в форме "да", "нет" или 0-1.
Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для анализа, подготовки и принятия решений. Возможности преобразования информации в соответствующие формы зависят от специфических особенностей объекта, полноты данных о нем, надежности, уровня принятия решения, а также от принятого критерия, зависит от исследуемой проблемы.
Одним из элементов, общим для многих экспертных методов, является коэффициенте весомости.
Коэффициент весомости - количественная характеристика степени значимости конкретного показателя для оценки качества.
Определение коэффициентов весомости показателей качества производится экспертным методом. Коэффициенты весомости предназначены для повышения достоверности экспертной оценки качества товаров.
Каждый показатель занимает в номенклатуре показателей качества по значимости определенное место. Эксперты ранжирования показателей по степени значимости осуществляют на основании профессиональных знаний и умений. Кроме того, любой квалифицированный эксперт стремится оценить показатели качества обследованного товара с позиций массового потребителя.
Если эксперт имеет возможность сравнить и оценить возможные варианты действий, предоставляя каждому из них определенное число, то он обладает определенной системе или шкале предпочтений. Правильное применение шкал имеет важное значение для обеспечения точности экспертных оценок. Различают следующие типы шкал: номинальная, порядковая, интервальная, отношений. Но наибольшие преимущества перед другими имеет шкала порядка благодаря относительной простоте экспертной оценки показателей качества по степени значимости. Характеристики шкал приведены в табл. 1.1.
Шкала номинальных наименований используется для того, чтобы отличить один объект от другого. Объекты должны быть пронумерованы, однако цифрами обозначается объект, а не его количественная характеристика. Это более простой тип измерения, в котором числа или символы используются только для классификации объектов. Шкала может быть использована для цифрового кодирования отдельных свойств в анкетах, для определения коэффициентов весомости.
Шкала порядковая (рангов) - такой метод оценивания, при котором параметры, показатели или объекты, которые оцениваются, располагаются в порядке роста или снижения показателя параметра (показателя) или свойств объекта. Классическим примером оценивания с использованием порядковой шкалы является оценка твердости минералов по шкале Мопса (шкала относительной твердости состоит из 10 эталонов твердости, причем твердость талька принята за 1, алмаза - 10). Этот способ может использоваться при определении интенсивности цвета муки, аромата фруктовых соков, букета вин, консистенции сыров. Порядковая шкала имеет преимущества при ее применении для определения коэффициентов весомости, поскольку упрощается процесс упорядочивания показателей качества по значимости для потребителей.
Таблица 1.1. Типы шкал и их характеристика
|
Тип шкалы |
Определение шкалы |
Отношения, задаваемые на шкале |
|
Номинальная |
Простой тип измерения, в котором числа или символы используются только для классификации объектов. |
Эквивалентность (=) |
|
Порядковая (ранги) |
Объекты одного класса находятся в соответствующем отношении 3 объектами другого класса (больше чем, больше преимуществ, сильнее и тому подобное). Если [А]>[В] для некоторых объектов классов А и В, то имеет место частично упорядоченная шкала. |
Эквивалентность (=). Больше чем (>). |
|
Интервальная |
Порядковая шкала, которая разделена на известные расстояния между двумя любыми числами на шкале, нулевая точка шкалы и единица измерения выбираются произвольно. |
Эквивалентность (=) Больше чем (>). Отношение любых двух интервалов известно. |
|
Отношений |
Интервальная шкала с применением истинной нулевой точки, отношение любых двух точек не зависит от единицы измерения. |
Эквивалентность (=). Больше чем (>). Определено отношение любых двух интервалов. Определено отношение между любыми двумя точками. |
При определении коэффициентов весомости показателей качества эксперты сначала оценивают наиболее важный из этих показателей (по их мнению) и присваивают ему определенное число, например 1. Все дальнейшие показатели оценивают в убиваючому или возрастающем порядке по степени значимости.
После этого данные всех экспертов усредняются по каждому показателю.
В практике оценки качества товаров часто используется метод определения коэффициентов весомости, названный "методом фиксированной суммы". Суть его заключается в том, что эксперты назначают коэффициент весомости показателей, входящих в показатель верхнего уровня, причем сумма этих коэффициентов должна быть равна заранее определенному числу.
"Метод фиксированной суммы" целесообразно применят только при небольшом количестве показателей.
Практический опыт показывает, что при экспертной оценке качества товаров целесообразно применять следующие процедуру определения коэффициентов весомости.
1. Предварительное ранжирования экспертами показателей однородной группы. Ранг 1 присваивается самому важному показателю, 2 - следующему по важности и так далее Если показатели равнозначны по значимости, то им присваиваются одинаковые ранги. Количество показателей в однородной группе должно быть 4 и более. При меньшем количестве ранжирование не проводится.
2. Определение экспертами коэффициентов весомости показателей. Показателю 1-го ранга присваивается коэффициент весомости 10. Коэффициент весомости следующего по важности показателя определяется как доля важности первого показателя. При определении третьего и последующих показателей учитывается их важность в сравнении с предыдущими. В результате этих последовательных действий эксперт определяет коэффициенты весомости единичных, а затем комплексных показателей качества.
3. Ознакомление экспертов с значениями коэффициентов весомости (их обоснованиями), назначенными другими экспертами.
Обоснование коэффициентов весомости - очень трудоемкая операция, поэтому применяется при ограниченном числе показателей (около 10- 15). Иначе экспертам предлагается дать обоснование только по некоторым показателям на их усмотрение.
4. Усреднение значений коэффициентов весомости, определенных всеми экспертами. Проводят технические работники путем расчета среднеарифметической или средневзвешенной В последнем случае учитывается комплексная оценка качества эксперта.
Недостатками шкалы является неточность ранговых оценок за отсутствия уравнения интервалов, невозможность расчетов даже средней арифметической величины.
Шкала интервалов. Это такой метод оценивания, при котором существенной характеристикой является разность между значениями оцениваемых параметров, которая может быть выражена числом единиц, предусмотренных этой шкале. С помощью такой шкалы проводят ранжирование объектов, а также в определенных единицах устанавливают, на сколько один объект больше другого. Примером шкалы интервалов является шкала Цельсия, которая разбита на 100 равных интервалов и применяется для характеристики таких свойств продукции, которые связаны с температурными режимами, например, морозостойкость синтетической кожи, минимальная температура морозильной камеры в холодильнике.
Шкала отношений позволяет достичь высочайшего уровня измерения. Это такой метод оценивания, при котором используется единица измерения, она применяется для большинства параметров, которые представляют собой физические величины: размер, вес, плотность, силу, напряжение, частоту и тому подобное. Результаты измерения по шкале имеют свойства чисел, которые можно подвергать статистической обработке. Примером такой шкалы является температурная шкала Кельвина, началом которой является абсолютный нуль.
При сравнении шкалы интервалов и отношений определено, что с помощью последней получаются более точные результаты. Кроме того, оценки, полученные по шкале интервалов, можно использовать с целью вычисления средних взвешенных величин, расчеты которых характерны для экспериментальных опросов. Шкала отношений может быть основной для экспертного метода, шкалу порядка можно применять при достаточном обосновании.
В практике экспертной оценки применяют два основных вида шкал-размерные и безразмерные. Данные безразмерных шкал выражают в долях единицы, процентах, баллах.
Математико-статистические методы обработки экспертных оценок - методы, предназначенные для повышения достоверности результатов оценки качества товаров экспертами.
Они подразделяются на четыре подгруппы: ранжирования, непосредственной оценки, последовательных предпочтений и парных сравнений.
Ранжирование - метод, основанный на расположении объектов экспертизы в возрастающем или убиваючому порядке.
Предназначен для решения многих практических задач, когда объекты, определяющие конечные результаты, не поддаются непосредственному измерению. Кроме того, отдельные объекты, характеризующихся различной природой, бывают несовместимыми, поскольку у них нет общей меры сравнения. Основанием для ранжирования является необходимость упорядочения любого объекта во времени и пространстве, а также в соответствии с измеряемой качества без проведения точных измерений. И наконец, в ситуации, когда качество, которое измеряется, в принципе не может быть измерено по причинам практического и теоретического характера.
Процедура ранжирования состоит в расположении объектов экспертом в наиболее рациональном порядке и присвоении им определенного ранга в виде числа натурального ряда. При этом ранг 1 получает наиболее важный объект, а ранг п - наименее важный. В результате получена шкала порядка, в которой число рангов равно числу объектов Если два объекта имеют одинаковые ранги, то им приписывают так называемые стандартизированные ранги, которые рассчитываются как среднее суммы мест объектов с одинаковыми рангами.
Например, шести объектам присвоены следующие ранги:
Объекты 2 и 5 поделили 2-е и 3-е места. их стандартизированный ранг будет равен
(2 + 3) /2 = 2,5.
Объекты 3, 4 и 6 поделили 4-е, 5-е и 6-е места, а их стандартизированный ранг равен 5:
(4 4-5 + б)/3 = 5. В результате получается следующее ранжирование:
Метод ранжирования редко применяется в чистом виде. Чаще всего он сочетается с методом непосредственной оценки или его модификациями (ранжированием по сумме оценок, комбинированным способом и др.).
Метод непосредственной оценки заключается в том, что диапазон изменения какой-либо количественной переменной разбивается на несколько интервалов, каждому из которых присваивается определенная оценка в баллах, например от 0 до 10. Шкала оценок может быть положительной и отрицательной, например, от +3 до -3.Эксперт должен включить каждый объект в определенный интервал в зависимости от его значения. Число интервалов, на которые разбивается весь диапазон изменения качества, может быть неодинаковым у разных экспертов. Отдельным экспертам разрешается оценивать одинаковым числом качественно различные факторы.
В некоторых случаях оказывается удобнее для выбора наиболее предпочтительного фактора сначала произвести оценку, а затем ранжирование.
Суммарные оценки рангов могут нормироваться, это позволяет установить более тесную связь между оценками, которые эксперты предоставили отдельным объектам. С этой целью оценки по всем объектам суммируются и в дальнейшем каждая из них делится на полученную сумму. Рассчитанные таким образом нормированные оценки можно снова подвергнуть ранжуванню.
При проведении экспертизы несколькими экспертами стремятся получить усредненную оценку для каждого объекта. С этой целью нормированные оценки каждого объекта суммируются, полученная сумма делится на число экспертов. Второй способ определения зависимости между оценками факторов заключается в том, что важнейшему фактору дается оценка (устанавливается весомость) за определенным числом 1 или 10, следующие факторы оцениваются как доля важнейшего фактора. Преимущество метода в том, что облегчается процесс выбора оценок, потому что не нужно каждый раз сопоставлять весь ряд, а лишь учитывать значение первой и предыдущей по важности оценки. Оценки усредняются путем расчета средней арифметической.
Метод последовательных преимуществ - основанный на сравнении отдельного объекта с суммой последующих объектов для установления его важности. применяется при измерении уровня качества, оценке деятельности научных организаций. Метод имеет такое основное преимущество по сравнению с другими методами, которая дает возможность сопоставления и измерения качественно различных факторов.
Метод разработан В. Черчменом и Г. Акофом и предназначен для проведения сравнений с учетом определенных допусков.
Порядок представления результатов или их группировки не влияют на преимущества.
Процедура последовательных сравнений заключается в следующем. Эксперту представляется ряд объектов (показателей, факторов, результатов), которые необходимо оценить по их относительной важности (значимости), и он производит ранжирование. Наиболее важному объекту присваивается оценка, равная 1, остальных объектов - оценки ниже 1 до 0 в порядке их относительной важности. Затем эксперт устанавливает, является ли объект с оценкой 1 более важным, чем сумма последних факторов. Если важность объекта велика, то он увеличивает оценку, чтобы она была больше, чем сумма всех других.
Если значение объекта ниже, чем сумма всех других он корректирует оценки.
Таким образом, используемая процедура состоит в систематической проверке оценок путем их последовательного сравнения.
Метод последовательных предпочтений целесообразно применять, если число сравниваемых объектов не превышает 7. При большем количестве объектов их необходимо разбивать на подгруппы, которые включают 6 объектов. В тех случаях, когда это невозможно, следует использовать метод парных сравнений.
Метод парных сравнений - основан на сравнении объектов экспертизы попарно для установления наиболее важного в каждой паре.
Применяется с целью выявления преимущества среди значительного количества факторов, проблем, показателей. Эксперты могут просто проводить сравнение с констатацией превосходства одного фактора перед другим. Возможно применение специальной шкалы предпочтений, где каждая степень преимущества имеет свою определенную оценку.
Метод парных сравнений может использоваться и для установления суммарных рангов факторов.
Для облегчения процедуры составляют матрицы парных уравнений, в которых все объекты (факторы) записывают в одном и том же порядке дважды: в верхней строке и крайнем левом столбце. Каждый эксперт должен проставить на пересечении строки и столбца оценку для двух сравниваемых факторов. В зависимости от того, какой фактор является наиболее важным, эта оценка будет равна соответственно 1 или 0. В главной диагонали такой матрицы проставляются прочерки или нули (таблица. 1.2).
Таблица 1.2.
Каждая пара факторов может сравниваться единожды или дважды. Существуют различные варианты частичного парного сравнения: выбор предпочтительного объекта из заранее сгруппированных пар; частичное парное сопоставление одной группы объектов со всеми другими, тогда как остальные факторы сопоставляется с некоторыми другими; установление суммарных рангов факторов.
Метод парных сравнений иногда сочетают с предварительным ранжированием объектов, при этом парное сравнение используется для уточнения преимущества отдельных объектов. В этом случае строится дополнительная матрица, в которой указывается доля случаев, когда один фактор оказывается более значимым, чем другой, в общем числе полученных оценок.
Методы экспертной оценки показателей качества товаров - это методы определения действительных значений единичных и комплексных показателей качества.
Предназначены для определения значений показателя качества расчетным или эвристическим путем в случаях, когда использование измерительных методов невозможно или неэкономичное из-за чрезмерных расходов на их применения или длительного времени испытаний. Например, при определении вкуса и запаха пищевых продуктов используются только органолептические методы. Измерительные методы не дают точной надежной оценки, не смотря на повышенные затраты.
Для дифференциальной и комплексной оценки образцов, которые значительно отличаются по качеству, рекомендуется определять значение единичного показателя Р следующим образом:
где Р;5- базовое (эталонное значение).
Другой, более точный метод основан на исследовании показателей с целью определения видов зависимости и, т. е. с целью разработки формул для расчетов оценок показателей:
Оценка единичных показателей качества начинается с определения допустимых интервалов их изменения (Р; - Р;) Р; -наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого значения показателя зависят от цели оценки качества, при этом необходимо чтобы для всех показателей этот принцип был единым.
Повышение надежности экспертных оценок достигаете путем разделения сложных операций на простые, которые составляют многоступенчатую процедуру оценки допустимых значений показателя. Переход к каждому следующему уровню осуществляется после принятия согласованных решений на предыдущий.
Экспертная процедура определения допустимых значений показателей качества заключается в ряде операций:
выдачи экспертам анкет и пояснительных записок, в которых перечислены показатели качества и описаны принципы выбора допустимых значений показателей;
заполнения экспертами анкет и указания конкретных моделей продукции, значения которых они считают предельно допустимые;
ознакомление каждого эксперта с оценками, указанными другими экспертами, и их обсуждение;
проведение второго (иногда третьего и четвертого) тура анкетирования;
Усреднение результатов оценки.
При значительной разнице мнений проводится дополнительный тур голосования. Значение показателя берется за максимальное, если за него подано не менее 70% голосов. При невыполнении этого условия за максимально допустимое значение принимается среднее из 50% наибольших значений рімакс, за минимальное допустимое значение - среднее из 50% наибольших значений значения используются экспертами при определении оценок показателей качества К.
Для определения экспертами вида зависимостей (и) между значением показателей Г; и их оценкам К нередко используется "главный метод точек". Необходимость его использования обусловлена тем, что разделение процедуры оценки на несколько этапов упрощает работу эксперта и позволяет ему дать оценки некоторым характерным точкам, исходя из которых можно построить модель действительной величины.
"Метод главных точек" в зависимости от их числа имеет несколько разновидностей.
"Метод трех главных точек" - основан на разделении значений показателей Г; на максимальное, минимальное, среднее значения и определении значений оценок Р; в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы 0-1 или 0-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и построение графика. После этого от графической зависимости можно перейти к аналитической формулы для расчета оценок показателя качества Кі "Метод трех главных точек" позволяет разработать лишь приближенную модель оценки.
"Метод семи главных точек" - метод оценки по семибалльной шкале оценки показателей, значения которых определены экспериментальным или расчетным путем, а также органолептическим методом.
Семибальна шкала является равномерной, то есть при переходе от одного класса качества в другой оценка меняется на один балл. Эти шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.
Для облегчения работы эксперта в пояснительной записке к анкете приводят пять графиков. Эксперт выбирает кривую (или комбинацию кривых), которая лучше всего, по его мнению, отражает характер зависимости и Затем каждому класс качества назначается оценка в соответствии с характеров зависимости и значениями показателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс "высочайшее качество" получает оценку 10.
Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Pi и их оценками К;, а для показателей, оцениваемых органолептическим методами, - между классами качества и их оценками.
В заключение проводится обсуждение полученных результатов, их обработка и анализ. Для показателей, которые определяются измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.
Применение "метода главных точек" дает возможность осуществлять группировку и классификацию показателей по видам зависимости.
Определение комплексных показателей качества осуществляется двумя видами методов:
методами комплексной оценки качества образцов товаров;
методами построения моделей комплексных показателей качества.
Методы комплексной оценки качества имеют две разновидности - экспресс-метод и методы движения по уровням без подготовки и с подготовкой.
Экспресс-методы комплексной оценки качества образцов товаров основаны на определении комплексного показателя качества путем анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.
При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для высококвалифицированного эксперта 7-9 показателей, расположенных на одном уровне иерархии, которые составляют довольно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показателей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.
Метод движения по уровням без подготовки является комплексом операций, которые осуществляются последовательно, с постепенным повышением уровня. При этом анализ начинается с нижнего уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.
Метод движения по уровням с подготовкой основан на предварительном определении экспертами коэффициентов весомости показателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплексных показателей аналогична процедуре метода движения по уровнях без подготовки.
Формализация процесса экспертной оценки заключается в нахождении зависимости между значениями показателей качества Г; (или их оценкам К) и показателем качества вышележащего уровня, т. е. в определении вида решающей функции, которой пользуются эксперты при назначении комплексных показателей. При этом решающая функция, как и любая модель упрощает объект исследования, поскольку учитываются не все показатели и связи между ними.
Исходными данными для определения вида функции могут служить результаты оценки качества различных образцов экспресс-методами или методами движения по уровням. Тогда оценки, назначенные экспертами, сводятся в общую матрицу, каждая строка которой является набором оценок единичных показателей образца и комплексных экспертных оценок. На основании этого могут быть разработаны машинные алгоритмы и составлены программы для нахождения решающих функций с помощью ЭВМ .
Оценка экспертная - это название целой системы диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.
В ходе какого-либо исследования на любом из его этапов может быть применен метод В управленческой деятельности он может пригодиться:
Проведение экспертной оценки оправдано в тех случаях, когда нельзя принять решение, основываясь на точных расчетах (для составления психологического портрета, рабочей характеристики, оценки экономической неопределенности и рисков).
Чаще всего применение таких оценок становится важным в ситуации выбора одного или нескольких вариантов из предложенного множества:
Как следует из названия метода, экспертная оценка предполагает привлечение одного или нескольких специалистов-экспертов, компетентных для вынесения оценок лиц, а также обработку их мнения. Подбор экспертов осуществляют с учетом адекватности их суждений и опыта в данной области.
Оценка экспертная может быть выражена как количественно, так и качественно. Данные экспертных исследований нужны руководителям, менеджерам и сотрудникам управляющего звена как основание для принятия решений.
Разработка экспертной оценки чаще всего проводится путем создания рабочей группы, которая занимается организацией деятельности эксперта (или нескольких экспертов). Если приходится задействовать более одного человека, их объединяют в экспертную комиссию.
В зависимости от специфики задания и возможностей предприятия, для проведения экспертной оценки может быть приглашен один или несколько экспертов. При этом оценка экспертная называется индивидуальной или коллективной.
Индивидуальной становится оценка, которой преподаватель характеризует глубину знаний студента. Также к этому типу относят диагноз, поставленный одним врачом. Однако при спорных или сложных ситуациях (серьезное заболевание, постановка вопроса об отчислении учащегося), прибегают к коллективному решению вопроса. Здесь необходимы симпозиумы врачей и организация комиссии преподавателей.
Такой же алгоритм действует и в армии: чаще всего решение принимается командующим единолично, однако при необходимости собирают военный совет.
Последовательность формирования актуальной и объективной экспертной оценки представляет собой такие этапы:
При этом может потребоваться выполнение проверки входных данных, на которых будет основана оценка экспертная. В некоторых случая рабочей группе приходится менять состав экспертной группы или прибегать к повторному замеру тех же вопросов (с целью сопоставить в дальнейшем полученную оценку с объективными данными из других источников).
Большое значение для успешного проведения процедуры имеет компетентное решение организационных вопросов:
В процессе работы эксперты должны руководствоваться выделенным регламентом, так как дополнительное время на принятие решения не влияет на его точность.
Когда будут получены ответы всех специалистов, выполняется оценка экспертного заключения. При этом учитывается степень согласованности всех мнений. Если однозначного согласия нет, рабочая группа должна выяснить причину разногласий, зафиксировать образование нескольких групп мнений и отсутствие согласованности как результат экспертной оценки. Затем оценивается ошибка исследования и выполняется построение модели на основании тех данных, которые были получены. Это необходимо, чтобы впоследствии можно было провести аналитическую экспертизу.
Среди самых действенных и часто применяемых методик можно назвать:
В согласии с методикой проведения интервью, прогнозист беседует с экспертом, задавая ему вопросы. Предметом разговора становятся перспективы развития объекта или явления, о котором идет речь. Программа опросника разрабатывается заранее.
Эффективность и качество экспертной оценки напрямую зависят от того, сможет ли эксперт в условиях ограниченного времени предоставить заключение.
Выбирая аналитический метод для осуществления оценки, специалист-эксперт должен подготовиться к тщательному выполнению самостоятельной работы. Ему предстоит анализировать тенденции, оценивать состояние и возможные пути развития объекта, по отношению к которому применяется прогнозирование.
Система экспертных оценок предусматривает изучение всей информации об объекте, которая доступна эксперту. Результат оформляется как
Основным преимуществом аналитического метода становится то, что специалист может проявить все свои индивидуальные способности.
Правда, этот способ не подходит для анализа крупных и сложных систем, так как эксперту может не доставать знаний из смежных областей.
Строго говоря, этот метод не должен быть отнесен только к категории индивидуальных способов оценивания, так как он с успехом применяется для работы в группе.
Чтобы использовать этот метод, эксперту следует определить логику изучаемых процессов и явлений относительно времени и разных комбинаций условий. Затем он сможет установить предположительную последовательность событий (их развитие, переход от ситуации в данный момент к прогнозируемому состоянию). Сценарий отражает все ступени решения задачи, а также предусматривает возникновение возможных препятствий.
Для оценки сложных, масштабных, многоуровневых систем не обойтись без привлечения нескольких специалистов-экспертов.
Порученное задание они могут выполнить, применяя один из методов:
Благодаря коллективным усилиям и особенной организации, эксперты могут эффективно провести самые сложные процедуры, такие как экспертная оценка рисков для инвестиционного проекта или прогнозирование деятельности различных систем.
«Мозговой штурм» позволяет в полной мере раскрыть творческие данные экспертов. На первом этапе специалисты активно генерируют идеи, затем применяют деструктурирование (подвергают их критике, разрушают), выдвигают контридеи и вырабатывают согласованную точку зрения.
Главным условием становится отсутствие критики вначале и высказывание всех спонтанно возникающих идей.
Такое название метод получил из-за приема, который применяют эксперты при его использовании: каждый из шести экспертов записывает на листе бумаги три спонтанно возникших идеи за период, равный пяти минутам.
Целью разработки этого способа экспертного оценивания стала необходимость в более строгой и обоснованной процедуре, которая могла бы дать объективный и максимально полезный результат.
Его применяют эксперты, приглашенные в научные и технические институты, инвестиционные и страховые компании, а также в ряде других случаев.
Суть метода в том, что проводят многотуровые индивидуальные опросы (зачастую с помощью анкет). Затем выполняется компьютерный анализ экспертных оценок для формирования коллективного мнения. При этом выявляют и обобщают аргументы для защиты каждого суждения.
На следующем этапе полученные результаты передают экспертам для корректировок. Их несогласие с коллективным суждением должно быть письменно обосновано. В результате многократного возвращения оценки на корректировку рабочая группа добивается сужения диапазона и выработки согласованного суждения, касающегося перспектив развития исследуемого объекта.
Чем хорош метод:
Несмотря на относительно высокую затратность и продолжительность, этот метод становится лучшим способом предопределения развития долгосрочных ситуаций проблемного характера.
Нередко оценка выполняется специально организованной комиссией (метод комиссий), которые за «круглым столом» рассматривают все аспекты проблемы и принимают согласованное решение. Недостатком становится влияние участников друг на друга и искажение результатов. Примером может служить экспертная преподавателей и врачей.
Выше были перечислены самые распространенные методы выполнения экспертизы, но в практике производственных, научных и исследовательских организаций применяются и другие.
В зависимости от специфики ситуации, которую требуется спрогнозировать, а также от ресурсов и возможностей предприятия, могут быть применены:
В качестве итога можно отметить, что существование большого количества методов и способов проведения экспертной оценки позволяет руководителю предприятия и рабочей группе выбрать наиболее эффективный вариант для решения конкретной проблемы.
Задачи прогнозирова-ния, решаемые с помощью методов экспертных оценок, включают два формально не связанных между собой элемента: определение возмож-ных вариантов развития объекта прогнозирования и их оценку. Анализ экспертных методов показывает целесообразность применения «мозговых атак» для определения возможных вариантов развития. Их использование позволяет получить продуктивные результаты за короткий период времени и вовлечь всех экспертов в активный творческий процесс.
Методы «мозговых атак» можно классифицировать по признаку наличия или отсутствия обратной связи между руководителем и участниками «мозговой атаки» в процессе решения некоторой проб-лемной ситуации. Наличие обратной связи позволяет концентриро-вать внимание участников только на вариантах, полезных по тем или иным критериям для решения проблемной ситуации. Однако, ис-кусственно вводя ограничения, мы лишаемся возможности увидеть все многообразие подходов, и тем самым появляется вероятность пропустить оригинальные мысли, имеющие потенциальную, но не осознаваемую в настоящий момент ценность. Отсутствие обратной связи, т.е. максимальная стимуляция высказываний, предполагает проведение сложной и большой по объему работы на этапе их оценки. Создавшаяся ситуация потребовала разработать метод «мозговой атаки», способный качественно и достаточно быстро проводить оцен-ку вариантов, не ограничивая при этом их числа.
Сущность этого метода состоит в актуализации творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструирование (разрушение, критику) этих идей с формулированием контридей. Работа с методом «мозговой атаки» предполагает реализацию сле-дующих шести этапов.
Первый этап - формирование группы участников «мозговой атаки» (по численности и составу). Оптимальная числен-ность группы участников находится эмпирическим путем: наиболее продуктивными признаны группы в 10-15 человек. Состав группы участников предполагает их целенаправленный подбор: 1) из лиц примерно одного ранга, если участники знают друг друга; 2) из лиц разного ранга, если участники не знакомы друг с другом (в этом случае следует нивелировать каждого из участников при-своением ему номера с последующим обращением к участнику по но-меру). Что же касается необходимости специализации участника в области проблемной ситуации, то это условие не является обя-зательным для всех членов группы. Более того, весьма желательно, чтобы в группе были специалисты других областей знания, обладаю-щие высоким уровнем общей эрудиции и понимающие смысл проблем-ной ситуации.
Второй этап - составление проблемной записки участника мозговой атаки. Она составляется группой анализа проб-лемной ситуации и включает описание этого метода и описание проб-лемной ситуации. Данное описание содержит: принцип, на котором основан метод; условия, обеспечивающие наибольшую эффективность «мозговой атаки», авторство результатов атаки; основные правила проведения атаки. Описание проблемной ситуации содержит: причи-ны возникновения проблемной ситуации; анализ причин и возможные последствия возникшей проблемной ситуации (целесообразно гипер-болизировать последствия, с тем чтобы острее ощущалась необходи-мость разрешения противоречий); анализ мирового опыта разрешения подобной проблемной ситуации (если он имеется); классификацию (систематизацию) существующих путей разрешения проблемной ситуа-ции, формулировку проблемной ситуации в виде центрального вопро-са с иерархией подвопросов.
Третий этап - генерация идей. Она начинается с того, что ведущий раскрывает содержание проблемной записки. Предсказывая описание метода, ведущий концентрирует внимание участников на правилах проведения мозговой атаки: 1) высказывания участников должны быть четкими и сжатыми; 2) скептические замечания и критика предыдущих выступлений не допускаются; 3) каждый из участников имеет право выступать много раз, но не подряд; 4) не разрешается зачитывать подряд список идей, который может быть подготовлен участниками заранее. Пересказывая содер-жание проблемной ситуации, ведущий концентрирует внимание участ-ников на основном вопросе. Свое выступление ведущий должен стро-ить таким образом, чтобы пробудить психологическую восприимчи-вость участников, заставить их почувствовать потребность сде-лать то, о чем он их просит. Желаемый отклик участников - воля к целеустремленности мышления, направленного на решение проблем-ной ситуации.
Активная деятельность ведущего предполагается только в на-чале «мозговой атаки». После того как участники достаточно воз-будились, процесс выдвижения новых идей идет спонтанно. Ведущий в этом процессе играет пассивную роль, регламентируя участников согласно правилам проведения атаки. Следует помнить, что, чем разнообразнее и больше количество высказываний, тем шире и глуб-же охватывается рассматриваемый вопрос и тем больше вероятность появления ценных высказываний. Учитывая изложенное обстоятельство, ведущий при проведении атаки должен руководствоваться следующими правилами:
Сосредоточивать внимание участников на проблемной ситуации, задавая рамки специфическими её требованиями и терминологической строгостью высказываемых идей;
Не объявлять ложной, не осуждать и не прекращать исследова-ние ни одной идеи, т.е. рассматривать любую идею независимо от её кажущейся уместности или осуществимости;
Приветствовать усовершенствование или комбинацию идей, пре-доставляя слово в первую очередь тому, кто хочет высказаться в связи с предыдущим выступлением;
Оказывать поддержку и поощрение участникам, столь необходи-мые для того, чтобы освободить их от скованности;
Создавать непринужденность обстановки, способствуя, таким образом, активизации участников атаки.
Четвертый этап - систематизация идей, выска-занных на этапе генерации. Систематизацию идей группа анализа проблемной ситуации осуществляет в такой последовательности: составляется номенклатурный перечень всех высказанных идей; каждая из идей формулируется в общеупотребительных терминах; определяются дублирующие и дополняющие идеи; дублирующие и (или) дополняющие идеи объединяются и формулируются в виде одной комп-лексной идеи; выделяются признаки, по которым идеи могут быть объединены; идеи объединяются в группы согласно выделенным при-знакам; составляется перечень идей по группам (в каждой группе идеи записываются в порядке их общности: от более общих к част-ным, дополняющим или развивающим более общие идеи).
Пятый этап - деструирование (разрушение, критика) систематизированных идей (специализированная процедура оценки идей на практическую реализуемость в процессе мозговой атаки, когда каж-дая из них подвергается всесторонней критике со стороны участ-ников мозговой атаки).
Основное правило этапа деструирования - рассматривать каждую из систематизированных идей только с точки зрения препятствий на пути к её осуществлению, т.е. участники атаки выдвигают дово-ды, опровергающие систематизированную идею. Особенно ценным яв-ляется то обстоятельство, что в процессе деструирования может быть генерирована контридея, формулирующая имеющиеся ограничения и выдвигающая прещщложение о возможности снятия этих ограничений.
Группа участников мозговой атаки этого этапа состоит из высококвалифицированных специалистов в обсуждаемой области, числен-ность её достигает 20-25 человек, а продолжительность - 1,5 часа. Процесс деструирования продолжается до тех пор, пока каждая из систематизированных идей перечня не подвергнется критике. Высказанные критические замечания и контридеи записываются на магни-тофон.
Шестой этап - оценка критических замечаний и составление списка практически применимых идей. Реализацию этапа осуществляет группа анализа проблемной ситуации:
1. Составляется перечень всех критических замечаний, полученных на этапе деструирования. При необходимости критические замечания уточняются, отбрасываются дублирующие.
2. Составляется сводная таблица этапов систематизации и деструирования идей, а также список показателей практической применимости идей (эти показатели в каждом конкретном случае специфичны и зависят от конкретной проблемной ситуации). Первая графа таблицы - результаты этапа систематизации идей; вторая - критические замечания, опровергающие идеи; третья - показатели практической применимости идей; четвертая - контридеи, высказанные на этапе деструирования.
3. Оценивается каждое критическое замечание и контридея:
а) вычеркивается из таблицы, если опровергается хотя бы одним показателем практической применимости;
б) не вычеркивается, если оно не опровергается ни одним показателем.
4. Составляется окончательный список идей; переносятся в список только те идеи, которые не опровергнуты критическими замечаниями и остались в таблице, а также контридеи.
Метод коллективной генерации идей апробирован на практике и позволяет находить групповое решение при определении возможных вариантов развития объекта прогнозирования, исключая путь комп-ромиссов, когда единое мнение нельзя считать результатом беспри-страстного анализа проблемы.
Дельфийский метод . В последние два де-сятилетия созданы отдельные методики, позволяющие в определенной мере организовать статистическую обработку мнений экспертов-специалистов и достигнуть более или менее согласованного их мне-ния. Метод «Дельфи» - один из наиболее распространенных методов экспертной оценки будущего, т.е. экспертного прогнозирования. Этот метод разработан американской исследовательской корпорацией РЭНД и служит для определения и оценки вероятности наступления тех или иных событий.
Метод «Дельфи» построен на следующем принципе: в неточных науках мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками.
Метод «Дельфи» позволяет обобщать мнения отдельных экспер-тов в согласованное групповое мнение. Ему присущи все недостат-ки прогнозов, построенных на основе экспертных оценок. Однако проводимые корпорацией РЭНД работы по совершенствованию этой системы значительно повысили гибкость, быстроту и точность про-гнозирования.
Метод «Дельфи» характеризуется тремя особенностями, которые отличают его от обычных методов группового взаимодействия экс-пертов. К таким особенностям относятся: а) анонимность экспер-тов; б) использование результатов предыдущего тура опроса; в) статистическая характеристика группового ответа.
Анонимность заключается в том, что в ходе проведения про-цедуры экспертной оценки прогнозируемого явления, объекта участ-ники экспертной группы неизвестны друг другу. При этом взаимо-действие членов группы при заполнении анкет, полностью устраня-ется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.
Использование результатов предыдущего тура опроса заключа-ется в следующем: поскольку групповое взаимодействие осуществля-ется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извле-кает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогнозист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функциони-рования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возмож-ность группе специалистов концентрировать свои усилия на перво-начальных задачах, а не предполагать каждый раз что-то новое.
Статистическая характеристика группового ответа заключается в том, что группа специалистов составляет прогноз, содержащий точку зрения только большинства экспертом, т.е. такую точку зре-ния, с которой могло бы согласиться большинство группы. Однако вряд ли может существовать какой-либо показатель степени разли-чия мнений, которые могли существовать у членов группы. Вместо этого в методе «Дельфи» используются статистические характерис-тики ответа, который включает мнение всей группы. Каждый ответ внутри группы учитывается при построении медианы, а величина разброса ответов характеризуется величиной интервала между квар-тилями. Иными словами, групповой ответ может быть представлен в виде медианы и двух квартилей, т.е. в виде такого числа, оцен-ки которого одной половиной членов группы были больше этого чис-ла, а другой половиной - меньше. Метод «Дельфи» дает возможность эффективно взаимодействовать членам жюри, хотя результаты этого взаимодействия и контролируются руководителем группы путем суммирования аргументов. Члены жюри изменяют свои оценки именно тогда, когда убедительны доводы их коллег, а противном случае они упорно придерживаются своих противоположных точек зрения.
Метод «Дельфи» осуществим и эффективен при получении преиму-ществ от участия группы в подготовке прогноза; в то же время этот метод сводит до минимума или устраняет большинство труднос-тей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общением членов, особенно если опрос производится по почте.
В развитии метода «Дельфи» применяется перекрестная коррекция. Будущее событие представляется как огромное множество свя-занных и переходящих друг в друга путей развития.
Представив прогноз научно-технических сдвигов как Д 1 , Д 2 , …, Д n , а соответствующие им вероятности как Р 1 , Р 2 , …, Р n и по-лагая Р 1 =100% , находят изменения значений Р 2 , …, Р i , …, Р n .
При введении перекрестной корреляции значения каждого собы-тия за счет введенных определенных связей будут изменяться либо в положительную, либо в отрицательную сторону, корректируя тем самым вероятности рассматриваемых событий. С целью будущего со-ответствия модели реальным условиям в модель могут быть введены элементы случайности.
Сущность методов экспертных оценок для разра-ботки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прог-нозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).
I. Создание групп. Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив раз-вития данной отрасли. Количество экспертов, привлекаемых для раз-работки прогноза, может колебаться от 10 до 150 человек, в зави-симости от сложности объекта.
II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, не-обходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и сред-ства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для дости-жения цели. При этом направления научных исследований и разрабо-ток не должны пересекаться друг с другом.
III. Разработка анкеты. Заключается в раз-работке вопросов, которые будут предложены экспертам. Форма воп-роса может быть разработана в виде таблиц, но содержание их долж-но определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структур-но-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.
При проведении опроса экспертов необходимо обес-печить однозначность понимания отдельных вопросов, а также неза-висимость суждений экспертов.
IV. Расчёт экспертных оценок. Необходимо провести обработку материалов экс-пертных оценок, которые характеризуют обобщенное мнение и сте-пень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.
Окончательная количественная оценка определяется с помощью четырех основных методов экспертных оценок и множества их разновидностей:
1)метод простой ранжировки (или метод предпочтения);
2)метод задания весовых коэффициентов;
3)метод парных сравнений;
4)метод последовательных сравнений.
Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два - следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.
Таблица 2.1 Экспертные оценки признаков (направлений исследований)
Порядок предпочтения данного признака перед другими.
Затем с помощью методов математической статистики получают обобщенное мнение экспертов. Определяется средний ранг, среднее статистическое значение S j j-го признака:
где m kj - количество экспертов, оценивающих j-й признак (m k m);
i - номер эксперта; i = 1,…,m;
j - номер признака, j = 1,2,…,n.
Определяется средний ранг каждого признака. Чем меньше величина S j , тем больше важность этого признака.
Для того чтобы можно было сказать, случайно ли распределение рангов или имеется согласованность в мнениях экспертов, производится вычисление коэффициента конкордации , введенного М. Кендаллом.
Определяется средний ранг совокупности признаков:
Вычисляется отклонение d j среднего ранга j-го признака от среднего ранга совокупности:
Определяется число одинаковых рангов, назначенных экспертами j-му признаку - t q .
Определяется количество групп одинаковых рангов - Q. Определяется коэффициент конкордации по формуле:
,(2.4)
,(2.5)
Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии - нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.
По мере увеличения согласованности мнений экспертов коэффициент конкордации возрастает и в пределе стремится к единице. Однако даже если он равен или близок к нулю, не всегда имеет место полное разногласие. Среди экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти - противоположны и в общей массе нейтрализуют друг друга. В таком случае следует проделать кластерный или комбинированный анализ для выявления этих групп.
Достоинства метода простой ранжировки:
1) сравнительная простота процедуры получения оценок;
2) меньшее число экспертов по сравнению с другими методами при оценке одного и того же набора признаков.
Недостаток же его в том, что:
1) заведомо считают распределение оценок равномерным;
2) уменьшение важности признаков предполагается также равномерным, в то время как на практике этого не бывает.
Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:
1) всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2) наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным - коэффициенты, равные долям этого числа.
Обобщенное мнение экспертов также получаем с помощью методов математической статистики по формулам (2.1 - 2.5).
Метод последовательных сравнений заключается в следующем:
1) эксперт упорядочивает все признаки в порядке уменьшения их значимости: А 1 > A 2 >…> A n ;
2) присваивает первому признаку значение, равное единице: A 1 =1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3) сравнивает значение первого признака с суммой всех последующих.
Возможны три варианта:
A 1 >A 2 + A 3 + … + A n
A 1 = A 2 + A 3 + … + A n
A 1 < A 2 + A 3 + …+ A n
Эксперт выбирает наиболее соответствующий, по его мнению, вариант и приводит в соответствие с ним оценку первого события;
4) сравнивает значение первого признака с суммой всех последующих за вычетом самого последнего признака.
Приводит оценку первого признака в соответствие с выбранным из трех вариантов неравенством:
A 1 > A 2 + A 3 + … + A n-1
A 1 = A 2 + A 3 + … + A n-1
A 1 < A 2 + A 3 + … + A n-1
5) процедура повторяется до сравнения A 1 с A 2 + A 3.
После того как эксперт уточнил оценку первого признака в соответствии с выбранным им неравенством из трех возможных:
A 1 > A 2 + A 3
A 1 < A 2 + A 3
он переходит к уточнению оценки второго признака A 2 по той же схеме, что и в случае первого, т.е. сравнивается оценка второго признака с суммой последующих.
Преимущество его состоит в том, что эксперт в процессе оценивания признаков сам анализирует свои оценки. Вместо назначения коэффициентов возникает творческий процесс создания этих коэффициентов.
Недостатки метода таковы:
1) сложность его; неподготовленный эксперт будет с трудом справляться с этой процедурой; вместо того, чтобы уточнять свои первоначальные оценки, он будет путаться в них;
2) громоздкость; на оценку одного и того же набора признаков он требует в четыре раза больше операций, чем метод простой ранжировки (другими словами, для одной и той же работы нужно в четыре раза больше экспертов).
Метод парных сравнений
Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака.
Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.
Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй - результат сравнения первого признака со вторым, в третьей - результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором - единицу, в третьей - сравнение второго признака с третьим и т.д.
Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу, не провоцировать эксперта вычислять одну половину таблицы по другой, чтобы уменьшить число операций, целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы:
После ряда математических преобразований мы получаем оценки каждого признака А 1 , А 2 , … ,А n с точки зрения данного эксперта. Суммарные оценки признаков получаются путем идентичной обработки суммарной матрицы, каждый элемент которой есть сумма сравнений признаков, данных всеми экспертами.
Суммарная матрица имеет вид
m - число экспертов, оценивающих данный набор признаков;
- оценки соответственно 1, 2, …, j, …, m экспертов;
Суммарные оценки, данные всеми экспертами.
Определяя дисперсию суммарной матрицы и сравнивая её с максимально возможной дисперсией матрицы с таким же числом элементов, можно определить согласованность мнений экспертов. Чем ближе дисперсия суммарной матрицы к максимально возможной дисперсии, тем выше согласованность мнений. Таким образом, метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.
Число экспертов, требуемое для оценки определенной совокупности признаков методом парных сравнений, в два раза больше, чем при использовании метода простой ранжировки, и в два раза меньше, чем при методе последовательных сравнений.
В настоящее время во многих методах проведения экспертных оценок предлагается в качестве показателя компетентности эксперта коэффициент:
, (2.6)
где- коэффициент компетентности эксперта;
Коэффициент степени знакомства эксперта с обсуждаемой проблемой;
Коэффициент аргументированности.
Коэффициент степени знакомства с направлением исследований определяется путем самооценки эксперта по десятибалльной шкале. Значения баллов для самооценки следующие:
0 - эксперт не знаком с вопросом;
1,2,3 - эксперт плохо знаком с вопросом, но вопрос входит в сферу его интересов;
4,5,6 - эксперт удовлетворительно знаком с вопросом, не принимает непосредственного участия в практическом решении вопроса;
7,8,9 - эксперт хорошо знаком с вопросом, участвует в практическом решении вопроса;
10 - вопрос входит в круг узкой специализации эксперта.
Эксперту предлагается самому оценить степень своего знакомства с вопросом и подчеркнуть соответствующий балл. Затем этот балл умножается на 0,1, и получаем коэффициент.
Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для определенной оценки. Коэффициент аргументированности предлагается определить в соответствии с таблицей 2.2 путем суммирования значений, отмеченных экспертом в клетках этой таблицы.
Определив коэффициент компетентности, умножают на него значение оценок экспертов.
Таблица 2.2 Значения коэффициента аргументированности
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
1. Краткая характеристика экспертных методов
Современная экономика предъявляет новые, более высокие требования к управлению. Вопросы совершенствования методов управления приобретают сейчас очень важное значение, поскольку именно в этой сфере имеются еще большие резервы роста эффективности народного хозяйства. Существенным фактором повышения научного уровня управления является применение при подготовке решений математических методов и моделей. Однако, полная математическая формализация технико-экономических задач часто неосуществима вследствие их качественной новизны и сложности.
В связи с этим все шире используются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений. Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании.
Сущность экспертных методов, как при решении задач исследования систем управления, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.
Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения товара на рынок. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, так и для целей прогнозирования.
Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.
Функции экспертных оценок в системе управления:
Прогноз тенденций развития тех или иных объектов управления и возможных сбоев в управляющих подсистемах, возникновения новых субъектов в формировании систем управления;
Обоснование построения модели объекта прогнозирования. Методы экспертных оценок - одна из групп методов научно-технического прогнозирования, базирующаяся на предположении, что на основе мнений экспертов возможно построить адекватную модель объекта прогнозирования;
Оценка степени достоверности данных, полученных в результате исследования, когда на процесс исследования естественным образом влияют субъективные факторы. Например, выводы по любому социально-экономическому исследованию могут быть сделаны на фактах, деформированных социальной концепцией исследователя;
Оценка степени полноты и объективности информации, получаемой управляющей системой от объекта управления, а также обоснованности информации (решений), поступающей на вход в объект управления от управляющей системы;
Оценка конкретных альтернативных путей развития или объекта управления, или управляющей системы, или обеих систем вместе;
Аттестация конкретных элементов управляющей системы и объекта управления на предмет их соответствия функциям, для которых они созданы.
Наиболее распространенными экспертными методами при в настоящее время при принятии решений по управлению являются следующие:
Метод рангов;
Метод непосредственного оценивания;
Метод сопоставлений.
Последний метод включает две его разновидности: парного сравнения и последовательного сопоставления.
В принципе каждый из них имеет много общего, а отличие, в основном, только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.
Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:
Организацию экспертного оценивания;
Проведение сбора мнений экспертов;
Обработку результатов мнений экспертов.
По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.
Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов системы управления. Достоинством метода рангов является его простота. Недостатками являются:
Невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;
Не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.
Данный метод применяется в практике исследования систем управления, несмотря на свою простоту, довольно редко.
Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный», и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).
Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.
Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.
При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.
В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.
В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.
Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.
Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.
Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.
Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.
Общность экспертных методов заключается в последовательности проведения процедур их использования. К ним следует отнести организацию экспертного оценивания, проведение сбора мнений экспертов и обработку полученных результатов.
Для общего руководства экспертными работами назначается председатель экспертной комиссии. В ее составе организуют две группы -- рабочую и экспертную.
В подчинении руководителя рабочей группы находятся технические работники, отвечающие за техническую сторону подготовки материалов к работе экспертов, обработку полученных результатов и т. п., а также специалисты по решаемым вопросам. Формирование экспертной группы осуществляет руководитель (организатор) рабочей группы. При этом выполняется ряд последовательных мероприятий:
Постановку проблемы и определение области деятельности группы;
Составление предварительного списка экспертов - специалистов в рассматриваемой области деятельности;
Анализ качественного состава предварительного списка экспертов и уточнение списка;
Получение согласия эксперта для участия в работе;
Составление окончательного списка экспертной группы.
Число экспертов в группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, имеющихся возможностей и т.п.
Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:
Оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по проблемам оргпроектирования;
Коллективная оценка кандидата в эксперты как специалиста в данной области;
Самооценка кандидата в эксперты;
Аналитическое определение компетентности кандидатов в эксперты.
Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные. Каждая из этих форм имеет разновидности: анкетирование, интервьюирование, дискуссия, мозговой штурм, совещание, деловая игра. Во многих случаях управления качеством они используются совместно, что дает больший эффект и объективность.
Методы экспертных оценок можно разделить на две группы: методы коллективной работы экспертной группы и методы получения индивидуального мнения членов экспертной группы.
Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.
Методы коллективной работы включают методы «мозговой атаки», «сценариев», «деловых игр», «совещаний» и «суда».
Метод «мозговой атаки». Методы этого типа известны также под названием коллективной генерации идей, мозгового штурма, дискуссионных методов. Все эти методы основаны на свободном выдвижении идей, направленных на решение проблемы. Затем из этих идей отбираются наиболее ценные.
Достоинством метода «мозговой атаки» является высокая оперативность получения требуемого решения. Основным недостатком его - сложность организации экспертизы, так как иногда невозможно собрать вместе требуемых специалистов, создать непринужденную атмосферу и исключить влияние должностных взаимоотношений.
Метод «сценариев» представляет собой совокупность правил по изложению в письменном виде предложений специалистов по решаемой проблеме. Сценарий представляет собой документ, содержащий анализ проблемы и предложения по ее реализации. Предложения вначале пишут эксперты индивидуально, а затем они согласуются и излагаются в форме единого документа.
Основным преимуществом сценария является комплексный охват решаемой проблемы в доступной для восприятия форме. К недостаткам можно отнести возможные неоднозначность, нечеткость излагаемых вопросов и недостаточную обоснованности отдельных решения.
«Деловые игры» основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.
Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.
Метод «совещаний» («комиссий», «круглого стола») - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода «мозговой атаки» каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.
Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.
Метод «суда» является разновидностью метода «совещаний» и реализуется по аналогии с ведением судебного процесса. Метод «суда» целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.
Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы «Дельфи».
Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.
Метод «Дельфи» представляет собой итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.
Процедура метода включает несколько последовательных этапов опроса.
На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются, и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений.
На втором - вся информация сообщается экспертам, и их просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Новые оценки вновь обрабатываются, и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются, и необходимо прекращать процедуру.
Достоинством метода «Дельфи» является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.
Таким образом, можно сделать вывод, что экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.
экспертный оценка метод управление
2. Обработка данных, полученных экспертным методом
После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.
Обработка собранных мнений (данных) экспертов проводится как количественно (численные данные), так и качественно (содержательная информация). При обработке используются различные способы. При наличии численных данных для решения вопросов, обеспеченных достаточным информационным материалом, применяются методы усреднения экспертных суждений. Однако даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу, наряду с количественными методами обработки экспертных данных, используются методы качественного анализа и синтеза.
Наличие, как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.
Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.
При применении рассмотренных экспертных методов (рангов и др.) мнения экспертов часто не совпадают, поэтому необходимо количественно оценить меру согласованности мнений экспертов и определить причины несовпадения суждений. Мера согласованности, естественно, устанавливается па основе статистических данных всей группы экспертов. Для оценки данной меры используются коэффициенты конкордации, которые рассчитываются по формуле
где С -- сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, т. е.
где -- средняя сумма рангов;
Аij -- оценка (в баллах), данная i-му объекту j-м экспертом.
К-эксперты, Н-объекты.
Коэффициент конкордации может быть в диапазоне 1>W>0. При W=0 согласованность мнений экспертов отсутствует, а при W=1полная. Обычно считается, что согласованность вполне достаточна при W>0,5.
Рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона Х^2 с определенным уровнем значимости B -Максимальной вероятностью неправильного результата работы экспертов. Обычно значимость достаточно задавать в пределах 0,005 --0,05
В случае получения расчетной величины Х^2расч больше табличной(с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.
В случае определения несогласованности линий экспертов по коэффициентам конкордации и при соответствующей проверке его величины по критерию Пирсона экспертные опросы следует повторить.
Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.
Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание уделяется методам обработки результатов экспертизы для этого класса проблем.
В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:
1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;
2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;
3) определение относительных весов объектов;
4) определение согласованности мнений экспертов;
5) определение зависимостей между ранжировками;
6) оценка надежности результатов обработки.
Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.
При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.
Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.
Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, которые строятся по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами -- средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.
Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.
Таким образом, обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.
Список используемой ли тературы
1. Василевская И.В. Управление качеством: Учебное пособие / И.В. Василевская. - М.: ИЦ РИОР, 2011. - 112 c.
2. Виханский О.С., Наумов А.И. Менеджмент: Учебник. - 3-е изд. - М.: Экономистъ, 2004. - 528с.: ил.
3. Гительман Л.Д. Преобразующий менеджмент.- М.: Дело, 1999. - 412с.
4. Игнатьева А.В. Исследование систем управления. - М.: ЮНИТИ - ДАНА, 2000. - 156с.
5. Коротков Э.М. Исследование систем управления: Учебник. - М.: ДеКа, 2003. - 264с.
Размещено на Allbest.ru
Понятие "эвристика" и "эвристический метод". Эвристический метод принятия управленческих решений решения, его особенности. Специфика метода "мозговой атаки", его достоинства и недостатки. Анализ и оценка выдвинутых идей с помощью "мозгового штурма".
реферат , добавлен 07.03.2015
"Мозговая атака" - метод раскрепощения и активизации мышления. Один из наиболее известных и применяемых методов поиска идей путем творческого сотрудничества группы специалистов. Исследование метода "мозговой атаки" при анализе работы пищевого предприятия.
контрольная работа , добавлен 03.09.2010
Применение основных методов на этапе определения альтернатив на практике. Сущность управленческих решений: особенность и эффективность методов. Понятие метода "мозговой атаки". Применение метода "мозговой атаки" на предприятии ОАО "Вимм-Билль-Данн".
курсовая работа , добавлен 20.12.2013
Усовершенствование методик группового принятия решений. Содержание метода экспертных оценок Дельфи. Работа с экспертными оценками, их статистическая обработка. Экспертные оценки вероятности события, их расхождение. Характер взаимодействия экспертов.
курсовая работа , добавлен 21.01.2015
Мозговой штурм, как креативный метод решения задач, стимулирует активность и интуитивное мышление людей в процессе поиска идей. Процесс принятия решения методом мозгового штурма, его достоинства и недостатки. Модификации метода мозгового штурма.
реферат , добавлен 15.05.2008
Анализ метода организации коллективной мыследеятельности: мозговой штурм и метод Дельфи. Содержание методов Дельфи и мозговой атаки. Составляющие внутреннего содержания этих методов. Исторический экскурс по возникновению и развитию, процесс проведения.
контрольная работа , добавлен 20.02.2011
Анализ основ управления организацией. Управленческие решения как главный компонент управления на ООО "СтройБел". Эффективность методик принятия решений в организации и мероприятия по их совершенствованию. Основная структура метода "мозговой атаки".
курсовая работа , добавлен 28.03.2016
Разработка гипотезы исследования системы управления. Исследование управления посредством социально-экономического экспериментирования. Тестирование, имитационное моделирование, факторный анализ, экспертные оценки в исследовании систем управления.
реферат , добавлен 31.01.2010
Характеристика экспертных процедур: особенности эвристических методов и моделей, методов индивидуальных оценок, коллективных экспертных оценок. Специфика проведения экспертизы, содержание и обработка результатов. Экспертная оценка уровня странового риска.
реферат , добавлен 10.05.2010
Суть форсайта как метода долгосрочного прогнозирования. Методы прогнозирования, применяемые в форсайтах. Критические технологии, экспертные панели. Особенности корпоративного форсайта. Применение метода корпоративных технологических "дорожных карт".
1.4. Пороговые значения определяются на основании мнений групп экспертов.
Достоинство метода – простота и гибкость, так как процедура оценки позволяет анализировать разнородные показатели и в любом количестве.
Однако результаты оценки во многом зависят от квалификации и опыта оценщика. Поэтому определяющим моментом и главной проблемой данного метода является отбор компетентных сотрудников и/или поиск экспертов, которым будет поручена оценка потенциала.
Экспертный метод - это комплекс логических и математико-статистических методов и процедур, связанных с деятельностью экспертов по переработке необходимой для анализа и принятия решений информации.
В практической деятельности по изучению и прогнозированию спроса метод экспертных оценок может быть использован для решения следующих задач: 1) Разработка средне- и долгосрочных прогнозов групповой структуры спроса на товары народного потребления. 2) Прогнозирование внутригрупповой (в развернутом ассортименте) структуры спроса на предстоящий хозяйственный год. 3) Определение групп потенциальных потребителей. 4) Оценка величины неудовлетворенного спроса по группам, видам и разновидностям товаров.
Эксперт – это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.
Как сформировать группу экспертов? На самом первом этапе отбора в качестве критериев целесообразно использовать два признака: род занятий и стаж работы по интересующему нас профилю. При необходимости учитываются также уровень, характер образования, возраст. Центральный среди критериев отбора экспертов – их компетентность. Для определения применимы, с той или иной степенью точности, два метода: самооценка экспертов и коллективная оценка авторитетности экспертов.
Наиболее простая и удобная форма самооценки экспертов – совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями “высокий”, “средний” и “низкий”. При этом первой позиции присваивается числовое значение “1”, второй – “0,5”, третий – “0”. В таком случае совокупный индекс – коэффициент уровня компетентности эксперта вычисляется по формуле.
Коэффицент уровня компетентности колеблется в интервале от 0 до 1. Обычно в группу экспертов принято включать тех, у кого индекс компетентности не менее среднего 0,5 и выше –1.
Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они иеют представление друг о друге как специалисты. Такая ситуация характерна для учёных, творческих деятелей, политииков, эономистов.
Прогноз. В нём наиболее наглядно проявляется отличие экспертной оценки от информации, получаемой в результате массового опроса. Оно заключается в стремлении к согласованности, единообразию суждений и оценок, высказываемых эспертами. Действительно, взможно ли использовать дя пракических целей, скажем, мнение тидцати экспертов, если они включают 5-7 взаимоисключающих прогностических оценок? Далее достоверность данных в массовом опросе как и некоторых среднестатистических показателей тем выше, чем больше совокупность опрошенных. В принципе прогностическая экспертная оценка осуществима для любых социальных процессов и явлений.
В прикладной социологии разработан ряд приёма опросов экспертов, используемых для получения прогностической оценки. При этом уместно заметить, что некоторые технические и методические приёмы, широко используемые в массовых опросах, теряют свою значимость при опросе такой спецефической аудитории, как эксперты. Как правило, массовые опросы носят анонимный характер. В экспертных опросах это теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решаются в ходе исследования с их помощью. Поэтому нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приёмы, имеющие своей целью выявить “скрытые” позиции респондента. Более того, использование таких приёмов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова – активный участник научного исследования. И попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.
Основной инструментарий экспертного опроса – анкета или бланк-интервью, разработанные по специальной программе.
В отличие от массового опроса, программа прогнозированного опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее прогнозу явление, предусматривается в виде гипотиз возможные варианты его исхода.
Весьма часто применяется в прикладной социологии и такой метод экспертного прогноза, как “дельфинийская техника”. Он заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Такой цикл содержит в себе 3-4 прохода. В ходе подобной процедуры вырабатывается оценка, но при этом исследователь, конечно, не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.
Оценка степени достоверности результатов массовых опросов. В процессе выработки управленческих решений при помощи социологических исследований зачастую возникает вопрос о достоверности массового исследования и соответственно о правомерности сформулированных на их основе выводов. Словом, речь идёт об оценки компетентности мнений, высказанными респондентами.
Для этого составляется анкета эксперта, включающая в основном закрытые вопросы, по структуре идентичные вопросам, сформулированным в анкете репондента. Задача эксперта – с учётом объективной ситуации и интересующих исследователя факторов всказать по поставленным вопросам непредвзятую, весторонне взвешенную оценку.
Аттестация членов коллектива. В последние годы в практике исследования состояния идейно-воспитательной работы широко применяется такая разновидность метода экспертной оценки, как аттестация. При этом в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия.
ЭТАПЫ:
1. Постановка задачи
2. Технология организации экспертного анализа
3. Формирование экспертной комиссии
4. Организация экспертного опроса
5. Формальные методы описания предпочтений объектов
6. Формальные методы определения предпочтений
7. Математические методы обработки результатов экспертизы
8. Оценка согласованности экспертов
В процессе управления производственной системой непрерывно возникают ситуации, когда руководители различных уровней (от мастера до министра) сталкиваются с необходимостью выбора какого-либо одного из нескольких возможных вариантов действий. Выработка и принятие решения – узловая процедура в деятельности руководителя, которая определяет весь дальнейший ход процесса управления, в особенности конечный результат управленческой деятельности.
Многие факторы, определяющие или влияющие на выбор решения, по своей природе не поддаются количественной характеристике, другие - практически не могут быть измерены. Все это сделало необходимой разработку специальных методов, облегчающих выбор управленческих решений в сложных технических, организационных, экономических задачах (методы исследования операций, экспертные оценки и др.).
1.4. Ранжирование как метод коллективных экспертных оценок . Суть процедуры заключается в следующем: экспертам (специалистам в исследуемой области) предлагается провести ранжирование (расположение явлений в порядке возрастания (убывания) значимости) некоторых явлений (ценообразующих факторов). При этом каждому явлению (фактору) присваивается свой ранг (порядковое место явления (фактора) в общей последовательности факторов). Ранги принято обозначать порядковыми числами натурального ряда (1, 2, 3, 4 ……). При этом ранг 1 присваивается наиболее значимому фактору.
Сумма рангов, проставленных экспертом по всем факторам может быть вычислена по следующей формуле:
ri – ранг, поставленный i-ому фактору;
m – число исследуемых явления (факторов).
Суммы рангов проставленных каждым экспертом должны быть равны. Если же эксперт присваивает двум (трем и так далее) различным явлениям одинаковые ранги, т.е. считает два явления (фактора) равнозначными (связанные ранги), то суммы рангов проставленные каждым экспертом не будут совпадать
что в свою очередь не позволить произвести дальнейшие расчеты.
Для избежания нарушения выше представленного равенства, оценщику, проводящему экспертизу, необходимо произвести пересчет таких рангов, в так называемые стандартизированные ранги. Расчет осуществляется путем деления суммы мест, занимаемых связанными рангами, на их число. Пример расчета представлен в таблице 1.
В итоге мы получаем нормальную ранжировку, для которой выполнено основное условия ранжирования (1).
Далее по каждому явлению подсчитывается сумма рангов, проставленных каждым экспертам. Явлению (фактору), который получил наименьшую сумму рангов, присваивается соответственного ранг 1 и т.д. Если на данном этапе для некоторых явления суммы рангов совпадут, то необходимо снова произвести процедуру стандартизации рангов, но уже по рангам, полученным путем суммирования оценок экспертов. Пример ранжирования представлен в таблице 2. Необходимо отметить, что число экспертов (d) должно быть как минимум на 1 больше, чем число исследуемых факторов (m).
| Факторы | ||||||||
| Эксперт | сумма | |||||||
| Стандартизированные ранги | ||||||||
| 3,5 | 3,5 | |||||||
| 4,5 | 4,5 | |||||||
| 4,5 | 4,5 | |||||||
| Сумма рангов (r1) | 23,5 | 31,5 | ||||||
| Ранги факторов (R) | ||||||||
| Стандартизированные итоговые ранги | 1,5 | 1,5 | 6,5 | 6,5 |
Получение рангов позволяет произвести дальнейшие расчеты весовых коэффициентов для каждого ценообразующего фактора при проведении корректировок в квалиметрических моделях и других методах сравнительного подхода. Однако окончательный вывод о возможности использования коллективного мнения экспертов возможно после определения согласованности мнений экспертов. Проверку согласованности мнений осуществляют с помощью коэффициента конкордации (согласия). Расчет коэффициента осуществляет по следующей формуле:
где,
m – количество оцениваемых факторов;
d – число экспертов;
Ri – сумма рангов по i-ому фактору (явлению);
Чем ближе значение коэффициента к 1, тем выше согласованность. Приемлемость полученных экспертных оценок определяется путем сравнения критерия значимости x2факт=d*(m-1)*W с табличным значением x2табл. при степенях свободы (m-1) и заданной вероятностью (например: Pо = 0,05, P=1-Po). Если полученное расчетным путем значение равно или выше табличного, то коэффициент конкордации существенен и с надежностью 0,95, мнения экспертов согласованны. Табличные значения критерия значимости представлены в таблице 3.
| m-1 | P0 | m-2 | P0 | ||||
| 0,05 | 0,01 | 0,001 | 0,05 | 0,001 | |||
| 3,84 | 6,63 | 10,83 | 26,3 | 39,25 | |||
| 5,99 | 9,21 | 13,81 | 27,59 | 33,41 | 40,79 | ||
| 7,81 | 16,27 | 28,87 | 34,8 | 42,31 | |||
| 9,49 | 13,28 | 18,46 | 30,14 | 36,19 | 43,82 | ||
| 11,07 | 15,09 | 20,52 | 31,41 | 37,57 | 45,31 | ||
| 12,59 | 16,81 | 22,46 | 32,67 | 38,93 | 46,8 | ||
| 14,07 | 18,47 | 24,32 | 33,92 | 40,29 | 48,27 | ||
| 15,51 | 20,09 | 26,12 | 35,17 | 41,63 | 49,73 | ||
| 16,92 | 21,67 | 27,88 | 36,41 | 42,98 | 51,18 | ||
| 18,31 | 23,21 | 29,59 | 37,65 | 44,31 | 52,62 | ||
| 19,67 | 24,72 | 31,26 | 38,88 | 45,64 | 54,05 | ||
| 21,03 | 26,22 | 32,91 | 40,11 | 46,96 | 55,48 | ||
| 22,37 | 27,69 | 34,53 | 41,34 | 48,28 | 56,89 | ||
| 23,68 | 29,14 | 36,12 | 42,56 | 49,59 | 58,3 | ||
| 30,58 | 37,7 | 43,77 | 50,89 | 59,7 |
x2факт= 44,016 > x2табл.= 12,59
Таким образом, мнения экспертов, приведенные в нашем примере, достаточно согласованны и могут быть использованы в дальнейших расчетах.
Весовой коэффициент каждому фактору может быть присвоен с помощью следующей формулы:
ri – итоговый ранг фактора.
В нашем примере веса распределились бы следующим образом (таблица 4).
| Факторы | ||||||||
| сумма | ||||||||
| Ранг | 1,5 | 1,5 | 6,5 | 6,5 | ||||
| Вес | 0,232 | 0,179 | 0,143 | 0,232 | 0,107 | 0,054 | 0,054 |
Представленный способ распределения весов не претендует на объективность, и обладает рядом недостатков, в частности: распределение весов основано на ранжирование факторов, что в свою очередь позволяет распределить факторы только с заданным интервалом, т.е. метод дает ответ, что фактор «А» важнее чем «Б», а «Б» важнее чем «С». Однако, согласно этому фактор «А» в два раза важнее чем фактор «С», что может не соответствовать действительности.
