Социология: методическая помощь студентам и аспирантам

Метод экспертных оценок

PDF Печать E-mail
Добавил(а) Социология   
16.01.11 18:41

Метод экспертных оценок

1. Определение метода экспортных оценок.
Метод экспертных оценок, называемый также экспертным опросом, в общем виде представляет собой опрос специалистов, компетентных в какой-либо, нужной исследователю области. Опрос таких лиц называется экспертным, а установленные в его ходе суждения респондентов о свойствах изучаемого явления - экспертными оценками.
Экспертная оценка — компетентное мнение, мнение эксперта по какой-либо из проблем, находящихся в сфере его компетенции.
Основные отличия экспертного опроса от массового состоят в следующем:
- количество респондентов в массовом опросе значительно больше, чем в экспертном;
- экспертный опрос не является анонимным;
- экспертный опрос отличается более сложным инструментарием;
- труд экспертов, в отличие от труда респондентов всегда оплачивается.

2. Отбор экспертов.
При определении конкретного состава экспертов надлежит руководствоваться не только и не столько компетентностью экспертов, сколько валидностью их заключений. Как свидетельствует опыт, нередки случаи, когда компетентность эксперта не дает адекватной валидности. Это объясняется многими обстоятельствами, в разной мере зависимыми от исследователя, организующего экспертный опрос и проводящего экспертизу.
Ряд этих обстоятельств имеет психологическое свойство. Эксперт с задатками лидера стремится к доминированию своих оценок, настаивая на них даже тогда, когда внутренне сомневается в их истинности. Человек конформистского склада ведет себя прямо противоположным образом, а конфликтогенный - склонен к оспариванию даже тех мнений других людей, с которыми по существу согласен. Большинству людей присуще смещать свои оценки в сторону нейтральной середины, а часть экспертов может быть заинтересована в преднамеренном искажении информации. Все это должно учитываться исследователем. '
Проведение отбора экспертов, как правило, осуществляется методом самооценки и определением коэффициента компетентности. Кандидатам раздаются карточки с тремя позициями оценки: К1 - высокая оценка- 1балл; К2 - средняя оценка - 0,5 балла; КЗ - низкая оценка - 0 баллов.
С их помощью, кандидаты оценивают свой уровень теоретических знаний, практический опыт и уровень прогностической компетентности. После ответов кандидатов, вычисляют коэффициент компетентности каждого по формуле К= (К1+К2+КЗ)/3 (образец карточки прилагается).
Слабость данного метода состоит в возможной неадекватности оценки.
Для подкрепления метода самооценки используют метод коллективной (взаимной) оценки. Однако следует заметить, что данный метод может применяться только в том случае, если эксперты знают друг друга в качестве специалистов. При использовании этого метода кандидатам предлагается список их «конкурентов» и ставится вопрос: «Кого бы Вы выбрали в качестве эксперта из предложенного списка?». Кроме того, в вопросе задается параметр выбора (Укажите ровно 25 человек).
На основании полученных данных строится таблица взаимных оценок. В случае, если результатов первой таблицы недостаточно для определения экспертов, необходимо построить уточненную таблицу взаимных оценок, (материал прилагается).
На основании метода самооценки и/или метода взаимной оценки отбирается нужное количество экспертов-респондентов, которым и предлагаются анкеты.

3. Интеграция экспертных оценок.
Интеграция экспертных оценок есть по сути дела совокупность приемов перевода количественного анализа этих оценок в качественный. Поэтому он, с одной стороны, невозможен без предварительного выявления количественных признаков мнений экспертов, с другой - принципиально отличен от их традиционно количественной интерпретации.
Интегрирование (согласование, комплексирование) экспертных оценок необходимо тогда, когда нужно: 
1) выработать научно обоснованное управленческое решение; 
2) сформулировать миниконцепцию, объясняющую новые явления и процессы, происходящие в изучаемом микросоциуме, и дающую основание для последующего теоретизирования.
Реализация интегрирования предполагает выполнение ряда исследовательских операций в следующей последовательности:
1. Установление мнений экспертов по исследуемой проблеме в заочной форме, то есть путем анкетирования, заполнения экспертами специальных документов (карт, бланков), изучение монитором (исследователем) докладных записок и иных материалов экспертного характера.
2. Шкалирование выявленных мнений экспертов, т.е. сопоставление показателей их отношения к предмету экспертизы либо по ранговой, либо по номинальной, либо метрической шкалам, или по некоторой совокупности этих шкал.
3. Согласование мнений экспертов по технике Делъфи, предусматривающей трех-шестикратное повторение заочных опросов экспертов и соответствующее число шкалирования их оценок. На каждом новом этапе опроса (интеграции) монитор информирует экспертов о результатах предыдущего опроса, сообщает им о мнении большинства и просит аргументировать свое мнение, т.е. его совпадение или расхождение с тем, которое претендует на господствующую роль. При этом на каждом этапе эксперту предлагается определить место своего мнения в заранее подготовленной шкале. Каждый этап завершается статистической обработкой полученных от экспертов шкал, исчислением средних арифметических показателей, медианы и квартилей, определением показателей разброса мнений, выявлением крайних мнений, т.е. особо отклоняющихся от оценок большинства. Типичных выразителей крайних мнений и господствующей оценки приглашают для участия в последующих процедурах интегрирования экспертных оценок.
4. Очное выяснение отношений экспертов к предмету экспертизы и разным вариантам решения обсуждаемой проблемы в групповой дискуссии. Она может проводиться как методами фокус-группы и «проблемного колеса», так и на основе иных способов активизации творческого мышления в группе - «мозговой штурм, синектика, ИПИД и т.п.
5. Ранжирование предложенных экспертами вариантов решения исследуемой проблемы, их упорядочивание по трем, как минимум, основаниям:
1) степени популярности, т.е. представленности в коллективном мнении экспертов;
2) мере реализуемости, возможности практического выполнения;
3) последствиям их реализации для тех социальных систем (и подсистем), в которых сложилась исследуемая проблема.
Эта исследовательская операция делается после и по итогам очного сопоставления мнений экспертов. Когда в исследовании применяются не одна, а несколько форм групповых дискуссий, возникает необходимость нескольких туров ранжирования, переплетения этой исследовательской операции с предыдущей. Данное ранжирование необходимо для выработки оптимального решения проблемы и последующего этапа интеграции оценок экспертов.
6. Синтезирование экспертных оценок в форме мини-теории, т.е. непротиворечивого научно доказательного объяснения изученного явления, его причин и тенденций изменения, возможностей влияния на него со стороны различных субъектов социальной жизни. Эта операция требует от исследователя солидной теоретической подготовки (ибо разработка мини-теории предполагает знание теорий более высокого уровня), аналитических навыков и научной достоверности. Она призвана обобщить все оценки экспертов, отразить не только достигнутый уровень их согласия, но и мнения, выпадающие из общей их картины.
Разработка такой мини-концепции необходима в двух отношениях: 
во-первых, в качестве одного из «кирпичиков», из которых строятся социологические теории «среднего», а затем и «большего» уровней; 
во-вторых, для завершения процедуры интегрирования экспертных оценок.
7. Комплексирование экспертных оценок - последняя исследовательская операция по интеграции мнений экспертов. Ее конечный результат -комплексная программа решения изученной проблемы (или несколько вариантов такой программы). Она должна логично вытекать из выше охарактеризованной мини-теории и содержать перечень мер, реализация которых обеспечит решение исследовательского вопроса.
Предлагаемые меры дифференцируются:
- на стратегические (важные и долговременные) и тактические (детализирующие первые);
- по времени исполнения (первоочередные, второочередные и т.п.);
- по затратам разнообразных ресурсов;
- по ожидаемому эффекту от этих затрат;
- по адресатам (организациям, персонам), могущим реализовать рекомендации;
- по другим основаниям, зависящим от характера проблемы и способов ее решения.
Как правило, экспертный опрос нацелен на уточнение гипотез, разработку прогноза и пополнение интерпретации определенных социальных явлений и процессов. В таких опросах доминируют открытые формулировки, а закрытые вопросы предназначены лишь для оценки уровня уверенности, меры согласия или несогласия с уже высказанными позициями других специалистов.
Выявление экспертных оценок необходимо при анализе наиболее существенных аспектов исследуемой проблемы, особенно в ситуациях дискуссионности их трактовок или фактического отсутствия определенности в их осмыслении наукой. В таких случаях метод экспертных оценок выступает в роли основного метода исследования, программа его проведения отражается в общей программе исследования. Если же данный метод играет вспомогательную роль, добавляя информацию к полученной иными методами, то исследователи обязаны составить особую (самостоятельную) программу его реализации. Главными ее компонентами будут формулировки, четко фиксирующие: а) проблемную ситуацию; б) терминологию экспертных оценок (путем операционализации общих понятий); в) гипотезы, выносимые на экспертизу; г) комплекс требований, на основе которых будет производиться подбор экспертов (критерии их компетентности); д) индикаторы, позволяющие измерять суждения экспертов; е) инструментарий этих замеров и первичной обработки данных; ж) правила проведения и сценарий экспертизы, т.е. процедуры согласования и интегрирования оценок экспертов.

Литература
1. Григорьев С.И., Растов Ю.Е. Основы современной социологии, М., 2002.
2. Учебный социологический словарь/Под редакцией С.А.Кравченко. М., 1999.
3. Ядов В.А. Стратегия социологического исследования, М.,2001.

 
Понравился ли Вам сайт
 

Яндекс цитирования

Союз образовательных сайтов
Home Главная Учебники по социологии и не только Словарь социолога Метод экспертных оценок