§ 8.5. Особенности анализа ДТП методами экспертного опроса

Методы экспертных оценок используются для анализа объектов и проблем, не поддающихся достаточно точному математическому описанию, т. е. для которых трудно или невозможно разработать адекватную модель. Таковы задачи анализа аварийности - установление причин возникновения ДТП, прогнозирование аварийности, оценка эффективности (или хотя бы значимости) планируемых и проведенных мероприятий и другие задачи. Ясно, что использование математических методов позволяет лучше понимать происходящие процессы, но для принятия окончательного решения результатов формально проведенных расчетов почти всегда недостаточно. Как правило, для принятия решения необходима уверенность, подтверждаемая коллективным мнением специалистов.

В наиболее простом виде методы экспертных оценок выражаются в коллегиальности принятия решения: работник ГАИ при оформлении первичных документов указывает свое мнение о причине возникновения ДТП, следователь в ходе расследования подтверждает, а суд своим постановлением узаконивает. Так, может быть установлена причина возникновения конкретного дорожно-транспортного происшествия, но эта процедура не может служить научным инструментом анализа сложных проблем.

Существует несколько особенностей, которые отличают метод экспертных оценок от обычной экспертизы [5]:

• подготовка специального документа, в котором четко формируется цель опроса, обосновывается его необходимость, указываются сроки и исполнители;
• подбор и обоснование количественного и персонального состава экспертов, анализ их компетентности;
• разработка методики опроса, имея в виду подготовку опросных документов, определение места, времени, процедуры проведения опроса, порядок фиксации и сбора результатов опроса;
• опрос экспертов;
• обработка данных опроса, определение сроков, процедур, алгоритмов и методов обработки;
• подготовка заключительного документа с выводами и предложениями.

Рассмотрим подробнее наиболее важные этапы подготовки и проведения опроса.

Определение цели экспертного опроса. Практика показывает, что отсутствие четко сформулированной цели опроса редко приводит к получению надежных результатов.

Пример.Экспертам было предложено оценить эффективность различных мероприятий по предупреждению ДТП на индивидуальном автомототранспорте. При обработке результатов выявилось значительное расхождение мнений экспертов относительно эффективности большинства мероприятий. Изучение причин такого расхождения показало, что одни эксперты давали оценку эффективности в предположении о полной реализации мероприятия, а другие учитывали реальные возможности и полагали невозможной полную реализацию мероприятий. После этого были сформулированы две цели опроса: оценить эффективность мероприятий при условии их реализации и оценить возможность реализации. Согласие мнений экспертов в этом случае оказалось гораздо выше.

Выбор цели опроса в значительной мере определяется предполагаемыми конечными результатами. В большинстве случаев опрос представляет собой проверку некоторой предварительной гипотезы (или набора гипотез).

Составление анкеты (опросного листа). Обычно опрашиваемым экспертам предлагается ряд конкретных вопросов, которые оформляются в виде анкеты (опросного листа). По своему содержанию в анкету обычно включают две группы вопросов: объективные данные о самом эксперте и вопросы, касающиеся существа анализируемой проблемы.

В качестве объективных данных фиксируют возраст, образование, стаж работы, профессию и т. д. При опросах по проблемам ОБДД обычно существенными оказываются такие сведения об экспертах, как-управляет ли он сам автомобилем и в течение какого срока, его пол, место жительства и некоторые другие сведения.

Объективные данные позволяют иногда выявить причину особого мнения одного или группы экспертов. Например, эксперты, лично управляющие автомобилями, могут иметь согласованное мнение, отличающееся от мнения другой группы, которая пользуется общественным транспортом.

Основные вопросы по форме могут быть открытыми и закрытыми.

Вопрос называется открытым, если ответ на него ничем не регламентирован, и закрытым, если эксперту предлагается выбрать один из заранее подготовленных ответов. Достоинство открытых вопросов заключается в том, что они позволяют выявить новые, неожиданные аспекты изучаемой проблемы. Однако такие ответы практически не поддаются количественной обработке. Поэтому наиболее часто предлагается комбинированный метод, когда эксперт должен выбрать один из готовых ответов, но ему предоставляется возможность изложить и свое особое мнение.

Существует несколько основных способов подготовки закрытых вопросов, которые соответственно определяют и методы обработки результатов опроса.

1. Ответы на вопрос готовятся по так называемой номинальной шкале, когда различные варианты между собой не связаны и не соотносятся друг с другом. В простейшем случае перечень возможных ответов исчерпывается альтернативой да - нет.

Наиболее часто необходимость такого вопроса возникает, когда необходимо выбрать одно из нескольких альтернативных решений или когда требуется определить принадлежность различных объектов к различным классам.

Примерами использования номинальной шкалы может служить указание вида дорожно-транспортного происшествия или вида нарушений Правил дорожного движения.

2. Возможные ответы на вопрос формулируются таким образом, что эксперту предлагается проранжировать, упорядочить различные объекты.

Ранжирование наиболее часто применяют:

• когда необходимо упорядочить какие-либо явления по времени или в пространстве (например, в какой очередности проводить мероприятия, где в первую очередь устанавливать светофорные объекты и т. п.);
• когда надо упорядочить объекты в соответствии с каким-либо качеством, но при этом не требуется его точное измерение (например, распределить места по итогам работы по предупреждению ДТП - см. § 6.5).

В зависимости от вида соотношений и сложности объектов возможны различные варианты упорядочения объектов.

В простейшем случае эксперту предлагается просто "в лоб" приписать всем возможным альтернативам ранги с первого по последний. При этом ранг 1 получает наиболее предпочтительная альтернатива, а последний - наименее предпочтительная.

Эксперт не всегда бывает в состоянии указать порядок следования Для двух или нескольких объектов, поэтому в опросном листе должна быть предусмотрена возможность указания одинаковых рангов эквивалентным объектам.

Обработка результатов ранжирования исключительно проста - первый ранг (наивысший) присваивают объекту, получившему наименьшую сумму рангов и т. д.

Точность и надежность результатов ранжирования в значительной мере зависят от числа объектов. Как показывает опыт, при числе объектов, большем 15-20, эксперты затрудняются в построении ранжированного ряда и допускают существенные ошибки.

3. Трудности ранжирования большого числа объектов можно уменьшить, если предложить экспертам сравнивать объекты попарно. Предпочтение одного объекта над другим (лучше или хуже, относится объект к данному классу или не относится и т. д.) представляет собой гораздо более простую задачу, поэтому метод парных сравнений находит широкое применение на практике.

Таблица 8.2. Фрагмент опросного листа для парных сравнений

Наглядным примером метода парных сравнений может служить спортивное соревнование, проводимое по круговой системе. Каждый встречается с каждым. За победу даются два очка, за поражение - ноль и за ничью - одно. По сумме набранных очков определяются места - проводится ранжирование. Обычно опросный лист для парных сравнений оформляют в виде таблицы (см. табл. 8.2). Однако существуют процедуры, когда ранжирование можно осуществить и по неполным данным - когда не все объекты сравнивались между собой.

4. Еще один путь преодоления трудностей ранжирования большого числа объектов - непосредственная оценка объектов или явлений по баллам. Задача эксперта заключается в том, чтобы каждому объекту, каждому явлению при-писать определенный балл. Обычно каждому эксперту разрешается давать одну и ту же оценку двум или нескольким объектам. Число разных баллов не обязательно может быть одним и тем же для каждого эксперта. Специальные методы обработки позволяют свести такие оценки к одной шкале 191. Наиболее часто, однако, фиксируют 5-, 10- и 100-балльную систему оценок. Иногда накладывают дополнительное ограничение, которое состоит в том, что важнейшему (с точки зрения эксперта) фактору всегда назначается высший балл, а оценка других факторов определяется относительно наиболее важного.

Достоинством метода непосредственной оценки по баллам является то, что он позволяет не только проранжировать факторы, но и сказать, насколько (или во сколько раз) один фактор важнее другого.

5. Для решения некоторых задач приходится задавать экспертам вопросы в так называемой абсолютной шкале измерений: на сколько процентов сократится аварийность при реализации данного мероприятия, сколько времени потребуется на реализацию мероприятия, и т. д.

Получение достоверных и надежных результатов по абсолютной шкале измерений может быть получено только при полной информированности экспертов о свойствах, особенностях происходящих процессов. К сожалению, эти условия в экспертном оценивании встречаются не часто и крайне редко удается получить достаточно удовлетворительные результаты по абсолютной шкале измерений.

Подбор экспертов. При формировании группы экспертов основными являются вопросы определения ее количественного и качественного состава. Отбор экспертов начинается с определения вопросов, которые предполагается включить в опросный лист. Для получения качественных результатов эксперты должны обладать такими качествами, как глубокие специальные знания в изучаемом вопросе, высокий уровень общей эрудиции, аналитичность и широта мышления, коллективизм, самокритичность и т. д.

Иногда для отбора экспертов используется предварительный анкетный опрос. Если в результате такого опроса по 10-балльной системе получены две оценки экспертов: оценка информированности К_и и оценка аргументированности К_а, то коэффициент компетентности К_к = ^{0,1 (К_и + К_а)}/₂.

Установить оптимальную численность экспертов довольно трудно. Ясно, что точность групповой оценки будет убывать, если уменьшить число экспертов. В то же время при большом числе экспертов трудно бывает выявить согласованное мнение экспертов, особенно если они обладают разной компетентностью.

Обычно предварительно оценивают требуемое число экспертов, а затем по результатам обработки результатов решают, следует ли расширить состав группы экспертов.

Существует несколько возможных оценок требуемого числа экспертов.

1. Пусть определена сумма коэффициентов компетентности К_Σ всех кандидатов в эксперты. Тогда максимальное число экспертов n_mах = 1,5 K_Σ.
2. Если задана допустимая ошибка ε оцениваемого параметра (в %), то минимально необходимое число экспертов:
   n_min = 0,5[(3*100/ε) + 5].
   Эту же формулу можно использовать и после проведения опроса, когда получена фактическая ошибка ε (см. § 4.3).
   
   Рис. 8.2. Зависимость минимального числа экспертов от допустимой ошибки
   
   
   График, отражающий взаимозависимость между допустимой ошибкой и минимальным числом экспертов, приведен на рис. 8.2.
3. Если есть предварительные сведения о том,какая доля экспертов предпочтет тот или иной ответ, то необходимое число экспертов можно оценить более точно. Пусть имеется k различных ответов и ожидается, что i ответ предпочтет p_i доля экспертов (в %). Тогда минимальное и максимальное число экспертов находят соответственно как минимум и максимум выражения ^{4p_i (1 - pi)}/₂₅. В частности, если все ответы предполагаются равновероятными, то p_i = ¹⁰⁰/_k и n = ^{1600 (k - 1)}/_k².

Следует отметить, что предположение о равновероятности является наихудшим и эта формула дает завышенные оценки числа экспертов. Например, при k = 2 при приблизительно равновероятных исходах необходимо 400 экспертов. Если же ожидаемые исходы соотносятся как 10 % и 90 %, то для получения достоверных результатов достаточно опросить 144 чел.

Проведение опроса. В зависимости от характера решаемой задачи и имеющихся возможностей опросы могут проводиться индивидуальным или групповым способом, очно или заочно.

Индивидуальный опрос обычно проводится либо анкетированием, когда эксперт самостоятельно заполняет опросный лист, либо интервьюированием, когда опросный лист заполняется в ходе беседы с лицом, производящим опрос. Одновременно может проводиться опрос нескольких экспертов, но в этом случае интервью грозит превратиться в дискуссию и есть реальная угроза потери самостоятельности.

Групповые способы изучения мнений экспертов, наоборот, предполагают коллективное обсуждение для выработки единого мнения. Групповой опрос проводится в форме дискуссий, совещаний или методом так называемого "мозгового штурма". При групповом опросе, как правило, опросных листов предварительно не разрабатывают, а готовят только план, процедуру проведения дискуссии или совещания. Коллективные методы опроса применяют главным образом в тех случаях, когда необходимо до каждого эксперта довести по возможности всю информацию, относящуюся к анализируемому явлению. Информация, которой располагает каждый эксперт, может помочь полнее уяснить существо проблемы и выработать правильное мнение.

Необходимо отметить, что обмен информацией может иметь и негативные последствия. Один или группа экспертов могут навязать свое мнение другим экспертам, что приведет к потере независимости мнений. Полное разрешение этого противоречия невозможно и при каждой экспертизе организаторам надо искать разумный компромисс. Один из выходов из этого положения - многотуровые опросы [5].

Обработка результатов. В зависимости от того, как были сформулированы вопросы, существуют различные методы обработки результатов экспертного опроса. Эти методы изложены в специальной литературе 19] и реализованы на ЭВМ в виде стандартных программ. Поэтому мы сейчас не будем останавливаться на формальной стороне проведения расчетов. Отметим только необходимость оценки согласованности мнений экспертов. Существует несколько количественных показателей, характеризующих согласованность мнений, и их расчет в процессе обработки результатов экспертного опроса является совершенно необходимым.

Следует иметь в виду, что сходимость оценок отдельных экспертов не всегда свидетельствует о точности опроса, поскольку возможны "коллективные заблуждения" в результате субъективного понимания исследуемой проблемы или неправильного подбора экспертов. Отсутствие ясности в отношении причин согласованности или несогласованности оценок может привести к неправильным выводам и оценкам.