Экспертная оценка качества или качественная оценка экспертов. Методы оценки качества экспертов

В образовательном сервисе

, аспирант , *****@***ru,

ФГОУВПО «Российский государственный университет туризма и сервиса», г. Москва

Success of information system depends significantly on the quality of its functioning, however it is not always possible to define it by the settlement-analytical method. In the article quality questions with reference to information systems of high school are considered. Methodological conditions of an estimation of the quality by means of an expert method are considered. The technology and model of calculation of indicators of an expert estimation of the quality are developed.

Успешность информационной системы в значительной мере зависит от качества ее функционирования, однако не всегда возможно определить его расчетно-аналитическим методом. В статье рассматриваются вопросы качества применительно к информационным системам вуза. Рассмотрены методологические условия оценки качества с помощью экспертного метода. Разработаны технология и модель расчета показателей экспертной оценки качества.

Key words : Quality of information systems, expert estimation, educational service

Ключевые слова : качество информационных систем, экспертная оценка, образовательный сервис

Эффективность информационных систем (ИС) в значительной мере определяется оценкой качества на всех стадиях их жизненного цикла . Особую значимость составляет задача оценки качества функционирования информационных систем в образовательном сервисе, например, в вузовской сфере. Существует несколько направлений в оценке качества, в частности, эвристический, расчетно-аналитический и экспертный. В практике экспертной оценки качества, в частности при экспертной оценке потребительских свойств продукции в основном применяются комплексная и оперативная экспертизы . Однако пока нет методик экспертной оценки качества функционирования информационных систем вуза.

Комплексная экспертиза проводится для всестороннего изучения и оценки качества информационных систем серийно. В связи с этим при экспертизе реализуют системный, комплексный подход к анализу и оценке функционирования ИС. При комплексной экспертизе необходимо получить не только более полную характеристику оцениваемой конкретной ИС, но также и определенный научный, методический и нормативный материал , используемый при проведении оценки качества ИС достаточно широкого класса и назначения.

Оперативная экспертиза основывается на данных, полученных при проведении предшествующих комплексных экспертиз. Этот прием позволяет существенно сократить объем и сроки экспертных работ при достаточной глубине и обоснованности экспертных заключений.

При экспертном методе оценку уровня качества или показателя того или иного свойства ИС можно определить в безразмерных единицах. В случае если результат оценки (экспертного измерения) качества эксперты представляют в виде ранжированного ряда, то численное определение оценок экспертов состоит в следующем.

1. Все объекты оценки (информационная система, ее компоненты, свойства) нумеруются произвольно.

2. Эксперты ранжируют объекты по шкале порядка.

3. Ранжированные ряды объектов, составленные экспертами, сопоставляются.

Пример . Пусть пять экспертов о семи объектах экспертизы Q составили такие ранжированные ряды по возрастающей шкале порядка:

эксперт № 1 –

эксперт № 2 –

эксперт № з –

эксперт № 4 –

эксперт № 5 –

Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до t. В нашем примере t=1.

4. Определяются суммы рангов каждого из объектов экспертной оценки. В рассматриваемом примере они таковы:

https://pandia.ru/text/78/318/images/image007_78.gif" width="85" height="85 src="> (1) ,

где n – количество экспертов; m - число оцениваемых показателей;

https://pandia.ru/text/78/318/images/image009_66.gif" width="334" height="125 src=">.

Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объект лучше или хуже других, но и на сколько.

Если ранжирование объектов по их качеству осуществлять в табличной форме, то сопоставления и расчеты численных значений экспертных оценок производятся по следующей методике.

Во-первых, составляется таблица, по которой каждый эксперт осуществляет сопоставление и оценку рассматриваемых объектов. При этом каждый i-й объект сопоставляется с другими j-ми объектами сравнения. Если при попарном сопоставлении i-и объект признается лучше j-го, то это условие обозначается цифрой 1, противоположная оценка обозначается -1, а равнокачественные объекты отмечаются в таблице цифрой 0 (ноль).

В таком случае сопоставительная таблица оценок одного эксперта, например, шести ИС, как объектов исследования, будет иметь следующий вид.

Оценки эксперта по объектам

Объект j

Из этой таблицы видно, что предпочтительные оценки данного эксперта получили ИС в такой последовательности: № 5, № 3 и № 1. Предпочтительным в данном случае является ИС № 5.

Данные о предпочтениях всех экспертов группы суммируются и рассчитываются обобщенные предпочтения одних ИС над другими, то есть рассчитывается экспертный показатель качества ИС в виде ее частоты предпочтений.

Частота предпочтения находится как частное от деления всех предпочтений данного объекта на возможное число предпочтений, т. е.

https://pandia.ru/text/78/318/images/image012_50.gif" width="75" height="51 src=">,

где Оценочная деятельность" href="/text/category/otcenochnaya_deyatelmznostmz/" rel="bookmark">оценку объектов , то есть сначала это сделать в одной последовательности, а потом в противоположной. При этом, естественно, количество учитываемых оценок экспертов удваивается и С=m(m-1). В остальном методика расчетов показателей качества не изменяется.

При экспертизе качества ИС могут быть использованы балльные оценки, которые даются непосредственно экспертами или получаются в результате формализации процесса оценки. Эта формализация бывает эвристической или экспериментальной.

Непосредственное назначение балльных оценок производится экспертами независимо друг от друга или в процессе обсуждения. Количество баллов в принимаемой оценочной шкале может быть разным. Для оценки показателей качества можно использовать пяти-, семи - или десятибалльную шкалы.

Пример пятибалльной шкалы.

Оценка Число баллов

Отличное качество 5

Хорошее качество 4

Вполне удовлетворительное качество 3

Удовлетворительное качество 2

Плохое качество 1

Пример семибальной шкалы.

Оценка Число баллов

Качество очень высокое 7

Качество высокое 6

Качество выше среднего 5

Качество среднее 4

Качество ниже среднего 3

Качество низкое 2

Качество очень низкое 1

Обобщенный показатель качества K экс , определяемый экспертным методом по балльной системе исчислений, находят как среднее арифметическое значение оценок, поставленных всеми экспертами и вычисляют по формуле

https://pandia.ru/text/78/318/images/image021_27.gif" width="84" height="53 src=">,

где -- значение показателя качества, полученное в каждом туре; m -- число туров опроса.

Эвристическая формализация экспертных оценок заключается в определении зависимости между значениями параметрических показателей и их оценками в баллах. На основании этого строится график или разрабатывается математическая формула, которые позволяют выражать балльную оценку показателей качества в натуральных единицах измерений , например, производительность ИС как число выдаваемых пользователю документов в единицу времени.

При экспериментальной формализации устанавливают соотношение значений балльных оценок со значениями показателей, определяемыми в результате эксперимента. Следует отметить, что экспертный метод определения значений показателей качества с использованием способа экспериментальной формализации оценок экспертов является более объективным, чем без такой формализации .

В экспертной оценке можно применять так называемый социологический метод оценки качества ИС. Этот метод, как и экспертный, основан на опросах, мнениях, но не специальных экспертов, а различных пользователей ИС – студентов, преподавателей, аспирантов, сотрудников управления, научного сектора вуза и др. Этот социологический метод можно считать модификацией экспертного. Социологический метод определения значений показателей качества продукции является по существу маркетинговым и осуществляется с помощью не экспертов, а фактических или потенциальных потребителей результатной информации, выдаваемой ИС. Сбор мнений потребителей производится опросом или с помощью распространения и заполнения специальных анкет-вопросников, а также путем организации конференций, выставок, аукционов, опытно-показательной эксплуатации и т. п.

Экспертный метод можно эффективно применять и для оценки качества отдельных компонентов ИС – технических средств, программных продуктов, базы данных , лингвистических средств и др.

Литература

1. Исаев оценки качества информационных систем. М.: ИМСГС, 20с.

2. Орлов принятия решений. М.: Изд-во «Март», 20c.

3. Литвак оценки и принятие решений. М.: Патент, 19с.

ЦЕЛИ ЗАНЯТИЯ: 1) изучение методов количественной оценки качества экспертов при формировании экспертной группы;

2) использование методов статистической оценки качества экспертов при создании экспертной группы, предназначенной для оценки качества конкретного изделия.

1.ОБЩИЕ ПОЛОЖЕНИЯ

Одним из наиболее важных вопросов, которые приходится решать в процессе экспертной оценки качества продукции, является подбор экспертов. Так же как в метрологии точность результата измерения зависит от точности прибора, которым производится это измерение, так и объективность экспертной оценки, ее точность зависят в основном от квалификации эксперта, его способности к аналитическому мышлению, синтетическому обобщению, от его кругозора, эрудиции, психофизиологических способностей и т.д.

В настоящее время на практике для количественной оценки качества экспертов используются следующие методы:

1. Эвристические, при которых значение оценок определяются человеком; методы эвристической оценки основаны на том, что представление, сложившееся о данном эксперте у окружающих (или у него самого), достаточно правильно отражает его истинное качество; эвристические оценки включают: самооценку, взаимооценку, оценку эксперта членами рабочей группы.
2. Статические, при которых значение оценок получаются в результате обработки суждения экспертов об оцениваемой продукции.
3. Тестовые, при которых значения оценок получаются в результате специальных испытаний, основанных на решении специально подобранных тестовых задач.
4. Документальные, при которых значения оценок получаются на основе анализа документальных данных об экспертах.
5. Комбинированные, при которых значения оценок получаются с помощью любой совокупности перечисленных выше методов.

Наиболее обоснованными в настоящее время являются статистические методы оценки качества экспертов, поэтому рассмотрим их более подробно.

К методам статической оценки относят оценку по отклонению от среднего мнения экспертной группы Кос и оценку воспроизводимости результата Квр, которые могут быть получены после обработки результатов специальных опросов, предшествующих операции формировании экспертной группы.

В основе первого метода лежит посылка, что истинным значением определяемой экспертами величины (свойства), является значение средней оценки экспертной группы. Чем меньше отклонение значения индивидуальной оценки, назначенной экспертом, от групповой средней оценки, тем выше качество этого эксперта, которое может быть учтено путем присвоения в результате каждому эксперту соответствующего «веса» или весового коэффициента.

В том случае, когда эксперт определяет численные значения оцениваемых свойств (в баллах, долях единицы или ппроцентах), предлагается использовать в качестве оценки эксперта расстояние между «средним» рядом значений оценок и значениями оценок назначенными данным экспертом. Например:

при этом n

j=1/2А Кi - Кij

где Кi- среднее значение i- той оцениваемой величины (свойства);

Кij- значение i- той величины (свойства), назначенное j -тым экспертом; n

В основе второго метода лежит посылка, что высоким может считаться качество такого эксперта, для которого свойственна воспроизводимость назначаемых значений оценок, т.е. значения оценок одного и того же объекта в нескольких турах должны быть достаточно близкими. В этом случае можно говорить о стабильности его мнения. Способы оценки качества эксперта по воспроизводимости результата аналогичны способам оценки по отклонению от среднего мнения.

В том случае, когда эксперты ранжируют оцениваемые величины (свойства), для количественного выражения их качества или согласованности, чаще всего на практике используется коэффициент конкордации, который вычисляется следующим образом:

m2 (n3 - n) - m Tj

где Si - сумма рангов, присвоенных m экспертами i-тому фактору;

S - среднее значение сумм рангов;

Величины Si и S определяются отношениями:

Si= Кij ; S= Si / n

где j - номер эксперта;

i - номер оцениваемого фактора.

Величина Tj определяется из выражения:

Tj= (t3jl – tjl),

где tjl - число одинаковых рангов 1-го вида в оценках j -того эксперта;

Lj -количество групп факторов с совпавшими рангами в оценках j -того эксперта.

Коэффициент конкордации изменяется в пределах от нуля до единицы и его значение, равное единице, соответствует полной согласованности мнений экспертов. Обычно согласованность мнений экспертов считается достаточной при W >0,5.

Согласованность мнений экспертов может быть случайной или неслучайной. В качестве количественной оценки степени этой случайности используется уровень значимости коэффициента конкордации. Этот уровень находится из таблицы на основе данных о числе степеней свободы n=1 и величины 2 (критерий Пирсона).

Величина 2 определяется по формуле:

mn (n +1) - 1 Tj

Определенный таким образом уровень значимости коэффициента конкордации дает значение вероятности случайного совпадения мнений экспертов, т.е. достоверность оценок. Если согласованность мнений экспертов высокая и неслучайная, то данная экспертная группа может быть принята за основу для экспертной оценки качества продукции. Если же согласованность мнений недостаточная (W<0,5), то анализируя оценки отдельных экспертов, выделяют эксперта (экспертов), имеющего наиболее отличающиеся оценки от общей совокупности оценок других экспертов и подсчитывают значение коэффициента конкордации опять. Эту операцию повторяют до тех пор, пока не будет достигнута приемлемая согласованность экспертных оценок. При этом рекомендуется, чтобы количество оставшихся экспертов было не менее 2/3 от первоначального состава экспертной группы. В противном случае требуется заново сформировать экспертную группу. Для решения большинства задач по экспертной оценке качества продукции, оптимальными могут считаться экспертные группы, включающие от 7 до 20 экспертов.

II Самостоятельная работа.

Задание 1. Для заданного аналога оцениваемого изделия, произвести экспертную оценку эргомических свойств, в соответствии с разработанной иерархической структурой свойств этого изделия (см. практическое занятие №2). Определить численные значения соответствующих эргономических показателей, руководствуясь следующей оценочной шкалой:

Произвести необходимую статистическую обработку полученных данных с целью оценки качества каждого эксперта, участвующего в эксперементе. Результаты выполнения задания рекомендуется представить в виде следующей таблицы:

						Число совпавших оценок	Максимальное отклонение

Задание 2. Используя экспресс-метод экспертной оценки качества, произвести ранжирование ряда предложенных изделий (3…5 шт.), аналогичных оцениваемому изделию, в зависимости от уровня их качества произвести необходимую статистическую обработку полученных данных с целью оценки качества каждого эксперта, участвующего в эксперементе. Результаты выполнения задания рекомендуется представить в виде следующей таблицы:

							Макси-мальное откло-нение	Сумма отклоне-ний	Число совпавших оценок
Обобщен-ная оценка (средний балл)

Качественная экспертиза -- это оценка качественных характеристик товара экспертами для установления соответствия их требованиям нормативных документов. Проводят эту экспертизу с целью определения качества товара в товарной партии при сдаче-приемке, или после длительного хранения, или при обнаружении скрытых технологических дефектов в процессе хранения, когда обычные сроки предъявления претензий поставщику истекли. Кроме того, экспертиза по качеству применяется при оценке образцов новых товаров перед постановкой их на серийное производство. Для пищевых продуктов качественная экспертиза только по органолептическим показателям называется дегустацией.

В зависимости от назначения качественная экспертиза бывает: приемочная, по комплектности, новых видов товаров, дегустация пищевых продуктов, по договорам.

Приемочной экспертизой по качеству называется оценка качества товаров экспертами для подтверждения достоверности результатов проверки при приемке. Основанием для проведения такой экспертизы могут служить: разногласия между поставщиком и получателем по результатам приемочного контроля, проведенного получателем в отсутствии поставщика и невозможности его явки на повторную приемку; обнаруженное или предполагаемое несоответствие фактического качества товара указанному в документах; нарушение упаковки (поломка, деформация и др.); наличие значительных качественных потерь в процессе транспортирования или хранения. При проведении качественной экспертизы пользуются стандартами, санитарными и ветеринарными правилами и инструкциями, правилами или кодексами транспортных организаций.

При проведении приемочной экспертизы по качеству эксперты должны придерживаться основных правил, которые включают следующие положения:

• 1. Перед началом экспертизы необходимо ознакомиться со всеми нормативными документами (стандартами на конкретные виды продукции, упаковку и маркировку, методы испытаний).
• 2. Качество товаров необходимо определять в соответствии с требованиями действующих стандартов, договоров. При Необходимости принимаемые товары могут оцениваться путем сопоставления с образцами или эталонами. Выбор показателей качества определяется целями и условиями проведения экспертизы. Чаще всего эксперты ограничиваются оценкой органолептических показателей и некоторых физико-химических показателей, используя простейшие средства измерений. Проверка микробиологических и сложных физико-химических показателей может быть рекомендована экспертом лишь в отдельных случаях после завершения приемки по качеству.
• 3. Для оценки качества должна быть отобрана выборка или объединенная проба, размер которой должен быть не менее установленных норм.
• 4. При неоднородности товарной партии, включающей товары разного качества (стандартные, 1-го или других сортов, нестандартные, брак, отход), эксперт должен выявить процентное содержание каждой фракции. При обнаружении дефектных товаров эксперт должен отобрать образцы товаров с наиболее характерными дефектами и установить причины их возникновения. Целесообразно направить образцы дефектной продукции в испытательную лабораторию для выявления их вида и причин возникновения. В акте экспертизы должно быть отражено процентное содержание продукции с различными дефектами.
• 5. При выявлении причин несоответствия качества эксперт должен указать в акте состояние тары и упаковочныхматериалов (их целостность, надежность, достаточность).
• 6. Эксперт не должен проводить приемочную экспертизу, если нарушена целостность товарной партии или предъявлены обезличенные товары, а также распакованные или без товарно-сопроводительных документов.

Экспертизой товаров по комплектности называется оценка экспертом наличия необходимых элементов комплекта и установление соответствия данным, указанным в технических документах. Правовой базой этой экспертизы является Гражданский кодекс РФ (ч. 2, ст. 478-480). Основанием для ее проведения служат особенности принимаемых товаров, целостность которых обеспечивается наличием в комплекте всех необходимых элементов. Все комплектующие элементы подразделяют на три группы:

• * обеспечивающие функциональное назначение товара, его эстетические свойства;
• * предназначенные для ремонта товара в процессе эксплуатации;
• * определяющие сохранность товаров при перевозке, хранении и реализации.

Экспертизе по комплектности подвергают в основном непродовольственные товары, а продовольственные товары -- только при продаже наборов продуктов.

Экспертизой качества новых товаров, называется оценка качества товаров по номенклатуре показателей, характеризующих степень новизны, возможность и целесообразность их выпуска в реализацию. Новый товар -- это продукция, предназначенная для реализации и отличающаяся от имеющихся товаров аналогичного назначения измененными потребительскими свойствами. Цель этой экспертизы качества -- определение практической полезности и показателей качества, которые могут создать потребительские предпочтения.

Правовая база экспертизы качества новых товаров отсутствует, а нормативная база представлена стандартами, санитарными и иными правилами и в этом совпадает с приемочной экспертизой. При экспертизе качества новых товаров используют различные методы оценки: органолептической, измерительной, социологической, экспертной. Решающее значение имеет экспертная оценка качества, а остальные методы выполняют вспомогательную роль.

Целью экспертизы может быть оценка всей номенклатуры показателей качества или только их части, например степени новизны. Выбор показателей качества обусловливается необходимостью соблюдения обязательных требований (безопасности, функционального назначения), а также определения степени новизны, что и составляет сущность экспертизы качества новых товаров. Степень новизны характеризуется количественными и качественными изменениями потребительских свойств, формирующими и удовлетворяющими новые потребности. Степень новизны может выражаться в баллах или процентах. Е.Е. Задесенец предлагает следующие градации степени новизны: товары незначительной новизны (степень новизны до 20%), товары нового вида (21--70%) и качественно новые товары (71-100%). В зависимости от градации нового товара выбирают и методы его изучения. Для товаров, степень новизны которых не превышает 70%, можно использовать сравнительные методы, основанные на сравнении показателей качества товаров одного наименования новых и уже известных. Для качественно новых товаров этот метод мало приемлем, поэтому для них применяют прогнозно-аналоговые, безаналоговые или комбинированные, которые являются разновидностями сравнительного метода, но на более высоком уровне, с использованием элементов прогнозирования. Прогнозно-аналоговый метод основан на построении перспективно-прогнозного ряда базовых образцов товаров-аналогов и использовании его для сравнительной оценки качественно новых товаров. Безаналоговый метод -- на анализе процессов потребления разными группами потребителей или процессов проектирования. Комбинированный метод основан на совмещении оценок ранее известных и новых потребительских свойств изучаемых товаров. В этом случае эксперты широко используют всю доступную им информацию о товарах-аналогах, об уровне проектных разработок. Комбинированный метод сочетает сравнительный метод для изучения качественных свойств и прогнозно-аналоговый (безаналоговый) для изучения новых свойств.

Дегустацией пищевых продуктов называется оценка органолептических показателей качества экспертами, проверенными на сенсорную чувствительность. Целью Дегустации является получение достоверных результатов при органолептической. оценке качества, снижение ее субъективности за счет высокой профессиональной компетентности экспертов, которая достигается узкой специализацией их по группам товаров. Отбор экспертов в дегустационные группы проводится путем проверки их сенсорной чувствительности, кроме того, эксперт должен иметь опыт органолептической оценки выбранной товарной группы.

Дегустацию пищевых продуктов проводят при экспертизе новых товаров, при необходимости выявления качественных изменений органолептических показателей, при определении товарного сорта и других градаций качества. Результаты дегустации могут быть- выражены в виде описания отдельных показателей, а также в баллах. В последнем случае применяют стандартные шкалы (шкалы балльной оценки) вин, пива, твердых сычужных сыров и сливочного масла) или для балловой оценки данного вида товара должна быть разработана специальная шкала.

Экспертизой товаров по договорам называется оценка экспертом соблюдения требований качества, установленных договорами купли-продажи, комиссии и хранения. Основанием для проведения такой экспертизы служат разногласия между сторонами, заключившими договор. Правовой базой проведения такой экспертизы являются Федеральный закон «О защите прав потребителей» (гл. 1 и 2, ст. 1--26), правила продажи товаров, правила комиссионной торговли непродовольственными товарами, утвержденные постановлением Правительства РФ от 6 июня 1998 г. № 569.

Необходимость в проведении экспертизы по договорам хранения появляется в случае возникновения количественных потерь сверх установленных норм или снижения качества товаров, а также при полной их потере. Снижение качества товаров при хранении происходит вследствие микробиологических, биологических, физических, химических, физико-химических и биохимических процессов. Нередко ухудшение качества товаров можно определить по органолептическим показателям, эксперт при этом самостоятельно принимает решение о необходимости исследования товара в испытательных лабораториях измерительными методами. Независимо от причин возникновения качественные потери списывают по актам, которые подписывают эксперты, руководитель и материально-ответственные лица. Нормы списания товаров за счет снижения качества отсутствуют.

Ассортиментной экспертизой называется оценка экспертом количественных и качественных характеристик товара для установления его ассортиментной принадлежности. Этот вид товароведной экспертизы как самостоятельный применяют только при возникновении разногласий между поставщиком и покупателем, продавцом и потребителем по вопросам ассортиментной принадлежности товара к определенной группе, наименованию, товарной марке или при установлении соответствия ассортимента товаров в партии ранее представленным образцам, каталогам или договорам купли-продажи.

Документальной экспертизой называется оценка экспертом товароведных характеристик товаров, основанная на информации товарно-сопроводительных, технологических и иных документов. При проведении документальной экспертизы отсутствующего товара эксперт анализирует имеющиеся документы: накладные, сертификаты, качественные удостоверения, акты списания, технические документы по контролю за температурно-влажностным режимом, докладные работников торговых организаций. Самостоятельно этот вид экспертизы проводится в случае отсутствия товара вследствие его реализации, хищения, порчи, гибели из-за непредвиденных обстоятельств. Сложность документальной экспертизы заключается в том, что при отсутствии товара эксперту приходится полагаться на представленные документы, которые могут быть фальсифицированы. Результаты экспертизы в таком случае зависят от компетентности эксперта, так Как в результате проведенной экспертизы могут быть опровергнуты документы, представленные торгующими организациями, а руководители и материально ответственные лица привлечены к уголовной ответственности.

Комплексной экспертизой называется оценка экспертом всех характеристик товара на основе их испытаний и анализа документов. Она может включать не только товароведные, но и стоимостные характеристики. Этот вид экспертизы применяют в тех случаях, когда необходимо всесторонне оценить товар с учетом позиций продавца, потребителя, а также сложившейся рыночной конъюнктуры. Комплексную экспертизу широко применяют в практике комиссионной торговли, при экспортно-импортных операциях внешнеторговой деятельности, при заключении договоров купли-продажи по образцам крупных партий товара. Комплексная экспертиза включает другие „виды экспертизы (количественную, качественную, ассортиментную и документальную), и поэтому все средства и методы, используемые для их проведения, применяются и для этой экспертизы.

На основном этапе, предназначенном для получения результатов экспертных оценок, применяются две подгруппы методов: 1) экс­пертной оценки характеристик товаров и 2) опроса экспертов для вы­явления их суждений и мнений.

Методы экспертной оценки характеристик товаров. Поскольку одним из оснований для проведения экспертизы является невозможность или неэкономичность применения объективных методов оценки (изме-

рительного, регистрационного, расчетного), результаты экспертных оце­нок, отражающих суждения и мнения экспертов, обычно выражаются в форме описаний или условных единиц (баллов, рангов и т. п.). В связи с этим наиболее распространенной сферой применения методов эксперт­ной оценки товаров являются такие подвиды товароведной экспертизы, как идентификационная экспертиза и экспертиза по качеству. Количест­венная и документальная экспертизы могут быть проведены и объектив­ными методами путем использования средств измерений или пересчета, а также методом сравнительного анализа документов.

Идентификационная экспертиза и экспертиза по качеству осуществ­ляются путем определения показателей качества. Определение экспер­тами количественной характеристики показателей без применения объ­ективных методов основывается на мыслительном исследовании этих показателей с использованием шкал порядка или наименований, а в не­которых случаях - шкал разницы и отношений. При этом эксперты мо­гут оценивать единичные и/или комплексные показатели качества, при­меняя дифференцированный и комплексный методы.

Методы экспертной оценки показателей качества товаров - это методы определения действительных значений единичных и ком­плексных показателей качества.

Данные методы предназначены для определения значений показа­телей качества расчетным или эвристическим путем в случаях, когда применение измерительных методов невозможно или неэкономично из-за чрезмерных расходов или длительного времени испытаний. На­пример, при определении вкуса и запаха пищевых продуктов исполь­зуются только органолептические методы. Измерительные методы не дают точной и надежной оценки, несмотря на повышенные затраты.

Для дифференциальной и комплексной оценки образцов, значи­тельно отличающихся по качеству, рекомендуется определять значе­ние единичного показателя Р дифференциальным методом.

Дифференциальный метод оценки показателей качества - метод, основанный на сравнении действительных значений единич­ных показателей с базовыми значениями тех же показателей:

§ 5. Экспертные методы

При дифференциальном методе фактически определяется уровень качества, если за базовое значение выбрано регламентированное нор­мативным документом значение показателя качества или базовый об­разец. При этом эксперт должен дать ответ: уровень качества по ис­следуемому показателю выше или ниже либо равен базовому образцу.

Сфера применения дифференциального метода выходит далеко за рамки только экспертной оценки. Он находит широкое применение и в научных исследованиях, и при оценке специалистами конкуренто­способности товаров. Действительные значения единичных показате­лей могут быть получены измерительным методом, а затем рассчита­ны и проанализированы специалистами или экспертами.

Вместе с тем использование данного метода при экспертной оценке имеет определенные особенности.

Оценка единичных показателей качества экспертами начинается с определения допустимых интервалов их измерения (р. макс: /> f MHH) р. макс - наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого зна­чения показателя (р. макс) зависят от целей оценки качества. При этом не­обходимо, чтобы для всех показателей этот принцип был единым.

Повышение надежности экспертных оценок достигается путем членения сложных операций на простые, которые составляют много­ступенчатую процедуру оценки допустимых значений показателя. Переход к каждой последующей ступени совершается после выработ­ки согласованных решений на предыдущей ступени.

Экспертная процедура определения допустимых значений показа­телей качества состоит из следующих операций:

Выдача экспертам анкет пояснительной записки, в которой пере­
числены показатели качества и описаны принципы выбора допус­
тимых значений показателей;

Заполнение экспертами анкет и указание конкретных моделей про­
дукции, значения которых они считают предельно допустимыми;

Ознакомление каждого эксперта с оценками, назначенными дру­
гими экспертами, и их обсуждение;

Проведение второго (иногда третьего и четвертого) тура анкети­
рования;

» усреднение результатов оценки.

При значительном разбросе мнений проводится дополнительный тур голосования. Значение показателя принимается за максимальное, если за него подано не менее 70% голосов. При невыполнении этого условия за максимально допустимое значение принимается среднее из 50% наибольших значений р. макс, за минимальное допустимое значе­ние - среднее из 50% наименьших значений Р г мин. Полученные зна­чения используются экспертами при определении оценок показателей качества К.

Для установления экспертами вида зависимостей (/) между зна­чениями показателей P t и их оценками К,- нередко используется ме­тод главных точек. Необходимость его применения обусловлена тем, что разделение процедуры оценки на несколько этапов упро­щает работу эксперта и позволяет ему дать оценки некоторым ха­рактерным точкам, исходя из которых можно построить модель искомой величины.

Комплексный метод оценки показателей качества - метод, основанный на установлении наиболее значимых для оценки качества единичных показателей, определении их действительного и средне­взвешенного значений комплексного показателя с учетом коэффици­ентов весомости.

Расчет комплексного показателя качества (Q) осуществляется по формуле

где Р\,Рг, ■■■iPn - действительные значения показателей качества;

К в ь К„2, ..., К в „ - коэффициенты весомости этих показателей.

Применение комплексного метода требует обоснованного выбора номенклатуры показателей качества товаров.

Глава 4. Методы товарной экспертизы]

§ 5. Экспертные методы

Эти показатели подразделяются на оценочные, идентификацион­ные и ограничительные.

Оценочные показатели - показатели потребительских свойств, обладающие способностью удовлетворять основные потребности.

Данные показатели используют при необходимости оценки уров­ня качества и конкурентоспособности товаров, а также для позицио­нирования их на определенном сегменте рынка и проведении товаро­ведной экспертизы по качеству.

Идентификационные показатели - показатели потребитель­ских свойств, предназначенные для систематизации товаров и отнесе­ния их к определенным классификационным группировкам.

Такие показатели чаще применяются при проведении идентифи­кационной экспертизы.

Ограничительные показатели - показатели, предназначенные для ограничения установленных требований.

Выбор этих показателей определяется целями товарной эксперти­зы, а ограничения устанавливаются соответствующими нормативны­ми методами. Достаточно часто действительные значения ограничи­тельных показателей качества получают измерительными методами, а в задачи экспертов входит лишь сравнение результатов испытаний с установленными требованиями. При этом коэффициенты весомости комплекса испытуемых показателей не учитываются.

Ограничительные показатели находят широкое применение при обязательной сертификации по показателям безопасности, а также при санитарно-эпидемиологической, ветеринарной, фитосанитарной и экологической экспертизах. В ряде случаев они могут применяться и з таких разновидностях товароведной экспертизы, как идентификаци-энная и по качеству. Например, при установлении принадлежности шкогольного напитка к водке используют следующие ограничитель­ные показатели: минимально допустимое содержание этилового спирта и максимально допустимое содержание сивушных масел и ме-гилового спирта.

Выбор номенклатуры показателей качества товаров и их эксперт-гая оценка могут осуществляться двумя методами: экспресс-методом i методом движения по уровням без подготовки и с подготовкой.

Экспресс-методы комплексной оценки качества образцов това->ов основаны на определении комплексного показателя качества путем

анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.

При использовании этих методов необходимо учесть, что предель­ным количеством оцениваемых показателей даже для высококвалифи­цированного эксперта является 7-9 показателей, расположенных на од­ном уровне иерархии и составляющих достаточно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показа­телей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.

Метод движения по уровням без подготовки представляет со­бой комплекс операций, осуществляемых последовательно, с посте­пенным повышением уровня. При этом анализ начинается от нижне­го уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.

Метод движения по уровням с подготовкой основан на предва­рительном определении экспертами коэффициентов весомости пока­зателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплекс­ных показателей аналогична процедуре по методу движения по уров­ням без подготовки.

Метод главных точек в зависимости от их числа имеет несколь­ко разновидностей.

Метод трех главных точек - метод, основанный на разделении значений показателей Р, на максимальное, минимальное и среднее значения и определении значений оценок К,- в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы 0-1 или 0-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и по­строение графика. После этого от графической зависимости можно перейти к аналитической формуле для расчета оценок показателя ка­чества К,. Данный метод позволяет разработать лишь приближенную модель оценки К,.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Метод семи главных точек - метод оценки по семибалльной шка­ле определения показателей, значения которых установлены экспери­ментальным или расчетным путем, а также органолептическим методом.

Семибалльная шкала является равномерной, т. е. при переходе от одного класса качества к другому оценка меняется на один балл. Такие шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.

Для облегчения работы эксперта в пояснительной записке к анке­те приводят пять графиков. Эксперт выбирает кривую (или комбина­цию кривых), которая наилучшим образом, по его мнению, отражает характер зависимости/ Затем каждому классу качества назначается оценка в соответствии с характером зависимости и значениями пока­зателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс «наивысшее качество» получает оценку 10.

Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Р, и их оценками К,-, а для показателей, оцениваемых органолептическими методами, - между классами качества и их оценками.

В заключение проводятся обсуждение полученных результатов, их обработка и анализ. Для показателей, определяемых измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.

Применение метода главных точек дает возможность осуществлять группировку и классификацию показателей по видам зависимости.

Методы опроса

Методы опроса - методы, основанные на проведении анкетного эпроса группы экспертов с последующим анализом и обработкой по-тученной от них информации.

Целью этих методов является определение индивидуальной и групповой экспертной оценки для принятия окончательных решений.

Основанием для выбора этих методов служит необходимость тринятия сложных решений в ситуации неопределенности или со-

ставление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области или многих областях знаний (например, знаний однородной группы товаров или всех продовольственных либо непродовольственных то­варов). Важнейшими инструментами методов опроса служат его про­цедура и анкеты.

Разработка процедуры опроса проводится после формулирова­ния целей и задач, формирования группы аналитиков. Для этого со­ставляются анкеты (открытые и закрытые) и определяются методы опроса (индивидуальные и групповые, очные и заочные). Существуют определенные методики составления анкет, которые целесообразно учитывать при их разработке.

При разработке анкет группа аналитиков должна предусмотреть уровень детализации проблемы, который определяется спецификой и целями экспертизы. От уровня детализации зависит достоверность ре­зультатов экспертизы, причем с ростом степени детализации согласо­ванность экспертных оценок, как правило, увеличивается. Однако из­лишняя детализация проблемы может привести и к снижению надежности информации, полученной от экспертов.

Детализация проблемы осуществляется путем включения в анкету тестов (закрытых вопросов) с элементами готовых ответов или без от­ветов (открытых вопросов). Элементы готовых ответов в дальнейшем позволяют облегчить обобщение и формализацию ответов экспертов, но и ограничивают информативность оценки одним или несколькими альтернативными ответами, при этом возникает опасность навязывания эксперту ответов. При включении в анкету открытых вопросов эксперт может дать ответ в любой форме и с любым объемом информации. В этом случае появляется возможность обнаружения с помощью экс­пертов новых, порой неожиданных для аналитиков аспектов проблемы. Конкретный вопрос с определенным набором готовых альтернатив­ных ответов называется признаком анкеты. Набор ответов может быть качественного и количественного характера. При качественном характе­ре набора ответов задача эксперта заключается в выборе из предлагае­мых элементов ответов, которые, по его мнению, наиболее полно отра­жают суть проблемы по данному вопросу. При количественном характере набора ответам на вопросы присваивают числовые значения.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

При подборе признаков, которые желательно включить в анкету, нельзя допускать возможность двойного толкования вопросов. Поэтому полезно проверить анкету самими аналитиками. Если распределение су­ждений по некоторому признаку имеет значительное стандартное откло­нение, можно предположить, что данный признак двусмыслен.

Все вопросы в анкете можно разделить в зависимости от их со­держания на три группы:

Объективные анкетные данные об эксперте - возраст, образование,
профессия, стаж работы, научное звание, узкая специализация;

Характеристики, позволяющие оценить мотивы, которыми руко­
водствовался эксперт при оценке исследуемой проблемы;

Основные вопросы, касающиеся существа исследуемой проблемы.
В зависимости от широты охвата методы опроса экспертов подраз­
деляются на индивидуальные и групповые, а от наличия или отсутст­
вия обсуждения результатов оценки в экспертной группе, его характе­
ра, обоснования оценок, личных контактов и опрашиваемых субъектов
различаются несколько способов экспертного опроса (рис. 17).

Выбор того или иного способа проведения экспертного опроса определяется целями экспертизы, затратами на ее проведение и ожи­даемыми результатами, а критериями выбора служат объективность, информированность и трудоемкость.

Критерий объективности. Хотя требование объективности эксперта является одним из основных, однако на практике на экспертов может быть оказано определенное влияние. Оно может носить конформный или авторитарный характер и играет отрицательную роль, так как мнение и оценка эксперта формируются под влиянием факторов, не относящихся к свойствам товаров или других объектов экспертизы.

В связи с этим при выборе способов проведения опросов экспертов предпочтение следует отдавать тем из них, при которых конформное или авторитарное влияние проявляется в меньшей степени. К таким спосо­бам относятся, например, анонимное обоснование оценок, отсутствие контактов между экспертами, закрытое голосование. При вынесении коллективной экспертной оценки обычно не происходит беспристраст­ного и последовательного анализа проблем. Оценка основана на ком­промиссе между суждениями отдельных экспертов, поэтому способ кол-пективной экспертной оценки редко применяется при опросе экспертов.

Рис. 17. Классификация способов экспертного опроса

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Критерий информированности относится к важнейшим факто­рам, влияющим на качество эксперта, а также на надежность прини­маемых им оценок. Повышению информированности экспертов спо­собствует их взаимное обогащение в ходе обсуждения оценок. Логические доводы других экспертов, сообщаемая при этом дополни­тельная информация, ранее неизвестная другим экспертам, позволяют повысить уровень информированности, за счет чего эксперт может скорректировать свою оценку.

Исходя из этого, наиболее удачными по критерию информирован­ности являются способы, содержащие информацию об оценках других экспертов. Существуют также личные контакты между экспертами, происходит дискуссионное обсуждение оценок и персональное обосно­вание их. Поэтому при организации работы постоянных экспертных групп целесообразен обмен информацией, поскольку он способствует слаженной работе экспертов. При создании временных экспертных групп обмен информацией и коллективное обсуждение рекомендуются только в тех случаях, когда проведены оценка и отбор экспертов на объективность корректирования своих суждений (отсутствие конфор­мизма). Во всех случаях при учете критерия информированности экс­пертов не следует забывать о создании условий для их объективности и исключения конформного или авторитарного влияния.

Критерий трудоемкости зависит от количества проводимых опе­раций, их продолжительности и характера. Так, при письменном обос­новании оценок эксперт затрачивает больше времени, чем при устной дискуссии. Эффективность экспертного опроса в значительной степени зависит от способов и техники выявления суждений экспертов.

Способы и техника опроса экспертов. При индивидуальном оп­росе технический работник проводит опрос каждого эксперта, а при групповом - сразу всей группы. Результаты индивидуального опроса после обобщения и соответствующих расчетов могут быть использо­ваны для установления групповых оценок. Однако групповая оценка может быть получена и в результате индивидуального опроса лидера и сублидера экспертной группы.

Индивидуальный опрос каждого эксперта в группе связан с по­вышенной трудоемкостью, значительными затратами времени и раз­бросом суждений, что затрудняет выявление объективной и досто­верной экспертной оценки.

При индивидуальном опросе лидеров и сублидеров экспертной группы и особенно отдельных экспертов затраты времени на опрос меньше, однако вероятность конформизма среди членов группы и проявления авторитарных мнений лидера и сублидера больше.

В зависимости от технических приемов анкетирования индивиду­альный опрос делится на следующие разновидности: интервью, ин­тервью-анкеты, анкетирование и смешанное анкетирование.

Достоинства и недостатки этих способов указаны в табл. 5. Инди­видуальный способ опроса делится на разновидности в зависимости от применяемых технических приемов.

Таблица 5 Достоинства и недостатки разных способов опроса экспертов

Способы и разновид-	Достоинства	Недостатки
ности опроса
Индивидуальный	Возможность выявить	Высокие затраты вре-
способ	все или большинство	мени и критерий трудо-
разновидности по тех-	неясных вопросов,	емкости. При первич-
ническим приемам:	уточнить недостаточно	ном опросе эксперт
интервью	сформулированные;	может задавать нечетко
интервью-анкеты	использовать техниче-	сформулированные во-
смешанное анкетирова-	ские приемы	просы, увеличивающие
ние		трудозатраты.
анкетирование		Возможно снижение
		объективности
Групповой способ	Сокращение затрат вре-	Невозможность ис-
	мени экспертов и рабо-	пользования техниче-
	чей группы, снижение	ских приемов
	критерия трудоемкости

Интервью - разновидность опроса эксперта для выявления его оценки в ходе свободной, но.проводимой по определенной программе беседы с экспертом.

Интервью-анкета - разновидность опроса эксперта путем по­становки перед ним конкретных вопросов в определенной последова­тельности, задаваемых в форме анкеты.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Анкетирование - разновидность опроса экспертов с помощью вопросов анкеты, на которые эксперт дает письменные ответы. Чаще всего анкетирование проводится заочным методом без контакта с ра­бочей группой. Для повышения степени информированности эксперта к анкете прилагается пояснительная записка.

Смешанное анкетирование - разновидность опроса эксперта с помощью анкет и дополнительного инструктажа членом рабочей группы. Целью инструктажа являются уточнение деталей, постановка дополнительных вопросов (при необходимости).

По информативности наибольшими возможностями обладают та­кие методы, как интервью, интервью-анкета и смешанное анкетиро­вание, а по объективности - анкетирование. Минимальная объектив­ность свойственна интервью. Однако исходя из разных целей экспертизы, на практике может применяться любой из указанных способов. При этом предпочтение одной из указанных разновидно­стей отдается в следующих случаях:

При отсутствии ограничений времени проведения опроса целесооб­
разно проводить интервью-анкету или смешанное анкетирование;

При значительном числе экспертов и возможности собрать их всех
вместе применяют анкетирование;

При невозможности задать четко сформулированные вопросы,
которые будут поняты всеми экспертами однозначно, а также
при затруднениях эксперта выразить ответы на задаваемые во­
просы в виде числовых оценок применяют смешанное анкети­
рование.

При проведении опроса экспертов необходимо соблюдать общие и специфические требования к условиям опроса. Общие требования к условиям опроса:

Благоприятная психологическая обстановка опроса, способствую­
щая заинтересованности эксперта путем установления благожела­
тельного контакта между опрашиваемым и проводящим опрос;

Исключение возможности сознательного или бессознательного
навязывания эксперту мнения членов рабочей группы или других
экспертов;

Обеспечение уверенности эксперта в том, что выносимые оценки
не будут использованы в неблагоприятных для него целях; в от-

дельных случаях может быть поставлено условие о конфиденци­альности информации об оценках эксперта;

Создание и поддержание оптимальной трудоемкости опроса путем
выполнения экспертами только творческих, наиболее сложных
оценочных операций и передачи вспомогательных расчетных,
графических, других операций техническому персоналу рабочей
группы;

Понимание экспертом задаваемых ему вопросов с помощью необ­
ходимого инструктажа, а в отдельных случаях и предварительно­
го, тренировочного опроса;

Постановка четко сформулированных вопросов, не имеющих дву­
смысленного характера и не требующих больших дополнитель­
ных пояснений;

Использование общепринятых терминов, по мере возможности
стандартизированных, а при их отсутствии разъяснение новых
или неоднозначно применяемых терминов.
Специфические требования:

а) к технике интервьюирования

Предпочтительное использование стандартизированного интервью,

Доверительность начала интервью, располагающая к откровенности,

Быстрота и экономичность при кодировании ответов эксперта
членами рабочей группы;

Провоцирование экспертов на аргументацию своих оценок путем
оспаривания его ответа;

б) к технике анкетирования

обеспечение четкого и однозначного понимания экспертами ха­
рактера выполнения операций путем приложения к каждой анкете
пояснительной записки с определением целей и задач экспертизы,
методов и последовательности выполнения операций;

Единообразие в составлении анкет и пояснительных записок для
облегчения работы с ними;

Случайный характер перечисления свойств, которым эксперт
должен дать числовые оценки, причем эксперты должны быть
предупреждены об этом, в противном случае может иметь место
бессознательное завышение оценок свойств, стоящих в списке
первыми.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколь­ко экспертных методов, получивших наибольшее признание и рас­пространение. К ним относятся методы Дельфы, ПАТТЕРН и комби­нированный.

Метод Дельфы (в некоторых источниках - Дельфи) - метод опроса экспертов, основанный на последовательно осуществляемых процедурах, которые направлены на формирование группового мне­ния по процедурам с недостаточной информацией.

Название метода произошло от древнегреческого города Дельфы, где жили оракулы, предсказывающие будущее.

Особенностями метода Дельфы являются отказ от совместной ра­боты экспертов; анонимность оценок; регулирование обратной связи; групповой ответ.

Отказ от совместной работы экспертов и анонимность достигают­ся тем, что каждый эксперт высказывает свое мнение в анкете, без группового обсуждения. Применяются и другие технические приемы индивидуального опроса, например, ответы на вопросы вводятся экс­пертами в компьютер. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каж­дого тура обрабатываются статистическими методами и доводятся до сведения экспертов. Это позволяет уменьшить разброс индивидуаль­ных оценок и получить групповой ответ, правильно отражающий мнение каждого эксперта.

Количество туров (до четырех) зависит от того, насколько быстро удается добиться сближения оценок экспертов в группе.

Анонимность опроса позволяет уменьшить конформное и автори-гарное влияние отдельных доминирующих экспертов, а регулируемая обратная связь уменьшает влияние индивидуальных и групповых ин-гересов. Введение обратной связи также повышает критерий объек-гивности и надежность оценок.

Проведение опроса в несколько туров с информированием экс-дертов о результатах предыдущих этапов работы, после которых каж­дый эксперт должен обосновать свое мнение, позволяет уменьшить солебания в индивидуальных и групповых ответах. Это дает неоспо-жмые преимущества по сравнению с обычным усреднением индиви­дуальных оценок.

При использовании метода Дельфы к процедурам опроса предъ­являются следующие требования:

Поставленные вопросы должны допускать возможность выраже­
ния ответа в виде чисел;

Достаточная информированность экспертов для выставления
оценок;

Наличие обоснований эксперта на каждый из заданных вопросов.
Достоинством рассматриваемого метода является повышение

критерия объективности за счет анонимности ответов экспертов, бла­годаря чему мнение эксперта не искажается вследствие внушения или приспособления к мнениям других экспертов. Кроме того, возрастает и информированность экспертов за счет ознакомления с оценками других экспертов после Окончания очередного тура, а также обосно­вания собственных оценок. Выявление преобладающих мнений по­зволяет сблизить точки зрения разных экспертов, сформировать груп­повое, но не единое, мнение.

Недостатки метода, проявляющиеся на начальном этапе его при­менения, - нестабильность состава экспертных групп, значительные разрывы во времени между турами, нечеткие формулировки вопро­сов, недоучет разной компетентности экспертов, необоснованность выбранного метода усреднения экспертных оценок - были частично устранены путем разработки модификаций этого метода (метод СИИР, Дельфы - Перт и др.). В результате этого метод Дельфы в на­стоящее время стал одним из наиболее применяемых, особенно для целей прогнозирования, а также при изучении ряда экономических и социальных проблем.

При использовании данного метода для целей экспертной оценки качества потребительских товаров проявляются следующие его не­достатки: сложность опроса экспертов и заполнения анкет, трудоем­кость оценки в связи с большим количеством показателей качества (иногда до 20-40) и заполнением нескольких анкет (3-10), громозд­кость пояснительных записок из-за отсутствия прямого контакта ор­ганизатора с экспертами.

Из-за указанных недостатков использование метода Дельфы при экспертной оценке качества товаров затруднено, а в некоторых случа­ях и нецелесообразно. Однако он перспективен для получения груп-

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Повой экспертной оценки и углубленного анализа событий в ситуаци­ях неопределенности.

Метод ПАТТЕРН - метод опроса экспертов, основанный на по­строении иерархической структуры - дерева целей и вынесении ре­шения этих целей после открытого обсуждения.

Название метода складывается из первых букв английских слов, означающих «Помощь планированию посредством количественной оценки технических данных». Метод был разработан в 1962-1964 гт. в американской фирме «Хоннуел» для оценки проектов новых систем вооружения.

Данный метод предусматривает несколько этапов.

/ этап - постановка основной проблемы, требующей решения, и разделение ее на ряд вторичных проблем первого, второго и так далее порядка, которые затем делятся на более узкие задачи. Деление про­должается до тех пор, пока не будут получены простые элементы, ко­торые могут быть оценены экспертами.

В результате такого деления получается иерархическая структура связанных друг с другом основных, вторичных проблем и задач, на­зываемая деревом целей.

II этап - определение с помощью экспертов коэффициентов ве­сомости (или значимости) каждой задачи относительно основной це­ли, при этом эксперты выносят решения после открытого обсуждения в экспертной группе.

Такое открытое обсуждение наряду с достоинством (взаимодейст­вие экспертов, стремящихся к принятию положительного решения) имеет и недостаток из-за конформизма, т. е. искажения действитель­ного мнения экспертов за счет внушения или приспособления к мне­нию большинства.

/// этап - применение компьютеров для обработки полученных данных и их анализа.

Достоинством метода ПАТТЕРН по сравнению с методом Дельфы является упрощение процедуры экспертного опроса. Однако метод имеет и ряд недостатков: отсутствие обоснований оптимального чис­ла членов экспертной группы, а также методики отбора в экспертную группу компетентных специалистов; обработка результатов опроса без учета различий в качестве отдельных экспертов; отсутствие барь-

еров для проявления конформизма экспертов; недостаточная разра­ботка и неопределенность принципов построения дерева целей.

Поскольку методы Дельфы и ПАТТЕРН имеют существенные не­достатки и не отвечают полностью целям экспертной оценки, Э.Л. Райх-ман и Г.Г. Азгальдов предложили комбинированный метод, в котором были использованы положительные особенности других экспертных методов и исключены их недостатки .

Комбинированный метод - метод, основанный на сочетании индивидуальных и коллективных экспертных оценок.

Экспертные методы оценки качества продукции

Наименование параметра	Значение
Тема статьи:	Экспертные методы оценки качества продукции
Рубрика (тематическая категория)	Производство

Методы оценки качества продукции

Существует ряд математических методов и соответствующих программных продуктов оценки качества продукции. К их числу относятся:

· экспертная оценка качества продукции, в частности по методу Дельфи;

· оценка качества продукции с использованием нечеткой логики;

· оценка качества продукции с использованием кластерного анализа;

· вероятностные методы оценки качества продукции;

Наибольшее распространение получила экспертная оценка качества продукции.

Экспертная оценка качества продукции предусматривает решение ряда задач, к числу которых относятся:

· формирование экспертной группы и оценка компетентности экспертов;

· выбор метода экспертных измерений;

· обработка экспертных оценок и установление степени согласованности мнений экспертов;

· повышение согласованности оценок экспертов.

К числу методов экспертных измерений относятся непосредственная оценка, ранжирование, парное сравнение и др.
Размещено на реф.рф
.

Непосредственная оценка объектов экспертизы (частных или интегральных показателœей качества продукции) состоит в присвоении экспертами балльной оценки с использованием шкал отношений (рисунок 5.1). Шкала отношений - ϶ᴛᴏ разновидность интервальной шкалы с нулевой точкой отсчета. В этом случае допустимо использовать аддитивную свертку частных показателœей для получения интегрального показателя продукции. Обычно используются 5-, 10- и 100-балльные шкалы. Для обработки результатов экспертных оценок используются статистические методы и следующие статистические показатели:

· медиана – для получения усредненного группового мнения экспертов;

· верхний и нижний квартили – для характеристики разброса экспертных оценок;

· коэффициент конкордации – для характеристики степени согласованности мнений экспертов.

Рис. 5.1. Оценка показателя качества продукции группой экспертов

Верхний и нижний квартили определяют границы значений оценок, за пределами которых расположены 25% оценок экспертов.

Коэффициент конкордации изменяется в диапазоне от 0 до 1, причем 0 – полная несогласованность экспертов, 1 – полное единодушие.

Одним из наиболее эффективных методов формирования групповой оценки экспертов является метод Дельфи.

Для повышения степени согласованности мнений экспертов в данном методе предусматривается многоэтапная процедура опроса экспертов.

На первом этапе осуществляется изолированное вынесение экспертами своих оценок. На следующих этапах каждый эксперт знакомится с суждениями других экспертов с целью возможной корректировки своей оценки. Многоэтапная процедура опроса экспертов продолжается до тех пор, пока величина разброса оценок не будет находиться в заданных пределах.

Особенностями метода Дельфи являются:

· групповой характер экспертизы;

· многоэтапная процедура опроса экспертов;

· изолированность экспертов при вынесении оценок на каждом этапе;

· обоснование оценок экспертов в процессе дискуссии после каждого этапа.

Процедура опроса по методу Дельфи состоит в анкетировании экспертов с помощью персональных компьютеров, включенных в локальную или глобальную сеть с обработкой с централизованной обработкой информации после каждого тура.

В качестве программных средств обработки экспертных оценок могут использоваться статистические программные продукты Statistica (разработчик StatSoft ) и SPSS (Statistical Products and Service Solution – статистические продукты и сервисные решения, разработчик SPSS Inc .).

Важно заметить, что для согласования экспертных оценок путем их ʼʼсглаживанияʼʼ должна быть применении аппарат нечеткой логики, рассматриваемый в п. 5.7.

Экспертные методы оценки качества продукции - понятие и виды. Классификация и особенности категории "Экспертные методы оценки качества продукции" 2017, 2018.