Методы оценки качества экспертов. Технология экспертной оценки качества

Экспертные оценки часто возникают на практике, например, при дегустации продуктов питания. Вообще они типичны для социологических опросов, например, менеджер по контролю качества проводит опрос покупателей в супермаркете. При использовании экспертного метода для оценки качества часто используется шкала порядка. Решается вопрос сравнеия по принципу "лучше хуже", "больше меньше". Более подробная информация о том, во сколько раз лучше или хуже часто не требуется.

Попарное сравнение (объекты сравниваются друг с другом попарно). При построении шкалы порядка или так называемого ранжированного ряда эксперты используют метод попарного сопоставления . В таб. 1 приведен пример ранжирования шести объектов путем попарного сравнения. Это результат работы одного эксперта, оценивавшего объекты определенным образом. Предпочтение одного объекта перед другим обозначено 1, обратная ситуация - 0.

Ранжированный ряд (шкала порядка) для объектов, сравнительная оценка которых приведена в таб. 1, будет иметь вид:

Q4

Если использовать несколько экспертов, то можно получить более точный результат.

Можно использовать более совершенные критерии, например, преимущество определить оценкой 1, худшее качество определить оценкой -1, а равноценное качество определить оценкой 0. Механизм составления ранжированного ряда остается прежним.

Психологами доказано, что попарное сопоставление лежит в основе любого выбора (т.е. Вы выбираете продукты, сравнивая их попарно), тем не менее, шкалу порядка часто составляют заранее (не ранжированный ряд) и фиксируют в ней опорные (реперные) точки, которые называют баллами.

Так появилась двенадцатибальная шкала интенсивности землетрясений MSK - 64, минералогическая шкала Мооса, пятибалльная шкала оценки знаний, баллы в фигурном катании и т.д. В таблице 2 в качестве примера приведена шкала твердости минералов Мооса.

Номер объекта							Итог

Таблица 1. Ранжирование шести объектов путем попарного сравнения

Таблица 2. Шкала Мооса

Каждый последующий минерал оставляет царапину на предыдущем, т.е. является более твердым. Результаты измерений, полученные попарным сопоставлением, можно уточнить методом последовательного приближения.

Влияние состава экспертов на результаты экспертизы

При формировании экспертной группы целесообразно провести тестирование, взаимооценку экспертов и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, с известными организаторам тестирования, но неизвестными экспертам результатами, и проверке по критерию Фишера гипотезы о принадлежности оценок разных экспертов к одной и той же генеральной совокупности оценок.

Самооценка состоит в том, что каждый эксперт в ограниченное время отвечает на вопросы специально составленной анкеты. Такое испытание проводят на компьютере и затем получают балльную оценку. Эксперты могут оценивать и друг друга, но для этого необходима доверительная обстановка и опыт совместной работы. Согласованность мнения экспертов можно оценивать по величине коэффициента конкордации:

где S - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;
n - число экспертов;
m - число объектов экспертизы.

Коэффициент конкордации изменяется в диапазоне 0<W <1, причем 0 - полная несогласованность, 1 - полное единодушие.

Пример

Необходимо определить степень согласованности мнения пяти экспертов, результаты ранжирования которыми семи объектов приведены в таблице 3. Для определения степени согласованности используется специальная мера - коэффициент конкордации Кендалла (от лат. concordare - привести в соответствие, упорядочить).

Номер объекта экспертизы	Оценка эксперта					Сумма рангов	Отклонение от среднего	Квадрат отклонения

Таблица 3. Данные для оценки согласованности мнений пяти экспертов

Оцениваем среднеарифметическое число рангов:

Q ср = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Затем оцениваем сумму квадратов отклонений от среднего: S = 630. Определяем величину коэффициента конкордации:

W = 12 * 630 / 25 * (343 - 7) = 0,9.

Много это или мало? Если провести соответствующие вычисления в STATISTICA , то можно получить следующую таблицу результатов:

Рис. 1. Результаты проведения анализа в STATISTICA

Из этой таблицы следует, что различные мнения экспертов в данном примере незначимы: р<0.00014.

Влияние на результаты экспертизы количественного состава экспертов. С ростом числа экспертов в группе точность измерения повышается, что характерно для многократных измерений.

Количество экспертов n , обеспечивающее заданную точность измерений, можно установить, зная закон распределения мнений экспертов и максимально допустимую стандартную ошибку оценки Sx

Экспертные методы оценки качества продукции

Наименование параметра	Значение
Тема статьи:	Экспертные методы оценки качества продукции
Рубрика (тематическая категория)	Производство

Методы оценки качества продукции

Существует ряд математических методов и соответствующих программных продуктов оценки качества продукции. К их числу относятся:

· экспертная оценка качества продукции, в частности по методу Дельфи;

· оценка качества продукции с использованием нечеткой логики;

· оценка качества продукции с использованием кластерного анализа;

· вероятностные методы оценки качества продукции;

Наибольшее распространение получила экспертная оценка качества продукции.

Экспертная оценка качества продукции предусматривает решение ряда задач, к числу которых относятся:

· формирование экспертной группы и оценка компетентности экспертов;

· выбор метода экспертных измерений;

· обработка экспертных оценок и установление степени согласованности мнений экспертов;

· повышение согласованности оценок экспертов.

К числу методов экспертных измерений относятся непосредственная оценка, ранжирование, парное сравнение и др.
Размещено на реф.рф
.

Непосредственная оценка объектов экспертизы (частных или интегральных показателœей качества продукции) состоит в присвоении экспертами балльной оценки с использованием шкал отношений (рисунок 5.1). Шкала отношений - ϶ᴛᴏ разновидность интервальной шкалы с нулевой точкой отсчета. В этом случае допустимо использовать аддитивную свертку частных показателœей для получения интегрального показателя продукции. Обычно используются 5-, 10- и 100-балльные шкалы. Для обработки результатов экспертных оценок используются статистические методы и следующие статистические показатели:

· медиана – для получения усредненного группового мнения экспертов;

· верхний и нижний квартили – для характеристики разброса экспертных оценок;

· коэффициент конкордации – для характеристики степени согласованности мнений экспертов.

Рис. 5.1. Оценка показателя качества продукции группой экспертов

Верхний и нижний квартили определяют границы значений оценок, за пределами которых расположены 25% оценок экспертов.

Коэффициент конкордации изменяется в диапазоне от 0 до 1, причем 0 – полная несогласованность экспертов, 1 – полное единодушие.

Одним из наиболее эффективных методов формирования групповой оценки экспертов является метод Дельфи.

Для повышения степени согласованности мнений экспертов в данном методе предусматривается многоэтапная процедура опроса экспертов.

На первом этапе осуществляется изолированное вынесение экспертами своих оценок. На следующих этапах каждый эксперт знакомится с суждениями других экспертов с целью возможной корректировки своей оценки. Многоэтапная процедура опроса экспертов продолжается до тех пор, пока величина разброса оценок не будет находиться в заданных пределах.

Особенностями метода Дельфи являются:

· групповой характер экспертизы;

· многоэтапная процедура опроса экспертов;

· изолированность экспертов при вынесении оценок на каждом этапе;

· обоснование оценок экспертов в процессе дискуссии после каждого этапа.

Процедура опроса по методу Дельфи состоит в анкетировании экспертов с помощью персональных компьютеров, включенных в локальную или глобальную сеть с обработкой с централизованной обработкой информации после каждого тура.

В качестве программных средств обработки экспертных оценок могут использоваться статистические программные продукты Statistica (разработчик StatSoft ) и SPSS (Statistical Products and Service Solution – статистические продукты и сервисные решения, разработчик SPSS Inc .).

Важно заметить, что для согласования экспертных оценок путем их ʼʼсглаживанияʼʼ должна быть применении аппарат нечеткой логики, рассматриваемый в п. 5.7.

Экспертные методы оценки качества продукции - понятие и виды. Классификация и особенности категории "Экспертные методы оценки качества продукции" 2017, 2018.

Экспертные оценки и способы измерений.

Оценка эксперта – количественное и/или качественное измерение соответствующего показателя.

Методы получения количественных экспертных оценок

Непосредственная количественная оценка

Эксперт указывает конкретное числовое значение или диапазон искомого параметра.

Метод средней точки.

Применяется при большом количестве альтернативных вариантов.

Сначала выбираются наиболее (А) и наименее (Я) предпочтительные альтернативы. Далее – промежуточный вариант – М, оценка которого делит отрезок А – Я пополам.

Методы получения качественных экспертных оценок

Экспертная классификация (определение принадлежности к группе, сорту, категории – сорт чая)

Ранжирование альтернатив – упорядочение сравниваемых альтернатив по степени предпочтительности определённого признака.

Метод экспертных кривых применяется для получении прогнозов на основе анализа динамики показателей, характеризующих объект эксперимента (график, экстраполяция). Для предотвращения ошибок при экстраполяции на основе обобщенного мнения экспертов на графике определяются точки, в которых следует ожидать изменения тенденции развития показателя.

Инструментами вышеперечисленных методов являются качественные и количественные шкалы.

19. Способы оценки качеств экспертов и формирование экспертных комиссий.

Метод суда.

Процедура аналогична судебному заседанию. Часть экспертов – обвиняют, часть – защищают, часть – присяжные, выносящие окончательный вердикт. Экспертные оценки – субъективны, поэтому ключевой вопрос – подбор экспертов.

Оценка качеств эксперта .

Эксперт – специалист, профессионал, оценки и суждения которого лицо, принимающее решение, считает полезным учитывать в процессе принятия решения.

Формирование состава экспертной комиссии эависит от:

Конкретной ситуации принятия решения;

Возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;

Возможностей специалистов принять участие в работе экспертной комиссии.

Не существует общепринятой единой методики оценки качеств эксперта.

Можно опираться на:

Профессиональные знания;

Опыт и эффективность деятельности в составе экспертных комиссий.

Способы оценки качеств эксперта:

Априорные – не используют информацию о результатах участия эксперта в предыдущих экспертизах (самооценка, взаимная оценка, метод списка экспертов, документационный (анкетный) метод).

Апостериорные – используют информацию о результатах участия эксперта в предыдущих экспертизах (метод парных сравнений объектов, наиболее предпочтительных для данного эксперта, метод отклонения от результирующей групповой оценки).

Тестовые – подразумевают проведение специального испытания.

Тест должен быть специально разработан под конкретные объекты экспертной оценки

Истинные значения оцениваемых параметров (правильные ответы) не должны быть известны эксперту

Должна быть разработана шкала для определения точности оценок, даваемых экспертом

Вероятность случайного угадывания правильной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Проводят ряд аналогичных тестов и оценивают полученные результаты. Стабильность оценок говорит о профессиональной компетенции эксперта.

Среди методов, применяемых в управлении качеством для решения многих управленческих задач, очень часто используются экспертные методы.

Сначала экспертные методы использовались, в основном, для решения задач, связанных с прогнозированием в области науки и техники, а затем они стали применяться в других областях, в том числе в управлении качеством. Это связано с большим числом возникающих при этом виде управления противоречий, которые во многих случаях невозможно разрешить объективными методами. Экспертные методы также используют в случаях:

Невозможности применения моделирования и описания управляемых объектов формализованными математическими способами;

Отсутствия достаточно достоверной информации;

Информационной неопределенности управляемых объектов;

Разработки средне- и долгосрочных прогнозов влияния законов и закономерностей на управление качеством;

Существования тенденций развития управления качеством и рыночной среды;

Наличия экстремальных ситуаций в управлении качеством.

В таких случаях непереоценимое значение приобретает использование профессионального опыта и сформированной на его основе интуиции специалистов-экспертов.

Сущность экспертных методов как при решении задач управления качеством, так и при использовании их в практике принятия решений в других областях науки, техники и управления заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Экспертный метод оценки уровня качества технической продукции используется в тех случаях, когда невозможно или очень затруднительно применить методы объективного определения значений единичных или комплексных показателей качества такими методами как инструментальный, эмпирический или расчетный.

Экспертный метод (или экспертный способ, т.е. метод экспертных оценок) является совокупностью нескольких различных методов, которые представляют собой разновидности, модификации метода экспертиз. Известные разновидности экспертного метода применяются везде, где основой решения является коллективное решение компетентных людей (экспертов). Так, например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т.п. -- все это решения, принимаемые экспертными методами.

Экспертные методы оценки качества продукции могут использоваться при формировании сразу общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества чего-либо. Следовательно, экспертные методы применяются:

При общей (обобщенной) оценки качества продукции;

При классификации оцениваемой продукции;

При определении номенклатуры показателей качества оцениваемой продукции;

При определении коэффициентов весомости показателей качества продукции;

При оценки показателей качества продукции органолептическим методом;

При выборе базовых образцов и безразмерных значений базовых показателей качества;

При определении итогового комплексного показателя качества на основе совокупности единичных и комплексных (обобщенных и групповых) показателей;

При аттестации продукции и сертификации.

Экспертный метод оценки уровня качества продукции не может быть использован, если качество можно оценить другими аналитическими или экспериментальными методами с большей точностью или с меньшими затратами.

Результаты общей экспертной оценки такого сложного комплекса свойств, каким является качество продукции, имеют элементы неопределенности и необоснованности. Поэтому экспертная оценка качества продукции в целом является предварительной, ненасыщенной информационно и только в первом приближении, ориентировочно характеризует качество оцениваемого изделия. На основе такой экспертной оценки качества, очевидно, нет возможности принимать какие-либо инженерно-технические решения. Этот метод может, например, использоваться при коммерческих сделках, когда нет конкретных (численно выраженных) сведений об уровне качества приобретаемой продукции и т.п.

Однако следует отметить, что экспертный метод для оценки многих показателей качества технической и другой продукции является единственно возможным, применяется достаточно широко и для этого разработаны соответствующие методики.

Объектом экспертизы (экспертных оценок) в нашем случае являются потребительские свойства в их совокупности, т.е. качество.

Критерии, по которым осуществляется экспертиза качества, подразделяются на общие и конкретные.

К общим критериям относятся сложившиеся в обществе ценностные ориентиры, представления и нормы. Конкретные критерии для эксперта -- это реальные требования к качеству продукции данного вида, установленные в нормативно-технических и других обязательных для исполнения документах. В форме конкретных критериев выступает также комплекс базовых значений показателей качества, характеризующих планируемую или проектируемую продукцию. Характеристики реально существующих высококачественных изделий, изготавливаемых в стране или за рубежом, тоже являются конкретными критериями для экспертов.

С целью повышения достоверности, точности, надежности и воспроизводимости экспертных оценок экспертизу осуществляют путем принятия группового решения компетентными людьми. Для оценки уровня качестве продукции создается экспертная комиссия, состоящая из экспертной и рабочей групп.

В экспертную группу включаются высококвалифицированные и специально подготовленные работники в области создания и функционирования оцениваемой продукции: исследователи, конструкторы, технологи, дизайнеры, товароведы, экономисты и т.д. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок и должно составлять от семи до двадцати человек. При заочном опросе верхний предел количества опрашиваемых экспертов не ограничивается.

Экспертная группа (комиссия) пользуется экспертным способом получения информации о показателях качества оцениваемой продукции. При этом экспертная группа может принимать решения на основе усреднения оценок экспертов или проводя голосования экспертов (метод "комиссий"). С целью уменьшения субъективности в экспертном методе рекомендуется проводить несколько туров опросов экспериментов.

Экспертный метод "комиссий" заключается в том, что в нем используется как бы голосование. Сначала эксперты выставляют оценки независимо друг от друга. Потом, после открытого обсуждения выставленных оценок, эксперты вновь независимо друг от друга дают оценки каждому параметру качества. Впоследствии по скорректированным индивидуальным оценкам рассчитывают экспертную оценку. Эту работу проводит рабочая группа экспертной комиссии. Кроме того, рабочая группа организует процедуру опроса экспертов, анализирует полученные результаты и составляет заключение экспертной комиссии.

Желательно, чтобы для оценок однотипной продукции экспертная комиссия формировалась из постоянных экспертов и членов рабочей группы. Это связано с тем, что в процессе работы относительно постоянной комиссии накапливается опыт работы, происходит обучение ее членов, вырабатываются общие подходы и принципы, а это повышает эффективность работы экспертной комиссии.

Перечень и последовательность основных этапов работы экспертной комиссии состоит в следующем:

1) назначение лиц, ответственных за организацию и проведение работ по экспертной оценке качества продукции;

2) формирование экспертной и рабочей групп;

3) разработка классификации и определение номенклатуры показателей качества оцениваемой продукции;

4) подготовка анкет и пояснительных записок для опроса экспертов;

5) оценка и опрос экспертов;

6) обработка экспертных оценок;

7) анализ и оформление результатов экспертной оценки качества (или показателей качества) продукции.

В практике экспертной оценки качества, в частности при экспертной оценке потребительских свойств продукции в основном применяются комплексная и оперативная экспертизы.

Комплексная экспертиза проводится для всестороннего изучения и оценки качества групп однородных изделий, выпускаемых промышленностью серийно. В связи с этим при экспертизе реализуют системный, комплексный подход к анализу и оценке продукции. При комплексной экспертизе получают не только более полную характеристику оцениваемого объекта, но и определенный научный, методический и нормативный материал, используемый при проведении других видов экспертизы.

Оперативная экспертиза основывается на данных, полученных при проведении предшествующих комплексных экспертиз. Этот прием позволяет существенно сократить объем и сроки экспертных работ при достаточной глубине и обоснованности экспертных заключений.

Наиболее распространенные экспертные методы при классификации по признаку оценки предпочтений:

1. Метод рангов

2. Метод непосредственного оценивания

3. Метод сопоставлений:

Парного сравнения

Последовательного сопоставления

Используя метод рангов, производят ранжирование (упорядочение) исследуемых объектов организованной системы в зависимости от их относительной значимости. При этом наиболее предпочтительному объекту обычно присваивается первый ранг, и наименее-последний, равный по абсолютной величине числу упорядоченных объектов

Таблица 1 - Определение результирующего ранга объектов ранжирования

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов. Достоинством метода рангов является его простота. Недостатками являются:

Невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;

Не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный метод применяется в практике исследования систем управления, несмотря на свою простоту, довольно редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов в зависимости от их важности путем приписывания баллов каждому из них.

При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, "очень важный", "важный", "маловажный", и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

Таблица 2 - Определение результатов непосредственного оценивания объектов

Объект ранжирования №	Эксперт №	Сумма рангов объектов	Результирующий ранг объекта	Весомость объекта

По результатам оценок экспертов место любого объекта можно определить по формуле (1),

где Вi- значимость i-го объекта (i=123….n)рассчитанная на основании экспертов(j=1,2,3,….k)

Aij= оценка (в баллах), данная i-му объекту j-тым экспертом

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до 1 (как метод оценивания). Причем самому важному объекту дается балл равный 1, а всем остальным в порядке уменьшения их значимости, то есть от 1 до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг 1, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

Обработка собранных мнений экспертов проводится как количественная (численных данных), так и качественная (содержательной информации). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, в основном, применяются методы усреднения экспертных суждений. Однако, даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу используются наряду с количественными методами обработки экспертных данных также и методы качественного анализа и синтеза.

При использовании рассмотренных экспертных методов мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать меру согласованности мнений экспертов и определение причин несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов.

Согласованность мнений экспертов определяется с помощью коэффициента конкордации:

где С - сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам (Н) и экспертам (К).

Общими достоинствами экспертных методов являются быстрота получения результатов без наличия нормативной базы в системе управления, возможность оценивания того или иного объекта при невозможности измерить его характеристики количественными объективными методами.

Недостатками экспертных методов являются их субъективность и соответствующие этому возможные погрешности результатов экспертизы, существенные затраты на привлечение опытных экспертов для участия в экспертных работах, влияние авторитетных членов экспертной группы и корпоративных интересов на мнение отдельных экспертов.

Применение всех рассмотренных экспертных методов, несмотря на их недостатки, показывает их эффективность при исследованиях и проектировании систем управления. Причем, наибольший эффект достигается при одновременном использовании нескольких методов.

экспертный качество шкала

Количественные оценки, например деловых и организаторских качеств работника, производятся, как правило, с помощью экспертных оценок. При этом для характеристики кандидата на должность сначала устанавливают (с учетом специфики производства и условий работы) 6-7 критериев. Например:

1. способность организовывать и планировать труд;

2. профессиональная компетентность;

3. сознание ответственности за выполняемую работу;

4. контактность и коммуникабельность;

5. способность к нововведениям;

6. трудолюбие и работоспособность.

По каждому из этих критериев на основе изучения деятельности кандидатов на должность дается соответствующая оценка по избранной, например, пятибалльной шкале (отлично - 5; хорошо - 4; удовлетворительно - 3; не -удовлетворительно - 2; плохо - 1).

Оценки по критериям обычно располагают по нарастающему количественному значению. Например, при оценке по критерию "способность организовывать и планировать труд":

"1" - явно неорганизованный работник и руководитель;

"2" - не умеет организовывать и планировать свой труд и труд подчиненных;

"3" - умеет организовать трудовой процесс, но не всегда удачно планирует работу;

"4" - умеет хорошо организовывать и планировать свой труд и труд подчиненных;

"5" - умеет создавать и поддерживать четкий порядок в работе на основе эффективного планирования.

По своей значимости в общей оценке кандидата на конкретную должность определенные качества всегда имеют различный удельный вес, что устанавливается экспертным путем. Например, по шести указанным выше критериям могут быть приняты определенные значения.

Для определения общей оценки деловых и организаторских качеств кандидата на управленческую должность составляется специальный оценочный лист.

Естественно, чем выше общая оценка по каждой группе качеств, тем более достоин кандидат заместить должность в аппарате управления. Наибольшая возможная оценка - 5, а самая низкая - 1.

Образование, стаж работы и возраст работника должны обязательно учитываться при оценке деловых качеств. Дело в том, что образование - одна из основных качественных характеристик при определении уровня квалификации работника, стаж работы - количественная мера опыта, а возраст находится во взаимосвязи со стажем работы.

Данные об образовании кандидата, его стаже и возрасте учитываются путем расчета коэффициента профессиональной перспективности по формуле:

К = Оу.обр. (1 + С/4 + В/18), где

Оу.обр. - оценка уровня образования, которая обычно принимается (составляет

0,15 для лиц, имеющих незаконченное среднее образование;

0,60 - для лиц со средним образованием;

0,75 - для лиц со среднетехническим и незаконченным высшим образованием;

1,00 - для лиц с высшим образованием по специальности;

С - стаж работы по специальности. В соответствии с рекомендациями НИИ труда он делится на 4 (в связи с тем, что, как установлено, стаж в 4 раза меньше влияет на результативность труда, чем образование);

В - возраст. В соответствии с рекомендациями НИИ труда он делится на 18 (установлено, что влияние возраста на результативность труда в 18 раз меньше, чем влияние образования). При этом за верхний предел возраста для мужчин принимается 55 лет, а для женщин - 50.

На этапе определения общей оценки кандидата на должность величина коэффициента профессиональной перспективности суммируется с общей оценкой по деловым и организаторским качествам. Совершенно очевидно, что предпочтение отдается тому кандидату, который в итоге получит наибольшую оценку, притом обязательно еще и с учетом таким же способом полученных оценок по группам личностных качеств.

Проверка практикой, бесспорно, имеет решающее значение для оценки любого управленческого работника. В связи с этим рекомендуется осторожно и терпеливо испытывать и распознавать среди них настоящих организаторов, сочетающих интерес к делу с умением наладить совместную работу коллектива людей. Для этого при работе с резервом кадров на выдвижение широко практикуется их привлечение к временному исполнению обязанностей руководителя в период его отсутствия, стажировка и другие формы и методы практической проверки. Однако и в таких случаях результаты работы требуют объективных оценок.

На ряде российских организаций накоплен положительный опыт оценки управленческого персонала. Сущность одного из наиболее апробированных и достаточно эффективных методов заключается в использовании квалификации, опыта и интуиции наиболее компетентных в своей области работы специалистов - экспертов. Важнейшими условиями применения этого метода является обеспечение анонимности выставляемых экспертами оценок и обоснованность подбора состава экспертных комиссий.

Если анонимность достигается через специальное анкетирование или тестирование, то обоснованность подбора состава экспертов состоит в их тщательной предварительной оценке, а также в методически грамотном и целенаправленном формировании количественного и качественного состава. Например, главные требования к эксперту - его компетентность в управлении производством, нравственность, глубокие знания и признанное умение решать специальные задачи в соответствии с определенными- функциями.

Одно из требований - хорошо разбираться в одной из смежных специальных областях деятельности, например, для технолога - в экономике, для экономиста - в технологии, линейного руководителя - в правовых вопросах и т. д. Традиционное требование к формированию группы экспертов состоит в их способности провести экспертизу с учетом разнообразных сторон деятельности оцениваемого работника.

Главная опасность при подборе состава экспертов состоит в завышении доли какой-либо подгруппы экспертов, заведомо близкой в своем мнении. Эта опасность заключается не только в односторонности выставляемой оценки, но и в том, что при обработке экспертных мнений все другие оценки потеряют свою значимость. По той же самой причине нежелательно включение в экспертную группу специалистов, авторитет которых резко отличается от среднего авторитета членов комиссии.

Используются группы экспертов двумя способами - индивидуально или группой. Индивидуальный, более распространенный и эффективный способ, заключается в том, что каждый эксперт дает оценку анонимно и независимо от других, а затем эти оценки обобщаются. Групповой способ основан на совместной работе экспертов и получении суммарной оценки от всей группы в целом. При таком способе согласование индивидуальных оценок сочетается с последовательным ознакомлением каждого эксперта с оценками остальных. Требование анонимности при таком способе соблюсти возможно, но при "бумажной технологии" уже появляются сложности.

Групповая экспертиза включает следующие обязательные этапы:

Разработка программы (выбор формы группового суждения с перечнем вариантов или оценок), рекомендаций, решений; выработка принципов и методов получения группового суждения;

Выбор техники опроса или способов выявления индивидуальных мнений;

Формирование экспертной группы;

Проведение опроса экспертов;

Обработка результатов (получение группового суждения);

Анализ результатов.

Результат работы экспертов отражается в документе, вариантами которого могут быть рекомендации, обобщающие оценки, решения. Самым гласным вариантом оформления экспертизы является решение. Самым распространенным - рекомендации, но с указанием определенных признаков будущего решения.

Подбор, согласование и утверждение экспертных комиссий обычно проводят начальник отдела кадров и руководитель организации (организации). Начальник отдела кадров знакомит экспертов с методикой оценки с помощью научного консультанта, который первый раз практически руководит всей работой. На уровне организации в состав экспертных комиссий (комиссия для оценки руководителей аппарата управления, комиссия для оценки линейных руководителей производственных подразделений, комиссия для оценки специалистов аппарата управления) включают обычно 3 - 5, но не более 7 человек. При этом в числе экспертов должны быть как оцениваемый, так и его руководитель.

Анкета оценки руководителя или специалиста, карточка эксперта на аттестуемого, бланк результатов опроса экспертов на аттестуемого, а также, бланк расчета итоговой оценки на аттестуемого - таковы обязательные документы почти любой методики независимо от способа расчетов (вручную или с использованием компьютера).

Основным инструментом аттестации является анкета, которая представляет собой специально разработанный вопросник, включающий перечень определенных качеств и варианты ответа. При этом перечень качеств, которыми должен обладать специалист, зависит от сферы его деятельности и занимаемой должности. Поэтому правильный подбор качеств, их перечень для каждой конкретной должности, а также оценки в баллах рекомендуется устанавливать конкретной экспертной комиссией в организации. Именно в этом - одно из важнейших условий объективной оценки работника.

После обсуждения результатов каждая экспертная комиссия утверждает не только перечень качеств для включения в анкету, но и определяет количественную оценку каждого качества в баллах. Например, в анкету рекомендованы десять качеств, и все они оценены по десятибалльной системе оценок (смотри Таблицу 1).

Таблица 1.

Расположены эти качества в анкете в ранжированный ряд - от более до менее значимого. В соответствии с этим и выставляется первая оценка аттестуемому. Она характеризует степень значимости качества. Вторая оценка - это оценка степени проявления этих же качеств аттестуемого по четырем вариантам ответа. Эксперт при этом должен установить, как часто определяемое качество проявляется у аттестуемого по следующей балльной шкале:

1. если всегда - 1,5 балла;

2. если в большинстве случаев - 1 балл;

3. если иногда - 0,5 балла;

4. если почти никогда - 0 баллов.

При первой оценке ставится знак "+" в графе против качества и его оценки в баллах. При второй оценке ставится знак "+" в графе, соответствующей мнению эксперта.

Обработка результатов оценки аттестуемого осуществляется путем заполнения специального бланка - "Бланк результатов опроса экспертов на аттестуемого". С этой целью знаки "+" из анкет, поставленные экспертами, переносят со знаком "V" в этот бланк. В другом бланке ("Бланк расчета средней оценки аттестуемого") по каждому качеству рассчитывается средний балл по формуле:

Где Зср - средний балл оценки качества по степени его функциональной значимости;

З10 ... 31 - оценка экспертом степени значимости качества по десятибалльной шкале;

N10 ... n1 - количество экспертов, которые присвоили качеству оценку по степени значимости (в баллах);

Одновременно в этом же бланке по каждому из качеств рассчитывается средний балл степени проявления этого качества у аттестуемого по формуле:

Где Пср - средняя оценка степени проявления качеств у аттестуемого;

П1,5 ... П0,5 - степень проявления качеств у аттестуемого по оценке экспертов;

N1,5 ... n0,5 - количество экспертов, отнесших качество к степени его проявления у аттестуемого к тому или иному баллу оценки;

N - общее количество экспертов.

Затем по каждому качеству определяется средневзвешенный балл по формуле:

К = Зср * Пср, где К - качество.

Расчет эталона производится следующим образом: сумма баллов по всем 10 качествам (10+9+8+7+6+5+4+3+2+1 = 57) умножается на 1,5 (коэффициент степени проявления качества, если оно проявляется всегда), или на 1,0 (если оно проявляется в большинстве случаев), или же на 0,5 (если качество присутствует иногда). В итоге получаем следующие результаты:

1) 57 х 1,5 = 85,5;

2) 57 х 1,0 = 57,0;

3) 57 X 0,5 = 28,5.

Таким образом, в первом случае, если оценка работника составляет более 85 баллов, формулируют вывод о его повышении или включении в состав резерва на выдвижение. Во втором случае, если оценка составит от 57 до 85 баллов, делают заключение о соответствии занимаемой должности. В третьем случае, если оценка составляет ниже 28 баллов, фиксируют вывод о том, что работник не соответствует занимаемой должности. При этом весьма ценно и то обстоятельство, что детальный анализ оценок экспертов по качествам может помочь определить для каждого работника конкретные направления совершенствования его деятельности.