О методике количественной оценки качества военно-теоретических научно-исследовательских работ

ВОЕННАЯ МЫСЛЬ № 3/1987, стр. 44-51

ВОЕННАЯ НАУКА И ПРАКТИКА

О методике количественной оценки качества военно-теоретических научно-исследовательских работ

Полковник В. С. ЕЛИЗАРОВ,

кандидат военных наук

В статье полковника А. А. Белова «О критериях и методике оценки состояния научной работы в научно-исследовательских учреждениях» изложен метод комплексной оценки научной деятельности НИУ и высших военно-учебных заведений. Изложенная им методика позволяет качественно решать две задачи: дать объективную картину научной деятельности этих учреждений и сравнить их научные достижения. Однако рассматриваемая методика только тогда может стать эффективной, когда выработан надежный инструмент количественной оценки качества каждой НИР. Этому вопросу и посвящена настоящая статья.

ОЦЕНКА качества военно-теоретических научно-исследовательских работ (НИР) является сложной задачей. Результаты научной деятельности исследовательских коллективов (групп) трудно выразить в количественных показателях и оценить в полной мере их важность и перспективное значение. Поэтому до настоящего времени практически нет достаточно разработанной методики, позволяющей производить строгую оценку научно-исследовательского труда. Все известные подходы к этой проблеме в той или иной мере основываются на субъективном мнении людей, а следовательно, не лишены недостатков, обусловленных их ошибками. Наиболее объективными при определенных условиях являются экспертные оценки, хотя и здесь допускается элемент субъективизма, но при упорядочении этого процесса можно его влияние свести к минимуму.

Предлагаемый нами метод основан на экспертной оценке военно-теоретических научно-исследовательских работ. Для повышения его объективности разработаны соответствующие меры.

Во-первых, определены система показателей качества НИР и шкала оценок по ним в зависимости от достигнутого уровня по каждому показателю. Они ставят эксперта в определенные рамки, за которые он произвольно выйти не может, не рискуя допустить необъективность. Показатели качества и шкала оценок по ним заранее широко обсуждаются научными работниками и окончательно уточняются с учетом коллективного мнения.

Во-вторых, окончательная количественная оценка по каждому из показателей качества НИР является результатом оценок многих экспертов, компетентных в этой области, и специалистов, как участвовавших в разработке данного вопроса, так и знакомившихся с НИР на разных этапах ее проведения и использования.

Данная методика предназначена для оценки законченных военно-теоретических научно-исследовательских работ в целях ранжирования их по качеству, научной и практической ценности. В результате определяются труды, занявшие первое, второе, третье место и т. д. Кроме этого, она позволяет определить в некотором числовом выражении научный уровень рассматриваемых работ. Наконец, с ее помощью можно, на наш взгляд, оценивать труд не только всего коллектива, но и каждого исполнителя НИР в соответствии с его вкладом и качеством работы.

Обоснование показателей качества НИР. Опыт свидетельствует, что научно-исследовательские работы трудно сопоставимы по своему содержанию, направленности, важности, конечным результатам и т. п. Так, в одной из них могут быть получены высокие теоретические результаты, не имеющие в настоящее время непосредственного практического выхода; в другой же, наоборот, преобладают практические, а в теоретическом плане не содержится ничего нового; в третьей - найдены новые методы исследований и т. д. Труды могут отличаться и широтой охватываемых положений. Кроме того, не исключаются исследования, в которых разрабатывается один узкий прикладной вопрос, или такие, в которых рассматривается широкий круг проблем военной науки, военного искусства. Сравнивать все эти работы и оценивать по одному показателю нельзя. Поэтому мы считаем, что общая итоговая оценка качества НИР должна складываться из. нескольких составляющих. Нужна система показателей, всесторонне охватывающая ценность, важность, качество, результативность и другие свойства работ.

На наш взгляд, наиболее очевидными для оценки качества выполненной НИР являются следующие характеристики: научно-теоретическая, практическая и методологическая ценность; широта охваченных в теме военно-теоретических проблем; полнота и завершенность проработки вопросов, поставленных заданием. Эти показатели вытекают из самого предназначения НИР и, по-видимому, не вызывают сомнений. Но они не исчерпывают всех сторон военно-теоретической научно-исследовательской работы, многих ее аспектов и результатов.

Нельзя не учитывать и такой фактор, как важность заданной работы и ценность полученных выводов для решения задач обороны страны. Бывают НИР, результаты которых влияют на боевую мощь и боеготовность Вооруженных Сил в целом или нескольких видов ВС. В то же время есть и такие, которые выполняются в интересах лишь одного вида ВС.

В этих отличающихся по важности и направленности работах намечаются разные цели, задачи и условия их реализации, привлекаются различные категории исполнителей. Как правило, для выполнения НИР, заданных решением правительства и Министром обороны СССР, назначаются наиболее опытные и подготовленные коллективы (исполнители). Отсюда вытекает необходимость показателя важности НИР для Вооруженных Сил.

Не находит полной оценки в указанной системе показателей и такой фактор, как степень практической реализации результатов исследований. В некоторых работах еще в процессе их проведения получают такие практически ценные данные, которые до завершения НИР в целом реализуются в патентах, статьях, печатных рекомендациях и т. д. Эту сторону исследований надо учитывать, вводя показатель степени практической peaлизованности НИР ко времени ее завершения (или ко времени оценки экспертной комиссией). Этот показатель близок к показателю практической ценности, но не совпадает с ним, т. к. могут быть работы, имеющие, по общему мнению, очень большую практическую ценность, но не получившие пока никакой реализации. Важное значение имеет своевременность, а тем более - досрочное выполнение НИР. Кроме того, учитывается качество изложения и оформления работы. Наконец, в особый показатель выделяется оценка заказчика НИР.

В итоге можно считать, что для достаточно полной и всесторонней оценки качества и ценности выполненных НИР целесообразно выделить следующие десять показателей: важность работы для Вооруженных Сил; широту военно-теоретических проблем; полноту и завершенность проработки вопросов темы; научно-теоретическую ценность результатов работы; методологическую ценность; практическую ценность; степень практической реализации результатов исследований; качество изложения и оформления; своевременность представления; оценку заказчика.

Количество показателей, по которым оценивается качество научно-исследовательских работ, может быть увеличено, если есть необходимость произвести оценку каких-то специальных сторон выполненной НИР, например, степени применения в ней методов математического моделирования или использования боевого опыта и т. д. Для этого вводятся дополнительные показатели.

Оценка каждой НИР по любому из показателей или их совокупности производится двумя способами.

Первый - каждая НИР по избранному показателю сравнивается с определенной идеальной эталонной работой, имеющей высший балл оценки. В результате сравнения проставляется оценка в баллах НИР по данному показателю. Поскольку такой идеальной работы не существует, она представляется экспертом лишь мысленно. Свой мысленный идеал он прикладывает к каждой НИР.

Второй способ заключается в том, что эксперты выбирают из числа оцениваемых работ лучшую по данному показателю и присваивают ей наивысший балл. Остальные работы оцениваются методом сравнения с выбранной НИР по этому показателю.

Разница между этими способами состоит в том, что первый дает оценку, приближенную к абсолютной (т. е. относительно абсолютного научного уровня), а второй - сравнительную. Последний способ, на наш взгляд, более конкретен и несколько точнее первого, т. к. сравнение происходит с реально отобранным образцом, а не мысленно представляемым уровнем. Если необходимо сохранить преемственность и постоянство подхода к оценке НИР в течение длительного периода, удобнее пользоваться первым способом. Однако при этом надо зафиксировать «идеал» (описать его модель). Для более точной ранжировки НИР (распределение по местам в соответствии с их качеством) следует пользоваться вторым способом. В излагаемой методике применяются оба способа.

Для упорядочения и дисциплинирования процесса оценки НИР, а также уменьшения фактора субъективности целесообразно производить градацию оценок по каждому показателю в зависимости от результатов, полученных в НИР. Каждой градации должна соответствовать оценка в баллах.

Систему показателей и оценок в баллах необходимо заранее обсудить с участием широкого круга ученых и руководителей. Так, для рассмотренной выше методики можно взять следующие градации в баллах.

Градация оценок показателей НИР. «В а жн ость работы для Вооруженных Сил»: (10-9) - если работа задана решением правительства, приказом Министра обороны СССР или главкома вида ВС (имеет значение для Вооруженных Сил в целом или нескольких видов ВС); (9-7) - приказом Министра обороны СССР, начальника Генерального штаба и имеет значение для одного вида ВС; (8-6) - приказом главкома вида ВС и имеет значение для одного вида ВС; (7-5) - распоряжением начальника главного штаба, заместителя главкома вида ВС, начальника управления и имеет значение для одного рода войск, вида ВС; (6-4) - работа, выполняется в интересах рода войск, службы, управления или учреждения.

«Широта военно-теоретических вопросов»: (10-9) - работа охватывает широкий комплекс вопросов военной науки, развития и боевого использования ВС в целом; (9-8) - исследуется круг проблем оперативного искусства видов ВС, их боевого или другого вида обеспечения; (8-7) - в НИР отражены вопросы боевого применения, а также боевого и других видов обеспечения родов войск (сил); (7-6) - рассматриваются вопросы боевого применения и тактики частей и соединений вида ВС; (6-4) - работа посвящена вопросам боевого и других видов обеспечения; (4-1) - отражены отдельные прикладные вопросы.

«Полнота и завершенность разработки вопросов темы»: (10-9) - в НИР полностью проработаны тема исследования и вопросы технического задания (ТЗ). Кроме того, исполнители разработали некоторые дополнительные положения, не предусмотренные ТЗ, но существенно дополняющие исследуемую проблему; (9-8) - рассмотрены все вопросы ТЗ и тема не требовала дополнительных исследований; (8-7)-отражены все условия ТЗ, но тема нуждается в исследовании отдельных вопросов; (6-5) - разработаны все положения ТЗ, но некоторые недостаточно полно.

«Научно-теоретическая ценность результатов работы»: (10-9) - в НИР решена крупная научная проблема или обосновано новое научное направление; (9-8) - изучено несколько новых военно-научных положений боевого применения войск (сил), оперативного, боевого или специального обеспечения; (8-5) - разработан хотя бы один новый научный вопрос в исследуемой области; (5-1) - работа, не содержащая разработок новых научных вопросов.

«Методологическая ценность НИР» (использование новых методов исследования): (10-9) - в работе применены новые, ранее неизвестные оригинальные методы научного исследования, имеющие общенаучное значение, рекомендуемые для внедрения в практику; (9-8) - использованы новые методы научного исследования, имеющие частное значение для данной отрасли; (8-7) - рассмотрены новые для данной отрасли, но применявшиеся ранее методы; (6-5) - реализована совокупность известных, но современных методов научного исследования; (4-1) - работа, в которой авторы ограничились упрощенными методами исследования и не использовали новых.

«Практическая ценность»: (10-9) - работа, в которой разработаны тактико-технические характеристики (ТТХ) на новую систему вооружения и военной техники (ВВТ) и на их основе издано постановление партии и правительства на опытно-конструкторскую работу (ОКР) или исследована полностью идеология боевого применения новой системы ВВТ; (9-8) - обоснованы ТТХ на отдельный комплекс (образец) вооружения и военной техники или показаны формы и способы боевого применения нового образца ВВТ; (8-7)-доказана необходимость модернизации существующих образцов вооружения и военной техники или предложены новые формы и способы их боевого применения; (7-6) - показаны новые формы и способы применения существующего вооружения и военной техники, новые учебные тренажеры и методика их использования; (6-4) - содержатся несколько практических предложений по боевому применению ВВТ; (4-1) - имеется одно предложение по боевому применению ВВТ.

«Степень практической реализации работы»: (10-9) - работа, в которой еще в процессе исследования полученные результаты применены на практике (опубликованы в статьях официальных изданий, выданы авторские свидетельства (патенты) на изобретения, рацпредложения и т. д.); (8-6) - результаты труда были использованы сразу после завершения исследований и имеются подтверждения этому к моменту работы экспертной комиссии; (6-1) - вопросы, раскрытые в НИР, приняты к реализации, о чем имеется документ, но еще не использовались на практике.

«Качество изложения и оформления»: (10-8) - работа изложена, отредактирована достаточно хорошо, оформлена в соответствии с требованиями стандартов и приказов; (7-5)-имеются незначительные недостатки в оформлении, изложении и редакции; (4-1) - наличие существенных недостатков в оформлении, изложении и редакции.

«Своевременность представления»: (10-8) - работа выполнена досрочно, с опережением до 1/4 срока; (7-5) - разработана с небольшим опережением и в срок (по усмотрению эксперта).

«Оценка заказчика»: (10-8) - заказчик (головной исполнитель) отмечает высокий научный уровень, полноту, своевременность, практическую ценность, реализуемость результатов; (7-6)-в заключении заказчика (головного исполнителя) отмечается несколько из указанных выше качеств; (6-5) - указано лишь одно из перечисленных свойств.

Определение весов показателей. Показатели качества НИР не равноценны. К примеру, широта охваченных в работе вопросов важнее качества изложения и оформления, а практическая ценность НИР превосходит оба эти показателя и т. д. Поэтому при оценке работ с применением данной методики нужно учитывать степень их важности. Для этого методом экспертной оценки и последующего обсуждения определяются веса показателей. Состав экспертов должен быть представительным и включать авторитетных ученых, руководителей научных подразделений, кафедр, факультетов и политорганов.

Порядок определения весов показателей состоит в следующем. Каждый эксперт выполняет парное сравнение каждого показателя со всеми остальными и определяет, какой из них и в какой степени важнее. При сравнении и ранжировании они сначала рассматривают нечетные ранги, которые принимаются в качестве основных. Первый ранг присваивается в случае, если показатели одинаково важны (оба вносят одинаковый вклад в достижение поставленной научной цели). Третий - если один немного важнее другого (слабое превосходство). Оценка в баллах выше на 1-2 (есть некоторые основания предпочесть один показатель другому, но их нельзя считать неопровержимыми). Пятый - если один существенно важнее другого (сильное превосходство). Оценка выше на 3-4 балла (существуют веские свидетельства того, что один показатель более важен). Седьмой - если один важнее другого. Оценка выше на 5-6 баллов (имеются неопровержимые основания, чтобы предпочесть один другому). Девятый - если один абсолютно важнее другого. Разница в оценках 7-8 баллов (превосходство одного из показателей столь очевидно, что не может вызвать ни малейшего сомнения).

Второй, четвертый, шестой и восьмой считаются промежуточными значениями между нечетными рангами и присваиваются тогда, когда оценка последних затруднена. Результаты сравнения заносятся в таблицу (рис. 1). Парное сравнение при ее заполнении удобнее производить по строкам, одновременно заполняя столбец того же номера, что и строка. Если эксперт при сравнении считает, что показатель важности работы очень незначительно превосходит показатель широты охваченных вопросов, то в строке 1 против столбца 2 ставится цифра 2. Тогда в строке 2 первого столбца отмечается обратное значение, т. е. 1/2 = 0,5.

О методике количественной оценки качества военно-теоретических научно-исследовательских работ

Количество таблиц, представляющих матрицы рангов, равно числу экспертов. Для каждой матрицы определяется вектор, соответствующий ее наибольшему собственному значению. Число элементов собственного вектора должно соответствовать количеству оцениваемых показателей. Элементы собственных векторов матриц нормируются на единицу. Затем вычисляются осредненные по всем экспертам нормированные значения элементов векторов, которые и принимаются за веса показателей. Общая их сумма должна быть равна единице. В дальнейшем при оценке работ каждый показатель используется с присвоенным ему весом. Полученные таким образом результаты могут быть обсуждены с участием широкого круга ученых и руководителей.

Оценка выполненных научно-исследовательских работ по достигнутому уровню показателей. Используя данный метод, эксперты оценивают каждую НИР по десяти показателям, руководствуясь изложенной выше градацией показателей. Оценка проставляется в баллах. В тех случаях, когда по градациям она указана в диапазоне баллов, конкретное ее значение эксперт выставляет по своему усмотрению. В итоге заполняется таблица (рис. 1), в левой колонке которой по вертикали записываются НИР по порядку, а по горизонтали заносятся баллы оценок соответствующих НИР по всем показателям.

Общую оценку каждой НИР по всем показателям эксперт получает как сумму от произведения оценки показателя в баллах на их весовое значение. В последнюю графу указанной таблицы эксперт проставляет также конкурсное место работы в зависимости от общего балла оценок. Научно-исследовательская работа, получившая максимальный балл, занимает первое место. Групповая оценка качества определяется как осредненное значение оценок всех экспертов. Окончательное распределение по конкурсным местам производится по общегрупповым оценкам всех специалистов.

При необходимости оценка по изложенному методу может выполняться в упрощенном варианте. Например, общенаучный уровень и практические результаты НИР можно определить только по первым шести показателям, а остальные четыре - исключаются. Для того, чтобы не пострадала полнота оценки, в этом варианте целесообразно степень практической реализации (седьмой показатель) учесть при оценке по шестому показателю, восьмой и девятый - по третьему, а десятый - частично при предварительном отборе работы для оценки, а также по третьему, четвертому и шестому показателям. Если все шесть показателей имеют одинаковые веса, т. е. работы примерно равны по важности, процесс оценки можно еще больше упростить. При этом общую оценку каждый эксперт определяет как среднеарифметическую по всем шести показателям.

Изложенный метод позволяет, на наш взгляд, оценить общенаучный уровень научно-исследовательских работ. Этот показатель удобно выразить нормированной на единицу величиной и назвать коэффициентом научного уровня, который определяется как частное от деления суммы групповой оценки всех НИР в баллах на произведение числа показателей и количества оцениваемых работ. Коэффициент научного уровня может быть использован для сравнения качества проведенных исследований по годам.

Сравнительная оценка качества научно-исследовательской работы. Пользуясь этим методом, эксперт по каждому из показателей производит парное сравнение всех научно-исследовательских работ и данные заносит в таблицы. Общее число этих таблиц равно произведению числа экспертов на количество показателей. Таким образом происходит ранжирование НИР между собой по каждому из показателей. При сравнении эксперты пользуются указанной выше градацией рангов в баллах.

О методике количественной оценки качества военно-теоретических научно-исследовательских работ

Для каждой таблицы (матрицы) определяется собственный вектор, соответствующий ее наибольшему собственному значению (для этого может быть использована стандартная программа ЭВМ). Число элементов собственного вектора должно быть равно числу оцениваемых работ. Все они нормируются на единицу. Полученная таким образом величина показывает как бы долю вклада конкретного исследования в данный показатель. При этом общее значение всех оцениваемых НИР по этому показателю принимается равным единице. Затем определяется осредненная по всем экспертам нормированная величина доли вклада НИР в каждый из показателей.

Показатели качества работы при оценке рассматриваемым методом также берутся со своими весами. Общая схема оценки показана на рис. 2. Прямоугольники с надписью «НИР» обозначают нормированную на единицу долю вклада данного научного труда по мнению каждого эксперта в общее значение показателя.

При оценке этим методом дважды применяется попарное сравнение: первый раз - при определении весов показателей, второй - при определении доли вклада оцениваемой НИР в каждый показатель. Это повышает точность сравнительной оценки. Конечный результат оценки определяется как сумма произведений веса показателя на осредненное по всем экспертам нормированное значение доли вклада НИР в каждый показатель.

Этот конечный результат можно представить следующим образом. Предположим, всей совокупностью законченных и оцениваемых работ решена какая-то одна или комплекс научных проблем. Если этот комплекс принять за нечто завершенное целое и обозначить единицей, то величина конечного результата оценки является той долей, которую в единицу внесла данная НИР. При этом сумма всех оценок конечных результатов (для всех оцениваемых НИР) равна единице. Конкурсное ранжирование исследований производится по величине оценки конечного результата. Работа, получившая максимальное значение данного показателя, занимает первое место, минимальное - последнее.

Изложенный метод обеспечивает, на наш взгляд, комплексность произведенной оценки качества научной и практической ценности НИР. Достоверность (близость к истинным значениям) оценок определяется степенью их согласованности (совпадения). Коэффициент согласия (конкордации) для суммарной ранжировки определяется по известной формуле метода экспертных оценок. Вероятность того, что согласованность мнений (оценок), характеризуемая коэффициентом согласия, есть случайное совпадение, проверяется по таблице Пирсона - распределения случайной величины. Для получения коэффициента согласия и распределения случайной величины составляются матрицы рангов. Если в результате расчетов коэффициент согласия будет находиться в диапазоне (0,5-1) при вероятности (согласованность мнений есть случайное совпадение) свыше 0,001, то это свидетельствует об удовлетворительной и хорошей согласованности экспертов. Если коэффициент согласия меньше 0,5, проводится повторная экспертиза, но уже другим составом экспертной комиссии.

Использование данной методики в практике, на наш взгляд, будет способствовать повышению качества и эффективности выполнения военно-теоретических научно-исследовательских работ.

Военная Мысль. - 1987. - № 2. - С. 45.


Для комментирования необходимо зарегистрироваться на сайте

  • <a href="http://www.instaforex.com/ru/?x=NKX" data-mce-href="http://www.instaforex.com/ru/?x=NKX">InstaForex</a>
  • share4you сервис для новичков и профессионалов
  • Animation
  • На развитие сайта

    нам необходимо оплачивать отдельные сервера для хранения такого объема информации