Метод оценки качества журнальных статей




Скачать 48.27 Kb.
Дата08.06.2016
Размер48.27 Kb.
МЕТОД ОЦЕНКИ КАЧЕСТВА ЖУРНАЛЬНЫХ СТАТЕЙ
В.А. Глотов, Н.Н. Кузнецова, О.И. Ларичев
Рассматривается проблема оценки качества журнальных статей. Предложен метод принятия решений, позволяющий оценить статьи с учетом предпочтений редколлегия журнала.
1. Рост числа инженеров и научных работников в различных отраслях науки и техники привел к увеличению количества новой информации, к быстрому росту числа научных и технических журналов [1, стр. 91]. Периодическое знакомство с работами даже в сравнительно узких направлениях отнимает все большее время у специалистов. В то же время, недостаточное знание достигнутых результатов приводит к повторению уже сделанных работ, к трате наиболее ценного материала - творческих усилий высококвалифицированных специалистов.

2. Рост количества журнальных статей обусловил появление ряда новых проблем. Прежде всего, уменьшилось время, расходуемое на первоначальное знакомство с каждой из статей. В связи с этим, увеличилась вероятность пропуска ценной, но плохо написанной статьи, статьи, требующей много времени для предварительного знакомства.

Во-вторых, возросла роль рецензентов. Из-за невозможности опубликовать все статьи, все большую роль в публикации стал играть отзыв одного человека, его вкусы, его требования, его критерии.

В-третьих, произошло изменение роли редакции, ее ответственности. Уровень требований к статьям, их темам, содержанию и качеству изложения определяет возможный круг читателей, в значительной степени предопределяет возможность получения новой и ценной информации. Вместе с тем практические возможности редакции оказать влияние на выбор статей уменьшилось. Рост числа статей понижает возможности знакомства с каждой из них, приводит к необходимости во всем полагаться на рецензентов. Увеличение количества рецензентов приводит к разнообразию требований, предъявляемых к статьям. Нередки случаи получения уклончивых рецензий, не позволяющих принять решение о судьбе статьи.

Возникает противоречие между настоятельной необходимостью для редакции влиять на направленность журнала и фактической невозможностью сделать это.

3. Выход состоит в создании системы оценки качества статей, в разработке процедуры принятия решений, в основе которой лежат предпочтения редколлегии журнала. При такой процедуре от рецензента требуется не общая оценка статьи, а ее характеристики по ряду критериев. Выбор критериев, характеризующих качество статьи, отражает предпочтения редколлегии журнала.

Проблема состоит в том, чтобы поставить в соответствие каждому сочетанию качеств по выделенным критериям, один из трех возможных классов решений: принять статью, отправить на доработку или отклонить.

4. Для решения этой проблемы необходима разработка специализированного метода принятия решений, учитывающего ряд принципиальных особенностей рассматриваемой проблемы.

Прежде всего, отметим, что критерии оценки статей имеют качественный характер. В связи с этим, представляется неоправданным использование количественных шкал для этих критериев, так как под одним и тем же числом - оценкой на шкале, каждый эксперт может понимать разные степени качества. Целесообразно использовать шкалы с качественными (словесными) формулировками. Эти формулировки также отражают предпочтения редколлегии. Число качественных оценок на шкале невелико, что вызвано условием четкой различимости между ними.

Во-вторых, степень учета оценок по отдельных критериям в общей оценке статьи, отражающая предпочтения редколлегии, основана на интуитивных представлениях и предположениях; эту степень нельзя определить с помощью беспристрастных объективных расчетов.

Указанные особенности определяют невозможность построения хорошей математической модели, позволяющей на основе какой-либо формулы определить общую оценку статьи и отнести ее к одному из трех указанных выше классов решений.

5. В данных условиях наиболее целесообразна разработка метода принятия решений, основанного на выявлении и учете предпочтений редколлегии, основанного целиком на качественных оценках и суждениях.

Далее кратко излагаются основные идеи метода, разработанного и примененного для задачи оценки качества статей, поступающих в журнал "Приборы и системы управления" издательства "Машиностроение".

Все статьи, поступающие в журнал, разбиваются на группы, близкие по критериям их оценки. Число этих критериев может быть значительным. Важно чтобы совокупность критериев оценки статей была полной, включала в себя все важные характеристики статей. Отметим, что проверку системы критериев на полноту целесообразно осуществлять путем анализа отклоненных статей.

Для каждого из критериев разрабатывается качественная шкала. Критерии, относящиеся к определенной группе статей, составляют анкету, направляемую рецензенту и заменяющую собой рецензию. После заполнения рецензентом анкеты редакция получает совокупность оценок статьи по множеству критериев. Для построения нормативного метода принятия решений все критерии разбиваются на иерархическую совокупность групп, объединенных близостью рассматриваемых качеств. Способ выявления предпочтений редколлегии основывается на предположении, что лицо, принимающее решения, не может одновременно учитывать более чем два фактора (критерия). Исходя из этого предположения, строится дихотомическое дерево критериев, на каждом уровне которого рассматриваются два критерия либо две совокупности близких друг к другу критериев. На каждом уровне дихотомического дерева, начиная сверху, определяются предпочтения редколлегии, позволяющие отнести каждое сочетание качеств двух критериев (или двух совокупностей критериев) к одному из трех классов решений: хорошие, удовлетворительные, плохие. На верхнем уровне дерева эти классы решений совпадают с классами окончательных решений: публиковать статью, отправить на доработку или отклонить. Отметим, что разработанный метод по своим идеям относятся к группе методов, получивших название человеко-машинных процедур принятия решений (см. обзор [2]).

6. Метод оценки статей позволяет редколлегии целенаправленно проводить свою политику, влиять на содержание и стиль журнала. Усиление требований к рецензентам приводит к повышению качества статей.


Литература
[1] Р. Эйрес. “Научно-техническое прогнозирование и долгосрочное планирование”. Издательство “Мир”, Москва, 1971 г.

[2] О. И. Ларичев. “Человеко-машинные процедуры принятия решений”, Автоматика и телемеханика, № 12, 1971.



Глотов В. А., Кузнецова Н. Н., Ларичев О. И. Метод оценки качества журнальных статей // Тезисы докладов VI симпозиума по кибернетике. Часть III. Проблемы коллективных решений и экспертных оценок. — Тбилиси: Институт кибернетики АН ГССР, 1972. — С. 58–61.
@InProceedings{Glotov_Kuznecova_Larichev_1972,

author = "Глотов, В. А. and Кузнецова, Н. Н. and Ларичев, О. И.",

title = "Метод оценки качества журнальных статей",

booktitle = "Тезисы докладов VI симпозиума по кибернетике. Часть III.

Проблемы коллективных решений и экспертных оценок",

address = "Тбилиси",

editor = "",

publisher = "Институт кибернетики АН ГССР",

year = "1972",

pages = "58--61",



language = "russian",

}


База данных защищена авторским правом ©uverenniy.ru 2016
обратиться к администрации

    Главная страница