Академик Георгий Георгиев. Организация науки в России.
Проблема оценки институтов и лабораторий.

В 2008 г. появились первые документы Правительства РФ и Минобрнауки о необходимости осуществить проверку институтов. При этом Минобрнауки создало документ, содержащий критерии для оценки, которые не информативны и позволяют произвольно отнести любой институт к высшей, средней или низшей категории. Я сразу откликнулся статьей в STRF.ru, содержание которой было доведено до сведения руководства Минобрнауки, РАН и других заинтересованных организаций. Основной постулат — оценку, прежде всего, следует давать научным коллективам, лабораториям, а не институтам в целом. Там критерии абсолютно ясны и прозрачны. Текст статьи приводится ниже.

Публикация 22.10.08 на сайте STRF.ru

Как проводить оценку институтов, не разрушая науку.

В настоящее время по инициативе руководителей Минобрнауки обсуждается вопрос об оценке научно-исследовательких институтов. Исходным для обсуждения стал документ, предложенный министерством, в котором регламентируются оценочные критерии деятельности НИИ. До конца октября предлагается закончить его обсуждение и предложить поправки. Документ МОН содержит очень сложную анкету, заполнение которой потребует больших усилий от учёных и администраторов и которая ровным счётом ничего не даст для реальной оценки. Исправить, дополнить или улучшить этот документ мне представляется невозможным. Поэтому принятие Правительством РФ решения о методике оценки институтов, базирующегося на данном документе, после конца октября будет иметь разрушительные последствия для нашей науки. Обсуждение надо продолжить хотя бы на несколько месяцев и рассмотреть абсолютно другие концепции оценки, которые предлагались бы исходно не МОН, а учёными, всю жизнь проработавшими в науке и добившимися в ней как первоклассных научных достижений, так и организационных результатов в создании эффективно работающих институтов.

Сомнений нет, результативность труда учёных следует периодически (в среднем раз в пять лет) оценивать и делать из этого соответствующие выводы.

Предметом оценки должны быть научные подразделения института

Следует прежде всего подчеркнуть, что научной единицей — и в фундаментальной, и в фундаментальной социально ориентированной, и в прикладной науке — является не институт в целом, а научный коллектив: отдел, лаборатория или группа, руководимая научным лидером, и только они и могут быть объектом оценки.

Как правило, лаборатории в институте сильно различаются по своему качеству. При оценке института слабые подразделения будут прятаться за спиной сильных. Особенно это легко в больших институтах, где всегда найдётся такое «прикрытие». Вообще институты сильно различаются по размерам, что далеко не всегда коррелирует с их качеством их научной деятельности. Ясно, однако, что при оценке лишь общего числа сильных работ институт с тысячей научных сотрудников будет всегда иметь огромное преимущество перед институтом с сотней научных сотрудников. Между тем процент слабых подразделений в большом институте может быть очень велик. При оценке институтов в целом, по алгоритмам, сходным с предлагаемыми МОН, всё стирается, и можно получить оценки, противоречащие истинной силе институтов.

Это, в частности, показала акция оценки институтов, проведённая несколько лет назад РАН по схеме, схожей со схемой МОН. Все институты оказались хорошими.

Поэтому я предлагаю кардинально отличную от той, которую разрабатывает Минобрнауки, систему оценки институтов, которая проводится на основании прежде всего оценки научных единиц НИИ — его лабораторий, отделов и независимых научных групп. Сумма оценок коллективов плюс некоторые дополнительные сведения об институте в целом дадут полную информацию об эффективности деятельности последнего.

Оценку научного подразделения института можно сделать, не прибегая к сложным и запутанным схемам. Опыт в этом отношении имеется. Такая система была успешно апробирована в Отделении биологических наук РАН (ОБН РАН) в 2006—2007 годах, хотя её результаты и не были использованы при проведении сокращения штатов в институтах. Кстати, Министерство науки и образования вполне осведомлено о данном опыте ОБН РАН, но почему-то забыло об этом простом и ясном алгоритме оценки.

Такая система неприменима только в случае «большой науки», когда усилиями одного или нескольких институтов решаются очевидные с самого начала крупные задачи государственного значения (ядерное оружие, космос и т.п.). Но там всё бывает ясно по результату (см. приложение 2).

Этапы оценки

Я предлагаю следующую последовательность действий по оценке институтов.

Этап 1. Разработка анкет для разных направлений наук. Хотя в целом построение анкет должно быть более-менее единообразным, возможны разные вариации, и вес разных показателей в последующей оценке тоже может варьироваться в зависимости от направления и типа института. Текст анкеты для «молекулярной и клеточной биологии» приведён в следующем разделе. Сходные анкеты пригодны и для многих других направлений естественных наук. Они касаются прежде всего РАН и прочих государственных академий, где основными являются фундаментальные и ориентированные исследования.

Этап 2. Рассылка анкет, их заполнение руководителями подразделений и сбор анкет со всех подразделений института, кроме подсобных. Если в институте имеются разные крупные научные направления, то подразделения заполняют анкеты, соответствующие их специальности. Каждая лаборатория определяет, работает ли она в основном над фундаментальными проблемами, в социально ориентированной фундаментальной науке или занимается прикладными разработками. К анкетам подразделений прилагаются краткие дополнительные сведения об институте. Хочу подчеркнуть, что приводимые анкеты ясны, а их заполнение требует от завлаба не более двух рабочих дней.

Этап 3. Небольшие технические комиссии обрабатывают анкеты и сводят их в таблицы для анализа. Создаётся сводная таблица по серии однопрофильных институтов. Она содержит объективные показатели деятельности подразделений институтов. Для столь крупного направления, как «молекулярная и клеточная биология», хватило трёх комиссий по три человека, которые работали не более трёх-четырёх недель.

Этап 4. Из числа руководителей лабораторий, имеющих наиболее высокие объективные показатели по данному направлению, составляются экспертная комиссия (ЭК) и экспертная группа. Последняя проверяет справедливость субъективных показателей и адекватность объективных. На основании их отзывов вносятся коррективы в сводную таблицу. Это особенно важно в случае ориентированных и прикладных работ. Экспертные оценки позволяют не пропустить сильные коллективы, имеющие по каким-либо не зависящим от них причинам низкие объективные показатели. Такая работа в 2007 году не проводилась, но она проводилась в конкурсе по соответствующей программе фундаментальных исследований президиума РАН. Опыт показывает, что для неё надо не более месяца, но при этом экспертная оценка проводится наиболее сильными учёными (см. приложение 3).

Этап 5. ЭК рассматривает приведённые материалы, на их основании относит лаборатории к той или иной группе: А (ведущие лаборатории, работающие на мировом уровне), Б1 (хорошие лаборатории), Б2 (удовлетворительные), В1 (сильные прикладные лаборатории), В2 (средние по силе прикладные лаборатории), Г (слабые лаборатории, подлежащие реорганизации или сокращению). Определяется число и процент подразделений института, число и процент его сотрудников, относящихся к каждой группе, что сразу даёт однозначную характеристику института. Не надо прибегать ни к каким сложным расчётам.

Этап 6. Сводная таблица передаётся в оцениваемые институты, которые могут её проверить и указать на предполагаемые, по их мнению, ошибки. Последние рассматриваются ЭК и/или специальным контрольным советом.

Этап 7. На основании конечных результатов оценки института руководство Академии выносит решение о распределении поддерживаемых бюджетом (или субсидиями) его штатных единиц и объёма неконкурсного финансирования. Решения по каждому институту должны быть открытыми и доступными контролю и обжалованию (до вынесения окончательного вердикта). МОН может осуществлять общий контроль за проведением оценочной деятельности.

Образец анкеты для оценки подразделения академического института, работающего в области естественных наук, на примере направления «молекулярная и клеточная биология»

Привожу пример анкеты, использованной в Отделении общей биологии для институтов, работающих по направлению «молекулярная и клеточная биология», с некоторыми модификациями, касающимися в основном прикладной тематики.

Анкета заполняется всеми структурными научными подразделениями института (лаборатория, отдел, научная группа при дирекции), кроме подсобных обслуживающих подразделений. Информация предоставляется в бумажном и электронном виде. Требования к оформлению: Times New Roman, шрифт 12, одинарный интервал.

1. Общие сведения о подразделении.

1.1. Институт.

1.2. Тип и название подразделения и год его образования.

1.3. Руководитель подразделения: фамилия, имя, отчество, возраст на 31.12.08, должность, степень, звание, академическое звание.

1.4. Преимущественный тип исследований: Ф — фундаментальные, О — ориентированные (фундаментальные социально ориентированные), П — прикладные.

1.5. Персональный состав подразделения, включая внештатных сотрудников (отметить звёздочкой) и аспирантов: порядковый номер, фамилия, имя, отчество, возраст на 31.12.08, должность, степень, звание, академическое звание. Если какая-то часть подразделения по той или иной причине не участвует в научном процессе или не эффективна и не внесла вклад в работу подразделения, руководитель подразделения может выделить таких сотрудников в отдельный список с указанием причин.

2. Основные направления исследований и наиболее важные достижения подразделения в области фундаментальных и ориентированных исследований. Перечислить наиболее важные достижения подразделения за последние 10 лет со ссылками на публикации (для подразделений, созданных недавно — достижения за период с момента их организации плюс более ранние, за последние 10 лет достижения руководителя). Объём — не более двух страниц. Обратить особое внимание на более поздние достижения.

3. Научная продукция подразделения (в основном — фундаментальные и фундаментальные социально ориентированные исследования).

3.1. Полный список публикаций в рецензируемых международных и российских научных журналах за период 2004—2008 годов. Вначале приводятся в хронологическом порядке статьи в международных журналах, затем в хронологическом порядке статьи в российских журналах. Приводятся только статьи, где в титуле поименован российский институт, в котором работает (работал) сотрудник подразделения. Для руководителя подразделения, вернувшегося из-за границы, можно приводить статьи от института, в котором он работал тот период. В списке статей приводятся: порядковый номер публикации (он же проставляется на ксерокопии — см. ниже), все авторы (фамилия и инициалы), название статьи, журнал, год, том, страницы. Подчеркнуть фамилии сотрудников данного подразделения. В ссылках на обзорные статьи в конце в скобках указывать «обзор». Тезисы в список публикаций не включаются. К списку публикаций в международных журналах прикладываются ксерокопии первых страниц публикаций, а также последних страниц, если информация об институтах упомянута на них. Статьи, направленные в печать, можно приводить, прикладывая ксерокопию письма из журнала о принятии статьи в печать.

3.2. Список из 10 лучших статей до 2004 год (с ксерокопиями страниц для международных публикаций, как в п. 3.1).

3.3. Список монографий, учебников и глав из монографий или сборников за 2004—2008 годы, международных и российских, оформленный по тем же правилам.

3.4. Список международных и российских патентов с приложением ксерокопий, а также список заявок на патенты.

3.5. Индексы цитирования (ИЦ) работ подразделения. Привести ИЦ за последние 15 лет десяти наиболее часто цитируемых работ руководителя или сотрудников. Указать полную ссылку и число цитирований. Можно перечислить статьи, оставив поиск ИЦ технической комиссии. Если статья не приводилась выше, приложить ксерокопию первой страницы.

4. Поддержка исследований подразделения в 2004—2008 годах международными и российскими грантами, не налагающими на подразделение коммерческих обязательств. Указать названия фондов, сроки и номера грантов.

5. Достижения подразделения в прикладных работах.

5.1. Привести основные достижения в области прикладных работ. Указать, по чьим заказам и при какой поддержке они выполнялись. Указать, что явилось результатом работы с обоснованием (технология, образец, коммерциализация и т.д.). Дать ссылки на публикации, патенты.

5.2. Привести акты о внедрении.

6. Работа по подготовке кадров.

6.1. Какие подразделения выделились в 2004—2008 годах из данного подразделения: фамилия, инициалы руководителя, тип и название подразделения, место работы.

6.2. Перечень защищённых в 2004—2008 годах сотрудниками подразделения докторских и кандидатских диссертаций. (Приложить ксероксы двух первых страниц авторефератов.)

6.3. Перечень диссертаций, защищённых в 2004—2008 годах под руководством сотрудников подразделения сотрудниками других подразделений или других учреждений.

7. Данные о российском и международном признании.

7.1. Почётные звания руководителя и сотрудников.

7.2. Премии и другие научные награды руководителя и сотрудников с указанием года.

7.3. Выступления руководителя или сотрудников на международных конгрессах или симпозиумах в качестве пленарного или симпозиального докладчика в 2004—2008 годах (приложить ксерокс программы конгресса или симпозиума или другого свидетельства участия).

8. Любая дополнительная информация от дирекции или лаборатории, которая повышает значимость последней.

Анкета подписывается руководителем подразделения и утверждается директором института.

К анкетам подразделений прикладываются общие сведения об институте:

1. Наличие специализированных учёных советов для защиты диссертаций.

2. Участие института в учебном процессе: число профессоров и доцентов вузов, наличие Учебного центра и его характеристика.

3. Наличие Центра коллективного пользования оборудованием: его оснащение и использование.

4. Подсобные вспомогательные подразделения и другие общие сведения.

Эти сведения важны для характеристики института, но основным для оценки института является уровень научной работы, который выясняется при оценке работы его подразделений.

Обработка анкет подразделений института и получение сводной таблицы

Технические группы для обработки анкет следует создать из сотрудников разных институтов, чтобы данные института не обрабатывались его сотрудниками. Результаты работы технической группы должны быть открытыми, что позволит заинтересованным лицам в случае необходимости провести их проверку. В приложении 1 в качестве примера даётся сводная таблица по Институту биологии гена РАН по итогам проверки его деятельности в 2006—2007 годах.

Графа 1 включает: тип подразделения, ФИО руководителя подразделения, его возраст и звание. Положительными показателями являются академическое звание и возраст до 45 лет включительно. В конце характеризуется преимущественный тип исследований (Ф — фундаментальные, О — ориентированные, П — прикладные) и предварительно указывается, к какой оценочной категории (см. выше) относится данное подразделение.

Графа 2 представляет общий состав подразделения: число сотрудников, число сотрудников до 35 лет включительно, число аспирантов. Плюсом является, если молодые сотрудники составляют половину всего состава подразделения, а число аспирантов достигает одной трети от основного состава.

Графа 3 (одна из наиболее важных для фундаментальных и ориентированных работ) характеризует продуктивность коллектива за последние пять лет.

На верхней строке указывается общий импакт-фактор (ИФ) публикаций в международных журналах за пять лет и число таких публикаций. При расчетах делается поправка на вклад коллектива в каждую работу. Для получения полного балла надо, чтобы сотрудник подразделения занимал первую (основной исполнитель работы) или последнюю (руководитель работы) позицию в списке авторов, а институт был первым в списке институтов. Не останавливаясь на других деталях, отмечу, что если автор из данного подразделения находится где-то в середине списка, он получает лишь четверть ИФ, а если в заглавии нет института, то такие статьи не засчитываются. (Исключением являются статьи вернувшегося из-за рубежа руководителя коллектива — см. выше.)

На второй строке приводится средняя величина ИФ на одну статью и далее на одного сотрудника коллектива. Последняя величина очень важна, поскольку характеризует среднюю эффективность работы сотрудников коллектива.

Для получения коллективом самой высокой оценки, предполагающей его отнесение к группе А, суммарный ИФ за пять лет должен быть не ниже 40. Это означает, что подразделение выпускает в среднем за год две статьи в солидных международных журналах. Для группы Б1 этот показатель не должен быть ниже 20, а для группы Б2 — ниже 10. Если на одного сотрудника приходится четыре или более баллов, коллектив перемещается в более высокую группу.

Почему я придаю столь большую роль ИФ? В целом этот показатель хорошо коррелирует с уровнем работ, публикуемых в журнале. Чем выше ИФ журнала, тем более высокие требования предъявляются к статье при публикации в этом журнале. На пути к опубликованию статья проходит сквозь строй жёсткой критики зарубежных экспертов. В настоящее время они особенно придирчивы к российским авторам, не делают им никаких поблажек, таким образом их оценка свидетельствует о высоком качестве опубликованных в таких журналах работ, а также о том, что проведённые исследования достигают действительно мирового уровня.

Кстати, становится излишней иностранная экспертиза при оценке лабораторий, к которой призывают многие деятели, и которая, на самом деле, только вредна (см. приложение 2, 3). Публикация в хорошем журнале уже прошла через такую экспертизу.

Увы, в национальных журналах (не только российских) такой жёсткой экспертизы нет, и публикации в них мало что дают для оценки. Тем не менее внизу графы приводится число статей в российских научных журналах. Оно не должно быть малым, так как они важны для образования начинающих учёных, особенно на периферии. Если некоторые российские журналы уже вышли или выйдут на уровень международных и получат существенный ИФ, они перейдут в соответствующий раздел.

В графе 4 дан суммарный ИФ 10 лучших публикаций членов коллектива за предыдущие годы независимо от того, где они были выполнены. Этот показатель имеет лишь дополнительное значение, так как отражает прежнюю продуктивность участников. Хорошо, если он выше 30.

Графа 5 содержит: выпущенные за пять лет монографии (верхняя строка); учебники (вторая); главы в книгах или сборниках (третья); обзоры в международных и российских изданиях (четвёртая строка); суммарный ИФ для обзоров в международных журналах (нижняя строка). Международные публикации книг и обзоров свидетельствуют о хорошем уровне лаборатории.

Графа 6 содержит индекс цитирования (ИЦ) и число приведённых работ (если оно меньше 10). При расчёте конечного ИЦ действуют те же правила анализа вклада лаборатории в работу, что и при расчёте ИФ. Если ИЦ достигает 500, подразделение переводится на одну позицию вверх.

Я придаю ИЦ меньшую роль для оценки, чем ИФ, по следующим соображениям. Во-первых, ИФ отражает продуктивность подразделения в настоящее время, а ИЦ часто за существенно более ранний период. Во-вторых, ИЦ российских работ часто искусственно занижается. Даже совершенно пионерская работа часто повторяется за рубежом и цитируется, но только один раз, а затем все начинают ссылаться на вторичную западную работу. Таких примеров множество. В-третьих, часто цитирование зависит от прямых контактов с западными учёными, что к уровню науки отношения не имеет. Я в своё время имел наиболее высокий ИЦ среди биологов СССР и хорошо знаю всю эту кухню. Некоторые не слишком сильные работы цитировались многократно, а первоклассные повторялись и далее приписывались тому, кто их повторял.

Графа 7: основные гранты, выигранные лабораторией. Престижные гранты повышают рейтинг лаборатории.

Графа 8: прикладные работы лаборатории: число международных/российских патентов (первая строка); число заявок на патенты (вторая строка); число свидетельств о внедрении (третья строка); экспертная оценка уровня прикладных работ (четвёртая строка). В какую группу попадёт лаборатория, занимающаяся прикладными работами, определяет наличие патентов (особенно международных и реализованных) и экспертная оценка достижений.

Графа 9: источники поддержки прикладных работ.

Графа 10: подготовка кадров. Приводится: число новых групп, выделившихся за 2004—2008 годы из подразделения (первая цифра); число сотрудников, защитивших докторскую диссертацию (вторая) и кандидатскую (третья). Это важная для общей оценки графы.

Графа 11: премии и почётные звания руководителя и сотрудников коллектива. Члены государственных академий указываются в случае, если они не являются руководителями подразделений. Приводятся их фамилии.

Графа 12 показывает участие сотрудников подразделения в научных симпозиумах: всего выступлений (первая строка); пленарных докладов — международных и российских (вторая строка); симпозиальных (третья строка).

Графа 13: прочая важная информация.

Графа 14: поправки, внесённые экспертами в оценку, утверждённые экспертной комиссией, в том числе: рекомендации по изменению числа баллов в графе 3 (верхняя строка); экспертная оценка ориентированных работ (нижняя строка). На основании тщательного анализа эксперт может выявить нарушения, например, использование лабораторией публикаций своего сотрудника, который многие годы работает только на Западе, но, сохранив место в институте, вставляет институт в заглавие. Тогда соответствующие статьи выводятся из списка. Или если эксперт осведомлён об очень высоком качестве работы исследователя, но одновременно ему известны случаи отказа в высокорейтинговых публикациях по субъективным причинам, то он может рекомендовать повысить исследователю балл за публикации. Естественно, все отклонения от объективных показателей должны быть детально документированы и утверждены ЭК. Особенно важна экспертная оценка ориентированных работ, их масштабности-значимости, их оригинальности и реалистичности, то есть наличия реального задела. Для этого разработаны простые оценочные схемы.

Перечисленные показатели позволяют перевести работу на одну категорию вверх по сравнению с полученной на основании ИФ публикаций (суммарного показателя и на одного сотрудника). Для ориентированных работ особенно важна экспертная оценка проекта и наличие международных патентов; для фундаментальных — существенны ИЦ, подготовка кадров, академическое признание и др.

Оценка института по подразделениям и следствия её

В 2006-2007 годах проводилась оценка подразделений Отделения биологических наук РАН. Её недостатком было отсутствие экспертной оценки прикладных работ, что не позволяет сегодня приводить её результаты в открытой прессе. Могу привести лишь суммарное распределение всех анкетированных подразделений по группам. Поскольку не проводилась экспертная оценка по прикладным работам, то группы В1, В2 и Г приходится объединить (табл. 1).

Таблица 1. Общее распределение подразделений по направлению «молекулярная и клеточная биология» в институтах центрального региона ОБН РАН
Группа подразделений А Б1 Б2 В+Г Всего подразделений
Число подразделений 86 55 91 142 374
Процент от всех подразделений 23% 15% 24% 38%

Даже, если отнести к группе В половину подразделений от (В+Г), очевидно, что около 20% подразделений нуждается в реструктуризации. Учитывая, что они весьма неравномерно распределены между институтами, можно понять, какие институты нуждаются в максимальной реструктуризации.

Число подразделений группы А (86) лишь немного уступает числу коллективов, получавших в 2008 году гранты МКБ по Центральному региону (98). За год произошёл прирост сильных подразделений. Между лабораториями группы А и победителями конкурса имеется почти полное перекрывание. Подразделения группы А крайне неравномерно распределены между институтами.

Если в институте доминируют подразделения типа А, Б1 и В1, то такие институты следует дополнительно поддержать из неконкурсной части бюджета.

Сводная таблица на примере ИБГ РАН

Кроме краткой общей сводки, я привожу в таблице 2 сводку о распределении по группам подразделений в ИБГ РАН за 2002—2006 годы. Полная сводная таблица по всем подразделениям института приведена в приложении 1.

Конечно, ИБГ РАН не является характерным институтом, так как в нём была слабо представлена прикладная наука. Тем не менее видно, как распределяются лаборатории и научные группы между оценочными группами по годам, и как результаты оценки их деятельности в2006—2007 годах были использованы для улучшения ситуации в институте.

После разработки правил оценки и объявления о её проведении в течение ближайших месяцев, дирекция института установила вероятные показатели за 2006 год. Оказалось, что две лаборатории явно попадают в группу Г. Они были ликвидированы и объединены в одну лабораторию. В неё приглашён новый сильный завлаб с правом набирать новых сотрудников вместо неэффективных. Это сразу улучшило показатели сводной таблицы по институту. За следующий год в результате активации работы в трёх лабораториях и укрепления состава одной из них дирекция добилась перехода одного подразделения группы Б2 в группу А и двух — в группу Б1 (согласно собственным подсчётам, проведённым в ИБГ РАН). Есть надежда, что в 2009 году два оставшиеся подразделения группы Б2 переместятся в Б1 и В1. Важно, что сегодня в группу Г не попадает ни одно подразделение института, что было бы при проведении оценки в середине 2006 года. Таким образом, оценка институтов сразу стимулирует сами институты к улучшению своей структуры.

Таблица 2. Число (доля) подразделений или сотрудников, попадающих в ту или иную группу в ИБГ РАН
Группа оценки А Б1 Б2 В1 В2 Г
Число (%) подразделений в 2006 г. 7 (44%) 1 (6%) 5 (31%) 1 (6%) 0 2 (13%)
Число (%) подразделений в 2007 г. 8 (53%) 1 (7%) 5 (33%) 1 (7%) 0 0
Число (%) сотрудников в 2007 г. 49 (46%) 16 (14%) 39 (35%) 5 (5%) 0 0
Число (%) подразделений в 2008 г. 9 (60%) 3 (20%) 2 (13%) 1 (7%) 0 0

Расчёты за 2006 и 2008 годы являются неофициальными, данные по 2007 году получены группой проверки институтов ОБН РАН.

Очевидно, что надо добиваться полного удаления лабораторий типа Г из института. Лучше, если это сделает сам институт, чем внешние организации. Но надо также сводить к минимуму число подразделений типа Б2 и В2, равно как и число работающих в таких подразделениях лиц.

Таким образом, оценка института по подразделениям способствует более правильному оцениванию всего института, оптимизирует распределение между институтами неконкурсного финансирования и позволяет институтам принимать быстрые и действенные меры по своему усилению. Такая оценка пойдёт на пользу нашей науке в целом.

В заключение я хотел бы остановиться ещё на одном вопросе, связанном с оценкой институтов. Я считаю очень неудачной мысль о специальной суперподдержке неких «лучших» институтов, куда в первую очередь, конечно, попадут институты-гиганты. Это будет очередная трата денег без адекватной отдачи. Гораздо лучше поддержать достаточно крупными, но не сверхкрупными, грантами, с одной стороны, лучшие фундаментальные лаборатории, а с другой, наиболее перспективные прикладные проекты. Конечно, полезно создавать на базе крупных институтов Центры коллективного пользования, но так чтобы они были действительно легкодоступными и удобными для сотрудников других учреждений, а не служили просто дополнительным источником наживы для института-хозяина. Завал суперсовременным оборудованием некоторых университетов и институтов даже без обеспечения их квалифицированного обслуживания — это зарывание денег в песок.

Обращение в администрацию Президента РФ

До 2011 г. события развивались в замедленном темпе, но в 2011 г. появилась модель оценки институтов, подготовленная РАН, которая, увы, мало отличалась от документа Минобрнауки, хотя перед этим проводился опрос ученых. Я, естественно, давал серию предложений, но из них было учтено лишь одно, касавшееся отнесения количественных показателей на одну штатную единицу (без этого, документ вообще терял смысл).

Я пытался остановить действие документа через администрацию Президента РФ (документ, опубликованный в i-Russia – см. ниже), но там при кажущемся согласии ничего сделано не было, и начала работать модель оценки МОН-РАН. Что она дала – пока неизвестно. По слухам – все институты одинаково хорошие.

Опубликовано на сайте i-Russia, «Мнение» 27.07.2011

Провести оценку научных организаций на благо, но не во вред российской науке.

В конце этого года предполагается проведение оценки научных организаций, прежде всего, институтов РАН.

Совершенно очевидно, что периодическая оценка всех институтов необходима, причем она не должна зависать в воздухе, но сопровождаться организационными решениями. Это и предусматривается соответствующим постановлением Правительства. В частности, предлагается ранжировать институты по трем категориям: 1-я – «научные организации-лидеры», 2-я – «стабильные научные организации, демонстрирующие удовлетворительную результативность» и 3-я – «научные организации, утратившие научный профиль и перспективы развития».

Однако это мероприятие принесет пользу лишь в том случае, если критерии оценки будут действительно отражать силу научных организаций. В противном случае оно принесет огромный вред и только подорвет нашу науку.

К сожалению, Минобрнауки (МОН) предложило схему проведения оценки, которая может лишь запутать ситуацию. Потом комиссия Президиума РАН несколько модифицировала документ, но реально улучшить не смогла, и это вряд ли возможно. Сейчас его действие приостановлено до осени, но надежд на его принципиальное улучшение маловато. Это типично чиновничий документ, в котором институтам предлагается заполнить крайне объемистую (более 150 отдельных позиций) и при этом чрезвычайно неинформативную анкету. Ее заполнение займет массу времени, а проверка – еще того более. Информативность же будет нулевая, что позволит проверяющей комиссии произвольно относить научную организацию к той или иной категории. С этим уже столкнулись при попытке оценить эффективность денежных вливаний в Национальные исследовательские университеты.

Поэтому я предлагаю другую систему оценки институтов, которая проводится на основании, прежде всего, оценки его независимых научных единиц: лабораторий, отделов и научных групп. Сумма оценок коллективов плюс некоторые дополнительные сведения об институте в целом дадут полные, информативные данные об эффективности деятельности последнего.

Основной единицей в фундаментальной, социально ориентированной и прикладной науке является не институт в целом, а минимальный независимый научный коллектив, руководимый единым лидером. Только такие коллективы и могут быть, в первую очередь, объектом оценки, и проводить их оценку несложно.

Как правило, лаборатории в институте сильно различаются по своему качеству. При оценке института в целом слабые подразделения будут прятаться за спиной сильных. Особенно это легко в больших институтах, где всегда найдется такое «прикрытие».

Одним из возражений против предлагаемой системы оценки является ее кажущаяся сложность. Однако эта система уже была успешно апробирована в Отделении биологических наук РАН в 2006-2007 гг., хотя ее весьма ясные результаты и не были использованы при проведении сокращения штатов в институтах. Заполнение простых и информативных анкет требовало от руководителей подразделений не более одного-двух рабочих дней, а последующая работа с анкетами занимала около месяца у небольших технических групп.

Следует проводить оценку всех подразделений, работающих в одном научном направлении, например, молекулярной и клеточной биологии (МКБ), по единым критериям, независимо от того, в какой научной организации находится подразделение и к какому ведомству оно принадлежит.

Сюда войдут подразделения институтов любого из отделений РАН, РАМН, РАСХН, институтов НИЦ, лаборатории и кафедры университетов и других вузов, в которых ведется работа по соответствующей проблематике.

Чтобы стимулировать участие подразделений в оценке по своему направлению, можно установить правило, что только лаборатории, прошедшие оценку по данному научному направлению, независимо от результатов оценки (которые при этом не учитываются), имеют право участвовать в конкурсах на гранты по этому направлению.

Анкеты для разных научных подразделений могут отличаться, но они обязательно должны включать объективные показатели продуктивности подразделения (для МКБ – публикации в высокорейтинговых международных журналах) и экспертную оценку, даваемую наиболее сильными учеными, выявляемыми по объективным показателям.

Данные по подразделениям дополняются краткими общими сведениями о научной организации (кадровый состав по возрастам, участие в педагогическом процессе, участие в международной деятельности, инфраструктура, финансирование, уникальность института и т.д.) на 2-3 страницах.

Детали, касающиеся организации Экспертной комиссии, проводящей оценку на основании обработанных анкет, составления анкет, создания и работы технических комиссий, обрабатывающих анкеты, создания Контрольного совета, принимающего апелляции и проверяющего справедливость оценок, - все это подробно изложено в моей статье на сайте STRF.ru.

Очень важно, чтобы все этапы оценки подразделений были открытыми, вывешиваясь на сайте в Интернете, как это делается в программе Президиума РАН «МКБ». Прозрачность оценки исключает возможность случайных или сознательных ошибок.

Для проведения экспертизы отбирается 80-100 наиболее сильных по объективным показателям подразделений. Их руководители и ведущие сотрудники составляют экспертную группу для оценки остальных подразделений. Как правило, анкета каждой лаборатории отсылается 5 экспертам. В ходе оценки важно не упустить сильные коллективы, имеющие по каким-либо не зависящим от них причинам не слишком высокие объективные показатели. Более детальная оценка проводится в случае лабораторий, ведущих социально ориентированные работы, где надо оценить масштабность или значимость проекта, его оригинальность и реалистичность, в частности, существование задела. Наконец, для прикладных подразделений нужна также оценка перспективности в плане социального значения или коммерциализации.

Экспертный совет на основе оценки коллектива по объективным показателям с учетом поправок на основании экспертизы ранжирует подразделения по следующим категориям. В области фундаментальной и социально ориентированной науки: А – коллективы, работающие на передовом мировом уровне, Б1 – хорошие стабильные коллективы, Б2 – посредственные коллективы, требующие модернизации. В прикладной науке: В1 – сильные коллективы, ведущие важные прикладные работы, В2 – коллективы, ведущие малосущественные прикладные работы. Наконец, к группе Г относятся совсем слабые или «мертвые» научные подразделения. Все данные вывешиваются на сайте в Интернете.

Оценка института осуществляется, прежде всего, на основании оценки подразделений. Определяется, какая их часть в институте относится к каждой из групп и какая часть сотрудников научной организации работает в подразделениях, относящихся к той или иной группе.

Возможные, но не обязательные критерии приведены в выше упомянутой статье на сайте STRF.ru. При пограничных результатах для окончательного решения важную роль играет оценка институтов в целом. Например, уникальность института или выполнение в нем важных для государства исследований может повышать его категорию. Наоборот, дублирование в институте работ, более успешно ведущихся в других центрах, может ее понижать.

Все оценки должны быть открытыми, т.е. вывешены на сайте в Интернете и доступны для обжалования в Контрольном совете.

Организационные решения, вытекающие из оценки, должны, в первую очередь, касаться подразделений. Те из них, которые относятся к классу Г, должны быть расформированы независимо от того, к какой категории относится институт. Добросовестных и квалифицированных сотрудников следует перевести из них в другие подразделения, в частности, на прикладную тематику. Бездельники и откровенно слабые сотрудники должны быть уволены и освободить бюджетные ставки. Так же следует поступить и с практически не работающими сотрудниками более сильных подразделений. Освободившиеся ставки переходят в фонд ведомства и распределяются, прежде всего, в лаборатории типа А и В1, которые страдают от недостаточной численности. Ставки могут передаваться ведомством по рекомендациям Экспертного совета в другие научные организации, где много таких подразделений.

Серьезная работа по усилению эффективности должна вестись с подразделениями типа Б2 и В2.

В любом случае, подразделения типа А, Б1 и В1 даже в институтах 3-й группы должны быть сохранены. Если институт расформировывается, они должны быть переведены в родственный по тематике институт.

Что касается судьбы институтов 3-й категории, то она должна зависеть от направления работ и места, занимаемого в общей структуре нашей науке или в региональной структуре. Если институт дублирует институты 1-й и 2-й категорий, он может быть расформирован. Если он уникален и тематика достаточно важная, следует институт сохранить, но привлечь в него свежие молодые силы и сменить руководство.

В общем, руководству институтов надо стремиться к тому, чтобы наши институты были представлены в основном подразделениями типа А, Б1 и В1 и в меньшей степени - Б2 и В2 (с учетом перспектив их усиления).

В любом случае, только проверка институтов по подразделениям, дополненная краткими общими сведениями, позволит, во-первых, перераспределить ограниченные финансовые ресурсы для общего подъема нашей науки, а, во-вторых, поможет самим институтам повысить свой научный уровень.

Если сейчас уже слишком поздно проводить оценку всех институтов по подразделениям, было бы крайне целесообразно и полезно для будущего нашей науки провести его хотя бы в качестве эксперимента для одного из направлений, например, МКБ.

Мое основное предложение состоит в том, чтобы перенести окончательное решение о механизме оценки научных организаций на 2012 год, а в 2011 г. провести пилотную оценку по предложенной мной модели в отношении научного направления МКБ (см. подробную статью с приложениями на сайте STRF.ru). Для сравнения эффективности можно провести оценку какой-либо референтной группы научных организаций по системе, предложенной МОН-РАН.

Одновременно я послал полный текст в STRF.ru, где его опубликовали 17.06.2011 под заглавием «Как правильно оценить НИИ РАН» со всеми приложениями, несмотря на частичное перекрывание с текстом 2008 года. Он приведен ниже.


Рекомендуемая оценка подразделений институтов и на ее основе институтов в целом

История вопроса

Каждому очевидна необходимость непредвзятой, честной и объективной оценки деятельности научных организаций с последующими организационными выводами. Поэтому решение правительства регулярно (раз в 5 лет) проводить таковую можно только приветствовать. К сожалению, как у нас часто бывает, хорошее начинание, скорее всего, превратится в свою противоположность.

В 2008 году Минобрнауки России выступило с предложением о проведении периодической оценки институтов, опубликовав её механизм. Стало сразу ясно, что собранная предложенным методом информация не даст ничего для оценки истинной силы института.

Я немедленно откликнулся публикацией на STRF.ru, обосновав непригодность предложенной системы. Помимо полной неинформативности, она требовала огромной бумажной работы от институтов и проверяющих. В Российской академии наук до этого существовала система проверки институтов. Она была тоже мало информативна, но, по крайней мере, не столь громоздка. Согласно её результатам, все институты были хорошие, что отражало наличие в каждом каких-то сильных сторон.

В статье я предложил кардинально отличную систему оценки институтов, которая проводится на основании, прежде всего, оценки его независимых научных единиц: лабораторий, отделов и научных групп. Сумма оценок коллективов плюс некоторые дополнительные сведения об институте в целом дадут полную информацию об эффективности его деятельности.

Предложения были доведены до Минобрнауки (заместителей министра Д. В. Ливанова, а после его перехода на другую работу – А. В. Хлунова) и до РАН (президента Ю. С. Осипова и вице-президента В. В. Козлова). Нигде существенных возражений не было.

Однако прошлой осенью, уже как директива, появилось распоряжение об оценке институтов по алгоритмам, мало отличавшимся от исходных. Далее комиссия Президиума РАН несколько модифицировала документ, но реально улучшить его вряд ли возможно. Сейчас его действие приостановлено до осени...

Институтам предлагается заполнить крайне объёмную (более 150 отдельных позиций) и при этом чрезвычайно неинформативную анкету. Заполнение такой анкеты надолго оторвёт руководство и сотрудников институтов от реально полезной деятельности. Главное же – набор цифр в анкете не позволит комиссии по проверке дать сколько-нибудь квалифицированную оценку института. Всё пойдёт по чиновно-бюрократическому пути, а в результате распределение институтов по трём категориям станет произвольным.

Здесь нет места для детальной критики предложений Минобрнауки и РАН, но отдельные типичные моменты приведены в приложении 1.

Исправить, дополнить или улучшить вышеупомянутые документы мне представляется невозможным. Следовало бы рассмотреть другие концепции оценки, которые предлагались бы изначально не чиновниками, а учёными, всю жизнь проработавшими в науке и добившимися в ней как первоклассных научных достижений, так и организационных результатов в создании или поддержании эффективно работающих институтов.

Поэтому я рискую в чём-то повториться, но – вновь опубликовать на сайте STRF.ru обращение к руководящим инстанциям с тем, чтобы оценка институтов не стала бы очередной бюрократической профанацией, принесла пользу, а не вред нашей науке.

Основным объектом оценки должны быть научные подразделения института, а не институт в целом

Следует, прежде всего, подчеркнуть, что научной единицей в фундаментальной, социально ориентированной и прикладной науке является не институт в целом, а минимальный независимый научный коллектив (отдел, лаборатория или научная группа), руководимый единым лидером.  Только такие коллективы и могут быть, в первую очередь, объектом оценки. Лишь в так называемой «большой науке», где выполняются крупные и конкретные государственные задания (ядерное оружие, космос), исполнителями являются институты в целом или даже несколько институтов.

Как правило, лаборатории в институте сильно различаются по своему качеству. При оценке института в целом слабые подразделения будут прятаться за спиной сильных. Особенно это легко сделать в больших институтах, где всегда найдётся такое «прикрытие».

Напротив, оценить научное подразделение института можно не прибегая к сложным и запутанным схемам. Опыт в этом отношении имеется. Такая система была успешно апробирована в Отделении биологических наук РАН в 2006–2007 годах, хотя её весьма ясные результаты и не были использованы при проведении сокращения штатов в институтах.

Этапы оценки подразделений

Прежде всего, я предлагаю проводить оценку всех подразделений, работающих в одном научном направлении, например, молекулярной и клеточной биологии (МКБ), по единым критериям, независимо от того, в каком институте находится подразделение и какому ведомству этот институт принадлежит. Сюда войдут подразделения институтов любого из отделений РАН, РАМН, РАСХН, институтов Национальных исследовательских центров, лаборатории и кафедры университетов и тех вузов, в которых ведётся работа по соответствующей проблематике.

Только лаборатории, прошедшие оценку по тому или иному научному направлению, независимо от результатов оценки, должны иметь право участвовать в соответствующих конкурсах на гранты.

На основании опыта 2006–2007 годов предлагается вкратце такая последовательность в действиях по оценке подразделений институтов. Более подробное изложение приведено в приложении 2 .

В работе участвует небольшой (5–7 человек) Экспертный совет (ЭС) и Контрольный совет (КС), состоящие из наиболее сильных по данной специальности академиков РАН и представителей Минздравсоцразвития и практической биотехнологии. Кроме того, для обработки данных создаются Технические комиссии (ТК) по 2–4 человека на базе 8–10 институтов.

ЭС разрабатывает короткую информативную анкету по данному крупному направлению науки. Хотя в целом построение анкет для разных направлений должно быть более или менее единообразным, возможны разные вариации, и вес разных показателей в последующей оценке тоже может варьироваться в зависимости от направления. Текст анкеты, которую можно было бы использовать для подразделений, работающих в области МКБ, приведён в приложении 3. Аналогичные анкеты пригодны и для многих других направлений естественных наук. Далее, разрабатываются дополнительные анкеты для институтов или факультетов в целом (как возможный пример см. приложение 4). Даётся объявление в СМИ о проведении оценки по данному направлению и о содержании анкет.

Руководители подразделений и директора институтов заполняют анкеты и направляют их в ЭС. Если в институте занимаются разными крупными научными направлениями, то подразделения заполняют анкеты, соответствующие их специальности.

ТК проверяют и обрабатывают заполненные анкеты и сводят их в таблицы для анализа. Данные по институту не может обрабатывать ТК из своего института. На основании работ ТК создаются сводные таблицы по подразделениям оцениваемых институтов. Сводные таблицы содержат объективные показатели деятельности подразделений институтов (приложение 5). Сводные таблицы вывешиваются на сайте в интернете для ознакомления институтов и подразделений. Последние могут потребовать совместной перепроверки приведённых данных. Если они правы, то вносятся изменения. В качестве примера такой таблицы в приложении 6 (doc) приводятся результаты оценки по объективным показателям подразделений Института биологии гена РАН в 2007 году.

На основании объективных показателей ЭС отбирает 80–100 наиболее сильных подразделений, заведомо относящихся к группе А (см. ниже). Их руководители и ведущие сотрудники составляют экспертную группу для оценки остальных подразделений. Как правило, анкета каждой лаборатории отсылается 5 экспертам. В ходе оценки важно не упустить сильные коллективы, имеющие по каким-либо не зависящим от них причинам не слишком высокие объективные показатели. Более детальная оценка проводится в случае лабораторий, занимающихся социально ориентированными работами, где надо оценить масштабность или значимость проекта, его оригинальность и реалистичность, в частности существование задела. Наконец, для прикладных подразделений нужна также оценка перспективности в плане социального значения или коммерциализации.

ЭС на основе оценки коллектива по объективным показателям с учётом поправок на основании экспертизы ранжирует подразделения по следующим категориям. В области фундаментальной и социально ориентированной науки: А – коллективы, работающие на передовом мировом уровне; Б1 – хорошие стабильные коллективы; Б2 – посредственные коллективы, требующие модернизации. В прикладной науке: В1 – сильные коллективы, выполняющие важные прикладные работы, В2 – коллективы, выполняющие малосущественные прикладные работы. Наконец, к группе Г относятся совсем слабые или «мёртвые» научные подразделения. Все данные вывешиваются в интернете.

Содержание экспертизы может быть затребовано подразделением для ознакомления и подачи жалобы в КС. На данном этапе все подразделения и институты могут подавать апелляции с обоснованиями в КС. Последний проверяет обоснованность жалобы и либо отклоняет её, либо направляет в ЭС предложение о пересмотре. При расхождении мнений вопрос решается голосованием на совместном заседании обоих советов.

Вся эта процедура, как показал опыт, отнимает мало времени у учёных и может быть завершена за 7–8 месяцев. Оплачивается при этом лишь труд технических комиссий – общая сумма около 2 миллионов рублей.

Оценка института в целом

Оценка института осуществляется, прежде всего, на основании оценки подразделений. Определяется, какая их часть в институте относится к каждой из групп (см. в качестве примера приложение 5, вторая таблица).  Если в институте (или его эквиваленте) не менее трети подразделений относится к группам А или В1 и не менее трети всех сотрудников работает в подразделениях типа А или В1, институт становится кандидатом в первую категорию («научные организации-лидеры»). Только в случае резко негативных данных об институте в целом или очень большом числе подразделений типа Г (30 процентов или более) он может быть отодвинут во вторую категорию, но такие случаи должны быть исключением и тщательно обоснованы. В институтах РАН, НИЦ и университетах подразделения типа А должны преобладать над таковыми типа В1. В отраслевых академиях, министерских институтах и ряде вузов возможна обратная ситуация.

Институты, где к группе А и В1 относится не более 10 процентов подразделений и в них работают не более 10 процентов сотрудников, а треть и более подразделений, в которые входит треть или более сотрудников, относится к группе Г, являются кандидатами на попадание в третью категорию («научные организации, утратившие научный профиль и перспективы развития»). Остальные институты относятся к кандидатам во вторую категорию («стабильные научные организации, демонстрирующие удовлетворительную результативность»).

При пограничных результатах для окончательного решения важную роль играет оценка институтов в целом.  Например, уникальность института или выполнение им важных для государства исследований может повышать его категорию.  Наоборот, дублирование в институте работ, более успешно проводимых в других центрах, может её понижать. 

Все оценки должны быть открытыми, то есть вывешены в интернете и доступны для обжалования в КС.

Организационные решения на основе оценки подразделений и институтов

Организационные решения касаются прежде всего подразделений. Те из них, что относятся к классу Г, должны быть расформированы независимо от того, к какой категории относится институт. Добросовестных и квалифицированных сотрудников следует перевести из них в другие подразделения, в частности на прикладную тематику.

Бездельники и откровенно слабые сотрудники должны быть уволены, чтобы освободить бюджетные ставки.

Так же следует поступить и с теми практически не работающими сотрудниками более сильных подразделений, которых выделяет как неэффективных руководитель при заполнении анкеты (приложение 3).

Освобождающиеся ставки переходят в фонд ведомства и распределяются, прежде всего, в лаборатории типа А и В1, которые страдают от недостаточной численности. Ставки могут передаваться ведомством по рекомендациям ЭС в другие институты, где много таких подразделений.

Серьёзная работа должна вестись с подразделениями типа Б2 и В2. Если они велики по численности, последнюю следует уменьшить за счёт непродуктивных сотрудников, освободив их ставки. Возможна замена руководителя в таких подразделениях путём выбора по конкурсу талантливого молодого учёного. В любом случае подразделения типа А, Б1 и В1 институтов третьей группы должны быть сохранены. Даже если институт расформировывается, они должны быть переведены в родственное по тематике учреждение.

Что касается судьбы институтов третьей категории, то она должна зависеть от направления работ и места, занимаемого в общей структуре нашей науки или в региональной структуре. Если институт дублирует институты первой и второй категорий, он может быть расформирован. Если он уникален и тематика достаточно важная, следует институт сохранить, но привлечь в него свежие, молодые силы и сменить руководство.

Руководству институтов необходимо стремиться к тому, чтобы они были представлены в основном подразделениями типа А, Б1 и В1 и в меньшей степени Б2 и В2 (с учётом перспектив их усиления).

Кстати, рекомендуемый тип проверки будет полезен не только государству и ведомству, но и самому институту. Когда в Институте биологии гена в 2006 году заполняли анкеты, выявилось, что две лаборатории попадают в класс Г. Они были сразу (ещё до окончания анкетирования) объединены под руководством нового заведующего, который провёл в них реорганизацию, в результате чего новая лаборатория попала в класс А. Затем мы усилили в кадровом отношении одну из лабораторий типа Б2, несколько модернизировали её тематику, и она тоже вскоре перешла в класс А. Такая работа должна вестись непрерывно.

В любом случае только проверка институтов по подразделениям, дополненная краткими общими сведениями, во-первых, позволит перераспределить ограниченные финансовые ресурсы для общего подъёма нашей науки, а во-вторых, поможет самим институтам повысить свой научный уровень.

Если сейчас уже слишком поздно проводить оценку всех институтов по подразделениям, было бы крайне целесообразно и полезно для будущего нашей науки провести её хотя бы в качестве эксперимента для одного из направлений, например МКБ.

Приложения:


Статья, опубликованная на сайте STRF.ru под заглавием «Индекс Хирша надо исключить из оценки ученых» 17.11.11

О роли разных наукометрических факторов

Импакт фактор, индекс цитирования и индекс Хирша

Сегодня в наукометрии используются три главных показателя: импакт фактор публикации (ИФ), индекс цитирования статей автора (ИЦ) и индекс Хирша (ИХ). Они играют немалую роль при выдаче грантов или премий. Рассмотрим их относительную ценность.

Импакт-фактор – показатель средней частоты цитируемости статей, опубликованных в журнале. Для серьёзных международных изданий в области молекулярной и клеточной биологии (МКБ) он колеблется в пределах от 4 до 30. За исключением журналов с самым высоким ИФ, где существенную роль играют и субъективные факторы, для журналов с ИФ от 4 до 15 имеется неплохая корреляция между величиной ИФ и качеством публикуемых статей. Чем более жёсткую экспертизу проходят статьи перед публикацией, тем, как правило, выше ИФ журнала. В разных научных дисциплинах величины ИФ довольно сильно отличаются, в связи с чем следует сравнивать ИФ одной и той же области науки.

Плюсы импакт-фактора:

– во-первых, учитывается не только и не столько число публикаций, сколько их качество;
– во-вторых, фактически проводится международная экспертиза, так как каждая статья перед принятием к публикации анализируется двумя-тремя экспертами. В дальнейшей международной экспертизе для оценки коллектива или отдельного учёного, к которой призывают некоторые наши аналитики, нет никакой надобности;
– в-третьих, на основании суммарного ИФ за последние годы определяется сила коллектива или отдельного учёного именно в то время, когда выдаётся грант. Конечно, следует учитывать и ранние достижения, но при распределении грантов особенно важно иметь представление о сегодняшней продуктивности, для определения которой пятилетний или несколько больший срок является оптимальным;
– в-четвёртых, расчёт ИФ на одного сотрудника позволяет поддержать маленькие, но продуктивные  группы.

Следует только отметить, что при оценке по ИФ необходимо учитывать роль коллектива или учёного в выполнении данной работы.  В области МКБ на это указывает расположение учёных в списке авторов и института в списке институтов в заглавии работы. Обычно первый автор – это главный исполнитель, а последний – руководитель работы. Первый институт – это тот, где проводилась данная работа. На основании этих показателей в ИФ бывает нужно вносить изменения, что не представляет большого труда.

О значении индекса цитирования

Очень часто первое место в оценке учёного или коллектива отводится ИЦ. Конечно, большое число ссылок на работы автора говорит о востребованности его исследований и его силе. Однако проведение оценки по ИЦ имеет ряд недостатков. Оно в большей мере отражает более ранние достижения. Если работа прорывная, то часто её цитирование откладывается на более позднее время, когда появятся подтверждения. Нередко бывают случаи, когда первичная работа, где открыто явление, цитируется плохо, а ссылки идут на вторичную, подтверждающую работу или обзор. Это особенно часто происходит с открытиями наших авторов. Цитирование во многих случаях зависит от личных отношений и даже просто от случайных факторов.

Поскольку я был одним из наиболее цитируемых советских авторов в 1970–80-е годы и имел так называемые классические по цитируемости статьи, то мне вся система хорошо знакома. Приведу пару примеров. Наши с Ю. Ильиным, Н. Чуриковым, В. Гвоздевым и Е. Ананьевым статьи, описывающие открытие мобильных элементов в животных клетках, цитировались мало, а подтверждающая их вторичная американская статья, вышедшая на полтора года позже, – крайне широко. Кстати, американские авторы на нас сослались, но очень невнятно. Другой пример – наша методическая статья с С. Недоспасовым была сделана одновременно с американцами, но опубликована в менее престижном журнале, да и уровень её был пониже, так что она должна была остаться незамеченной. Но мне прислал препринт своего обзора Цахау, где он цитировал, конечно, только американскую статью.  Я немедленно послал ему оттиск нашей статьи, и он включил её в обзор. После этого все авторы цитировали обе статьи вместе, и наша собрала много ссылок. Высокий ИЦ оказался делом случая.

При ИЦ также необходимо учитывать вклад коллектива или отдельного учёного в данную работу. Обычно это не делается из-за трудоёмкости.

О нелепости индекса Хирша

В последнее время приобрёл большую популярность индекс Хирша. Данный показатель равен числу статей автора (N), цитируемых N или более раз. Это крайне нелепый наукометрический показатель. Например, учёный имеет 30 статей, из которых 20 цитируется 20–30 раз, а у другого учёного при том же числе статей 10 цитируется от 10 до 2000 раз. Индекс Хирша первого будет равен 20, а второго – только 10. Чем старше учёный, тем в лучшем положении он оказывается. Совершенно не учитывается и вклад учёного в работу. В общем, ИХ рассчитан на активного середняка. Наконец, вклад учёного в выполненные в соавторстве работы вообще учесть нельзя. Можно быть рядовым исполнителем в серии совместных работ, особенно выполненных на Западе, и заработать себе этим очень высокий ИХ. Думаю, этот показатель следует полностью исключить из оценки учёных при проведении конкурсов.

О публикациях в российских журналах

Учитывая всё вышеизложенное, в программе «МКБ» мы бёрем за основу для оценки суммарный ИФ международных публикаций коллектива или отдельного учёного (в конкурсе на новые группы) за пять лет с учётом вклада коллектива или автора в работу. ИФ российских журналов, как правило, невелик (десятые балла), и поэтому учитывается только общее число публикаций в российских журналах. Вообще, в современной науке публикации почти во всех национальных журналах котируются низко.

Далее, в зависимости от вклада, определяемого позициями авторов и институтов в заглавии работы, может засчитываться полный ИФ или его доля, вплоть до ¼. Также учитывается удельный ИФ из расчёта на одного сотрудника коллектива.

В конкурсе по программе «МКБ» принимаются во внимание и более ранние публикации, но они играют меньшую роль в общей оценке, чем публикации за последние годы.  Учитывается ИЦ десяти выбранных автором заявки работ (тоже обязательно с поправкой на вклад коллектива), но и ему придаётся меньшее значение, чем ИФ. Индекс Хирша просто не учитывается.

Поскольку правила конкурса хорошо известны, учёные стремятся к сильным публикациям, которые только и создают авторитет национальной науке. В период особенного наступления на науку в 90-х годах авторитет её сильно упал, и сегодня часто приходится сталкиваться с предвзятым к ней отношением, особенно в таких «клубных» журналах, как Nature или Cell. Однако это не значит, что надо отказываться от попыток публиковаться в престижных журналах, где присутствует квинтэссенция современной международной науки. 

Замечу, что все эти соображения носят отнюдь не личный характер. У автора, даже по заниженным данным РИНЦ, один из наиболее высоких ИЦ и неплохой ИХ (41), а как раз ИФ публикаций за последние годы естественно снижается.