Впервые концепция использования Science Citation Index (SCI) как интеллектуального инструмента, облегчающего процесс распространения и поиска научной литературы, была обнародована в 1955 г. Старшее поколение ученых наверняка вспомнит уже существовавший к тому времени информационный продукт под названием Current Contents, бывший первой революционной «идеей», которая сделала возможной практическую реализацию SCI. Примечательно, что Current Contents все еще еженедельно публикуется в печатной форме, хотя его электронная версия существует более десяти лет. Даже ярые поклонники Current Contents вряд ли помнят, какую роль сыграл компьютер в его (Current Contents) создании, позволяя осуществлять еженедельный выпуск, где одновременно с названиями статей также приводился указатель слов и указатель адресов авторов. В те дни обычные указатели появлялись через шесть месяцев, а иногда даже и через три года после опубликования научной литературы. Мы же в это время получали ежегодно более десяти миллионов запросов на репринты из разных стран мира после прочтения Current Contents. Тем не менее успех SCI связан не с его первоначальной функцией — инструмента информационного поиска, а с его последующим использованием в качестве инструмента для измерения научной продуктивности, благодаря побочному продукту — базе данных Journal Citation Reports (JCR) и ранжированию научных журналов по импакт-фактору IF. Междисциплинарнaя база данных SCI имеет две цели: первая — определить, что каждый ученый опубликовал, и вторая — определить, где и как часто статьи этого ученого были процитированы. Следовательно, SCI всегда делится на две части по фамилиям авторов статей: Указатель авторов статей-источников — Source Author Index и Указатель цитируемых авторов — Citation Index. Существует дополнительная возможность определить, в какой организации и стране были публикованы статьи автора и как часто они были процитированы. Это особенно важно, потому что трудно найти полный список публикаций конкретного автора. The Web of Science (WoS), являясь электронной версией SCI, связывает эти две функции: публикации авторов могут быть расположены в хронологическом порядке, по названию журнала или по частоте цитирования. Также можно проводить поиск по фамилиям ученых, опубликовавших статьи в течение определенного периода. В таблице 1 приведен список, полученный в результате поиска ученых, публиковавших работы в течение 70–85 лет. Например, за строкой Izaak M. Kolthoff следует молекулярный биолог Michael Heidelberger, чья последняя работа появилась в 2004 г., незадолго до его смерти в возрасте 104 лет. Когда SCI был опубликован в 1964 г., Ирвинг Шер и я уже начали использовать библиографические ссылки для создания топологических карт, называемых историограммами, чтобы исследовать возможность использовать индексы цитирования в создании мини-историй научных направлений. Совсем недавно благодаря мощным современным компьютерам с гигабайтами памяти была создана программа под названием HistCite. Эта запатентованная программа находилась в разработке около пяти лет и будет доступна для продажи начиная с февраля 2009 г. Благодаря этой программе, выполнив поиск в WoS и загрузив в нее полученный файл, можно автоматически построить историограмму. Собирая все соответствующие релевантные цитируемые документы по предмету поиска в WoS, HistCite представляет собой коллективную память цитирующих авторов и производит визуальное описание истории по данной тематике. Ключевой вопрос, который часто возникает, связан со способностью метода цитирования отождествлять (извлекать) все релевантные публикации по данной теме. В предвоенные времена и задолго до появления молекулярной биологии практика цитирования была не так стандартизирована, как сегодня, и неявное использование ссылок было довольно распространенным явлением. В результате явное цитирование ранней релевантной работы не всегда может быть найдено. Гейдельберг был одним из первых молекулярных биологов. Он еще до Второй мировой войны, работая вместе с Освальдом Т. Авери и другими учеными в Институте Рокфеллера (в том числе с Colin M. Macleod и с Maclyn McCarthy), опубликовал пионерскую работу по истории ДНК. Фактически эта работа является ключевым звеном в генеалогической истории статьи Уотсона — Крика по структуре двойной спирали ДНК. Мы использовали HistCite, чтобы проследить неявную связь между этой статьей Уотсона — Крика и работой Авери и других соавторов по пневмококковой ДНК, опубликованной в 1944 г. Те, кто знаком с историей, знают, что Джим Уотсон несколько лет назад наконец признал, что сожалеет, что они не процитировали работу Авери 1944 г. в своей знаменитой статье, опубликованной в 1953 г. Он и Крик очень торопились отправить статью в печать и не выполнили обычной проверки списка цитируемой литературы. Для того чтобы продемонстрировать значимость работы Авери, в действительности известную современным исследователям, мы создали несколько файлов с помощью HistCite, выполнив поиск в SCI, размещенный в WoS. Для того чтобы исследовать историческую связь между работой Гейдельберга и его соавтора О. Авери, необходимо было отредактировать тысячи таких неявных ссылок. На рис. 1 представлена историограмма, созданная на основе связей между работой Гейдельберга, Авери, Уотсона и Крика. Продемонстрировав, как поисковая система WoS может быть использована для отслеживания истории развития научного направления, мы теперь можем обратиться к вопросу о часто упоминаемом импактфакторе журнала. Ежегодный Указатель цитируемости научных журналов (Journal Citation Reports (JCR)) официально был выпущен в свет в 1975 г., хотя мы производили эти данные уже более десяти лет. JCR возник как статистическая коллекция данных Индекса цитирования журналов (Journal Citation Index), который, в свою очередь, явился результатом пересортировки Индекса цитирования авторов (Author Citation Index), т. е. вместо сортировки в алфавитном порядке фамилий авторов, файл был отсортирован по названиям журналов, в которых были опубликованы работы авторов. Когда в начале 1960-х гг. этот тест был впервые выполнен, мы обнаружили, что журналы, уже индексируемые в Current Contents, включали либо те, которые публиковали большое число статей, либо те, которые были процитированы больше всех.
Однако необходим был простой метод, позволявший сравнивать толстые (большие) журналы, такие как Nature, Science и JAMA, с небольшими журналами, как, например, Annual Reviews. В первые дни Current Contents мы уделяли особое внимание молекулярной биологии и биохимии. Мы заметили, что 25 % всех ссылок в литературе, опубликованной в текущем году, были на статьи, опубликованные только 2–3 года назад. Именно поэтому было принято решение использовать цитирование за два года, предшествующих текущему, в качестве основы для расчета импакт-фактора за текущий год. Таким образом, импакт-фактор — это среднее число ссылок на опубликованную статью. Тем не менее мы также осознавали, что относительно небольшие, но важные, обзорные и специализированные журналы могут не попасть в выборку, если мы сосредоточимся исключительно на общем числе публикаций или на общем количестве цитирований. «Импакт-фактор» журнала был создан в качестве метода сравнения журналов независимо от их размера или частоты цитируемости. На рисунке 2 сопоставлены три таблицы, содержащие сведения по трем журналам в области наук о живой природе, отсортированных по: – (А) наиболее цитируемым журналам в 2008 г.; – (B) количеству статей, опубликованных в 2008 г.; – (C) значениям импакт-факторов за 2008 г. Термин «импакт-фактор» постепенно эволюционировал, особенно в Европе, как характеристика влияния как журнала, так и автора. Эта неоднозначность часто вызывает проблемы, так как использовать импакт-факторы для сравнения журналов — это одно дело, и совсем другое дело — использовать IF для сравнения авторов. В то время как индивидуальный автор обычно публикует в среднем небольшое количество статей (хотя есть некоторые феноменально производительные авторы), импакт-факторы журналов обычно включают относительно большие популяции статей и ссылок. Импакт-фактор журнала основан на двух элементах: числитель, который представляет собой количество ссылок, сделанных в текущем году на любые статьи из этого журнала, опубликованные в течение двух лет, предшествующих году обследования; и знаменатель — это общее число статей (статьи-источники), опубликованных за те же два года. Импакт-фактор может быть легко рассчитан только на основе статей предыдущего года, что давало бы лучшее представление о быстро изменяющихся областях исследования; или же на основе более длительного периода цитирования статей-источников, но такой показатель не был бы достаточно оперативным. Важно отметить, что корреспонденция, письма в редакцию, новости, некрологи, редакционные интервью не включаются при подсчете числа статей-источников в JCR. Тем не менее, поскольку числитель включает ссылки на подобные «более эфемерные» виды публикаций, это приводит к некоторым искажениям. Обычно только небольшое количество журналов подвержено таким искажениям, и оно колеблется в пределах 5–10%. Кроме того, в настоящее время JCR содержит ссылки из более чем 5000 журналов; поэтому обсуждение настолько незначительных отклонений в JCR не представляется целесообразным.
Наукометрия и журналология (Journalology) Анализ цитирования расцвел за последние три десятилетия и превратился в научную область — наукометрию, которая теперь имеет свое собственное общество — International Society for Scientometrics and Informetrics (ISSI, https://www.issi-society.info) и научный журнал Scientometrics, публикующийся с 1978 г. Более 15 лет назад Стив Локк назвал применение наукометрии к оценке журналов журналологией («Journalolog»). Все исследования цитирования должны быть нормализованы, чтобы принять во внимание такие переменные, как предметная область знания, период полужизни научной литературы в этой области и плотность цитирования. Период полужизни (количество ретроспективных лет, за которые было процитировано 50% научной литературы) значительно больше для журнала по физиологии, чем для физического журнала. Для некоторых областей знания импакт-факторы JCR за двухлетний период могут дать / или не дать той полной картины, которую дают пятилетние или десятилетние импакт-факторы. Тем не менее, когда журналы изучаются в рамках дисциплинарных категорий, ранжирование на основе значений импактфакторов за один, 7 или 15 лет существенно не отличается. Другими словами, когда журналы были изучены по предметным категориям, то обнаружилось, что ранги журналов по физиологии значительно улучшились с течением лет, но рейтинги в пределах категории физиологии существенно не изменились. Плотность цитирования — это среднее количество ссылок, процитированных в статье-источнике. Плотность цитирования (R/S) значительно ниже для математических журналов, чем для журналов по молекулярной биологии. Существует широко распространенное, но ошибочное мнение, что размер научного сообщества, значительно влияет на импакт-фактор журнала. Это предположение игнорирует тот факт, что большое научное сообщество (т. е. большое число авторов) производит большое количество ссылок, а эти ссылки используются большим числом цитируемых статей. Большинство статей в большинстве областей не очень хорошо цитируются, в то время как некоторые статьи в небольших научных областях могут иметь значительное влияние, особенно когда они имеют междисциплинарное значение. Хорошо известно, что существует неравномерное распределение ссылок в большинстве областей в соответствии с правилом 80/20, т. е. 20 % статей дают около 80 % ссылок. Следует повторить, что среднее число ссылок на статью и показатель оперативности (immediacy) цитирования, а не количество авторов или статей в области являются важными. Размер области знания, как правило, увеличивает количество «высокоцитируемых» («super-cited») статей. И в то время как несколько классических методологических статей превышают высокий порог цитирования, этого не происходит с тысячами других методических и обзорных статей. Обзорные статьи, как правило, цитируются примерно в два раза чаще, чем другие статьи, но опубликование обзорных статей не обязательно повысит влияние импакта вашего журнала. Если посмотреть на таблицу 2, в которой представлен краткий список высокоцитируемых статей в области наук о жизни, то можно увидеть, что лидирует статья Лоури. Статья О. Лоури недавно обсуждалась в журнале Biological Chemistry, но авторы не упомянули комментарий Лоури по поводу того, что его самая цитируемая статья в истории науки, по его мнению, не является наиболее важной работой. Неравномерность распределения ссылок повторяется как заклинание критиками импакт-фактора. Некоторые редакторы хотели бы видеть импакт, рассчитанный исключительно на основе самых цитируемых работ, таким образом, малоцитируемые работы следовало бы проигнорировать. Однако неравномерность распределения ссылок характерна для большинства журналов, а поэтому это не должно существенно повлиять на рейтинги журналов. Кто-то хотел бы видеть ранжирование по географическим областям, поскольку SCI обвиняют в доминировании англоязычных журналов. Еврофилы хотели бы иметь возможность сравнить свои журналы по языкам или по географическим группам, особенно в общественных и гуманитарных науках. Время, необходимое для рецензирования рукописей, может также оказывать влияние: если процесс работы над рукописью задерживается, то ссылки в статьях не появятся в течение двухлетнего окна цитирования, необходимого для JCR. С другой стороны, появление статей на ту же тему в том же номере журнала может оказать положительное влияние. Для большей точности было бы желательно провести анализ каждой статьи в журнале, чтобы оценить разницу в величине импакта разных типов редакционных документов и учесть это. Другие возражения в отношении импакт-факторов связаны и с системой классификации журналов, используемой в JCR. В идеальной системе следовало бы иметь возможность сравнивать журналы с идентичными профилями. Но на самом деле редко можно найти два журнала с идентичными семантическими или библиографическими профилями. Эвристические, в какой-то степени несколько субъективные методы отнесения журналов к предметным категориям, используемые в ISI, отнюдь не являются совершенными, в действительности даже специалисты используют анализ цитируемости для обоснования своего решения. Недавно были выполнены попытки сгруппировать журналы более объективно, опираясь на двусторонний анализ отношений цитируемости между журналами, чтобы уменьшить влияние названий журналов на их классификацию. Например, анализ цитируемости показал, что журнал Journal of Experimental Medicine был ведущим журналом по иммунологии и даже в наши дни по-прежнему входит в пятерку лидирующих журналов по иммунологии по показателю их импакт-факторов. В JCR недавно добавили новую функцию, которая позволяет пользователям более точно установить предметную категорию журнала на основе взаимосвязей цитируемости. Рисунок 3 показывает общую формулу для расчета взаимосвязей цитируемости между двумя журналами и коэффициента взаимосвязи, выражающего его средний максимум и минимум. Этот коэффициент отражает, как часто журнал цитирует и цитируется каждым из журналов, с которым он сравнивается, и учитывает размеры журналов (количество опубликованных статей), а также сколько раз каждый журнал цитирует другой. Тем не менее с использованием метода связанности JCR некоторые журналы могут быть отнесены к другим предметным категориям JCR. Рассмотрим это на примере журнала Circulation. Этот журнал имеет самый высокий импакт-фактор среди журналов в области кардиологии. Однако мы выявили, что журнал New England Journal of Medicine (NEJM), являющийся журналом по общим проблемам медицины, занимает седьмой ранг среди наиболее связанных с кардиологией журналов. До сих пор можно было только догадываться о близости NEJM к этой или другой тематике.
R1>2 =
C1>2 × 106 Ref1 × Pap2
R1<2 =
C1<2 × 106 Ref2 × Pap1 Rcoeff = R1>2 × R1>2
C – количество ссылок; Ref1 – количество публикаций, процитированных в журнале 1; Ref2 – количество публикаций, процитированных в журнале 2; Pap1 – количество публикаций, содержащихся в журнале 1; Pap2 – количество публикаций, содержащихся в журнале 2.
Многие недостатки импакт-факторов журналов были устранены в другой базе данных ISI, называемой Journal Performance Indicators (JPI, https://scientifi c.thomson.com/ products/jpi). Эта ежегодная компиляция охватывает период с 1981-го по текущий год. В отличие от JCR, эта база данных связывает каждую статью-источник с уникальными ссылками на нее, позволяя рассчитать импакт более точно. В знаменатель включаются только ссылки на оригинальные статьи, и это дает возможность получить кумулятивный импакт, охватывающий более длительный период. Для анализируемого периода с 1999 по 2004 г., в таблице 3 указано, что значение кумулятивного импакта для статей, опубликованных в JAMA в 1999 г., было равно 84,5. Данное значение получено путем деления 31 257 ссылок в период с 1999 по 2004 г. на 370 статей, опубликованных в 1999 г. В этом году в JAMA всего вышло 1905 публикаций, в том числе 630 писем и 253 редакционных текста, цитирования которых не включены в расчет импакта по JPI. Несущественность возможных искажений итогового значения импакта, вносимых неучетом ссылок на все редакционные материалы в SCI, показана в докладе González и Campanario, исследователей из Университета Алкала. Кроме библиотекарей, использующих импакт-фактор журнала для принятия решения о том, какие научные журналы необходимо приобрести, он также используется авторами для выбора журнала, в который они представляют свои статьи для опубликования. Как правило, журналы с высоким импакт-фактором являются также и самыми престижными, хотя восприятие престижа является довольно туманным понятием. Специалисты по библиотечным наукам утверждают, что числитель при расчете импакт-фактора сам по себе является более релевантным. Bensman утверждал, что само по себе количество ссылок, посчитанных за двухлетний период, — лучший показатель значимости и экономической эффективности журнала, чем импакт-фактор. Импакт-фактор журнала также может быть полезным при сравнении ожидаемой и реальной частоты цитирования. Таким образом, когда ISI готовит персональный доклад о цитируемости, то предоставляются данные об ожидаемом импакте цитируемости не только для конкретного журнала, но и для конкретного года, потому что импакт-факторы могут меняться из года в год. Использование импакт-фактора журнала вместо актуального числа цитирований самой статьи является довольно спорным вопросом. Поскольку статьи, опубликованные недавно, возможно, не имели достаточно времени, чтобы быть процитированными в работе, то появляется соблазн использовать импакт-фактор журнала в качестве суррогатного инструмента оценки. Предположительно само принятие документа для публикации в журнал с высоким импактом расценивается как показатель престижа. Как правило, когда рассматривается недавняя библиография работ автора, импактфакторы журналов, в которых автор публиковался, используются вместо реального подсчета цитируемости. Эта практика началась около десяти лет назад, когда администраторы решили, что они могут оценить будущий импакт недавно опубликованной статьи по импакту журнала, в котором была опубликована статья. Это особенно актуально для молодых ученых, так как многие из их работ, перечисленных в C.V., опубликованы в течение периода времени, используемого для расчета импакта, и большинство из них не будут процитированы в течение нескольких ближайших лет или более, в зависимости от темпов развития предметной области, в которой они проводят исследования. Таким образом, импакт-фактор используется для оценки ожидаемого влияния отдельных статей, и это довольно сомнительная практика с учетом вышеупомянутых отклонений, наблюдаемых для большинства журналов. Сегодня «Webometrics» все чаще используется, хотя существует мало свидетельств, что это лучше, чем традиционный анализ цитируемости. «Веб-citation» может произойти немного раньше, но это не то же самое, что цитируемость. Следует различать чтение и выгрузку статей, а также и фактическое цитирование новых научно-исследовательских работ. Тем не менее некоторые исследования показывают, что веб-сitation является предвестником будущего цитирования. Предположение, что импакт недавних статей не может быть оценен по SCI, не является абсолютно правильным. Хотя задержка в несколько лет по некоторой тематике возможна, статьи, которые достигают высокого импакта, как правило, цитируются в течение нескольких месяцев с момента публикации и, конечно, в течение года или около того. Этот образец «оперативности» позволяет ISI идентифицировать «горячие публикации» (“hot papers”) раз в два месяца для публикации в Science Watch. Тем не менее полное подтверждение высокого импакта, как правило, следует через два года. The Scientist ждет до двух лет, чтобы выбрать «горячие статьи» для комментариев авторов, но большинство из этих работ в конечном счете продолжают цитироваться, чтобы стать классикой цитирования (https:// www.citationclassics.org).
Резюмируя множество противоречивых мнений о факторах воздействия, К. Хоффел так описал ситуацию: «Импакт-фактор не является идеальным инструментом для измерения качества статей, но нет ничего лучше. ИФ имеет то преимущество, что он уже существует и, следовательно, является хорошим инструментом для научной оценки. Опыт показал, что в каждой специальности лучшие журналы это те, в которых труднее всего опубликоваться, и эти журналы имеют более высокий импакт-фактор. Большинство из этих журналов существовали задолго до того, как импакт-фактор был разработан. Использование импакт-фактора как показателя качества широко распространено, потому что это хорошо совпадает с мнением, которое есть у нас о лучших журналах в нашей специальности». Очевидно, что было бы лучше, если бы система оценки качества основывалась на прочтении каждой статьи, но даже тогда у экспертов возникли бы трудности c принятием общего решения по ее оценке. Когда речь идет о такой сфере как оценивание, большинство людей не имеет достаточно времени или не хочет его тратить на это. Даже если они провели оценку, на их суждения, конечно, будут влиять комментарии тех, кто цитировал работу, а это, как известно, называется контекстный анализ цитирования. К счастью, в ближайшем будущем, возможности полнотекстового доступа в Сети сделают эту практическую задачу более выполнимой.