Научные издания используют автоматические программы на основе ИИ для поиска недостатков в представленных рукописях.
Перед тем, как исследование появится в одном из десяти журналов Американской ассоциации исследования рака (American Association for Cancer Research, AACR), оно проходит необычную дополнительную проверку. С января 2021 года AACR использует ИИ для проверки всех препринтов, предварительно принятых после прохождения рецензирования. Цель проверки состоит в том, чтобы автоматически предупреждать редакторов о дублированных изображениях, в том числе отредактированных — повёрнутых, отфильтрованных и растянутых.
AACR — один из первых сторонников того, что проверка посредством использования ИИ может стать тенденцией. В надежде избежать публикации статей с поддельными изображениями (ради мошенничества или попыток приукрасить результаты) многие журналы нанимают людей для ручного изучения рукописей на предмет проблем, зачастую используя различные программы для проверки найденного. Но издание Nature узнало, что в прошлом году по меньшей мере четыре издательства начали автоматизировать процессы проверки, полагаясь на ИИ для выявления дубликатов и частичных дубликатов ещё до публикации рукописей.
AACR перепробовала множество программ, прежде чем остановилась на продукте компании Proofig, расположенной в Реховоте (Израиль). Об этом рассказал Дэниел Эванко — директор по операциям и системам журнала ассоциации в Филадельфии, штат Пенсильвания. «Мы очень довольны этим», — добавил Дэниел. Он надеется, что автоматическое сканирование позволит исследователям и уменьшит количество проблем, появляющихся после публикации.
Профессиональные редакторы всё ещё необходимы для обработки изображений, отмеченных программных обеспечением. Если материалы намеренно представлены дважды вместе с пояснениями, то повторяющиеся изображения могут быть уместны. Часть дубликатов может быть простой ошибкой копирования во время сборки рукописи, а не мошенничеством. Все эти вопросы могут быть решены только с помощью дискуссии между редакторами и авторами. Но сейчас, когда ИИ становится достаточно эффективным и недорогим, специалисты уверены, что в ближайшие годы сферу научных публикаций накроет волна автоматизированных систем проверки изображений, как это было с системой проверки рукописей на наличие плагиата, ставшей обыденностью уже десять лет назад.
Другие эксперты в этой области приветствуют идею с ИИ, но предупреждают, что открытого сравнения соответствующего софта не проводилось, и автоматические проверки могут привести к слишком большому числу ложных срабатываний системы или наоборот — несрабатыванию с изменёнными изображениями. В долгосрочной перспективе зависимость от автоматизированных программ может подтолкнуть мошенников к использованию ИИ для обмана программ, подобно тому, как авторы меняют текст для обхода антиплагиата. «Я обеспокоен тем, что мы вступаем в гонку вооружений с использованием технологий, основанных на ИИ, что может привести к фейковым изображениям, которые невозможно будет распознать», — говорит Бернд Пульвер, главный редактор немецкого научного журнала EMBO Reports.
Вопрос программного обеспечения?
Исследователи в течение многих лет разрабатывали технологию проверки изображений на основе ИИ, опасаясь ошибок или мошенничества. По всей видимости, они засоряют научную литературу гораздо больше, чем предполагают авторы опровержений и исправлений. В 2016 году под руководством Элизабет Бик, микробиолога и консультанта по вопросам анализа изображений из Калифорнии (США), был проведён ручной анализ около 20,6 тысяч биомедицинских исследований, показавший, что до 4% изученных работ могут содержать дублированные изображения. Как правило, только около 1% статей в год получают исправления и гораздо меньше из них отзывается.
«Я знаю примерно 20 человек, работающих над созданием софта для проверки изображений», — сказал Майк Росснет, руководитель консалтинговой фирмы Image Data Integrity из Сан-Франциско (штат Калифорния, США), 20 лет назад представивший первый ручной анализ рукописей в журнале Journal of Cell Biology. В прошлом году издатели объединились для формирования рабочей группы по разработке стандартов программного обеспечения, проверяющего рукописи на предмет проблем с изображениями. В этом году группа выпустила руководство о том, как редакторы должны решать проблемы с исправленными изображениями, но ещё не подготовила руководство по работе с ПО.
Несколько академических групп и компании сообщили Nature, что журналы и правительственные учреждения тестируют своё программное обеспечение, но Proofig первой публично назвала своих клиентов. Кроме AACR, с июля этого года использовать софт компании начало Американское общество клинических исследований (American Society for Clinical Investigation, ASCI) при проверке препринтов для Journal of Clinical Investigation (JCI) и JCI Insight. Об этом рассказала Сара Джексон, исполнительный редактор этих журналов в Анн-Арборе, штате Мичиган (США). Американское издательство SAGE Publishing внедрило этот софт для проверки работ в пяти своих естественно-научных журналах, о чём рассказал руководитель отдела трансформации SAGE в Лондоне Хелен Кинг.
Софт Proofig извлекает изображения из документов и попарно сравнивает их для поиска общих черт, включая частичное дублирование. Обычная статья проверяется примерно за одну—две минуты. Как указывает директор компании Дрор Колодкин-Гал, программа также может исправить различные проблемы, такие как артефакты сжатия, которые могут появиться при уменьшении размеров необработанных изображений высокого разрешения. Он отмечает, что «у компьютера есть преимущество над человеческим зрением. Машина не только не устаёт и работает намного быстрее, но и на неё также не влияют манипуляции с размерами изображений, местоположением, ориентацией, совмещением кадров, частичным дублированием и комбинацией».
Стоимость проверки изображений намного выше, чем стоимость антиплагиат, которая, по словам специалистов, составляет менее чем доллар за статью. Колодкин-Гал не стал подробно обсуждать ценовую политику, но сказал, что договорённости с издателями, как правило, заключаются исходя из общего количества изображений в статье и объёма рукописей. Он указал, что расходы ближе к «десяткам долларов за статью, чем к сотням».
По словам Джексона, в JCI программа выявляет больше проблем, чем до этого находил специалист в ходе ручной проверки. Но сотрудники по-прежнему необходимы для проверки результатов Proofig, и очень важно, чтобы в журнале уже существовала процедура для решения возможных проблем. «Мы действительно уверены, что точные данные являются отличительной чертой нашего журнала», — сказал Джексон. В AACR, по словам Эванко, многие авторы радуются, что ошибки с дублированием доводятся до их сведения до публикации статьи.
Тем временем швейцарское издание Frontiers разработало свою собственную программу как часть автоматической системы проверки AIRA (Artificial Intelligence Review Assistant). Начиная с августа 2020 года внутренняя группа по проверке добросовестности в исследовательской среде использует AIRA для проверки изображений во всех поданных статьях. Большинство научных работ, которые он помечает, на самом деле не содержит никаких проблем — только около 10% требуют рассмотрения со стороны команды. Frontiers отказалось сообщить, какая часть документов помечена AIRA.
Специалисты по проверке изображений, включая Бика и Росснера, говорят, что они не работали с AIRA или Proofig, и что трудно оценивать продукты, которые не были публично протестированы. Росснер добавил, что очень важно находить не только дублирование, но и следы иных манипуляций с изображениями, такими как удаление или обрезка частей изображения и другие виды фотомонтажа. «Программа может стать полезным дополнением к визуальной проверке, но не полной заменой в её текущем виде», — сказал Росснер.
«Тем не менее, я уверен, что в конечном счёте это станет стандартом при проверке препринтов», — добавил Бик.
Опасения специалистов
Издатели, которые ещё не внедрили проверку изображений посредством ИИ, ссылаются на финансовые проблемы и надёжность систем, хотя некоторые работают над собственными программами. Представитель издания PLOS говорит, что он с нетерпением отслеживает достижения в сфере разработки инструментов, которые «могут надёжно выявлять общие проблемы с целостностью изображений и быть применены в масштабе [целого исследования]». Издательский дом Elsevier утверждает, что ещё тестирует программное обеспечение, отмечая, что журналы издания проверяют все принятые препринты перед публикацией, определяя наличие проблем с изображениями и комбинируя программное обеспечение с ручным анализом.
В апреле 2020 года международное издательство Wiley представило услугу по проверке изображений для предварительно подтверждённых научных работ. Представитель издательства указал, что ею пользуются 120 научных журналов, но на текущий момент она представляет из себя ручную проверку с помощью специализированного ПО. Издательская компания Springer Nature, владеющая журналом Nature, утверждает, что анализирует некоторые внешние инструменты, сопоставляя данные для подготовки собственного программного обеспечения, которое «будет сочетать дополнительные элементы ИИ и специалиста-человека для выявления проблемных изображений». (Команда новостного раздела Nature редакционно независима от своего издателя).
Пульвер указал, что EMBO Press по-прежнему использует преимущественно ручную проверку, поскольку всё ещё не уверен в соотношении затрат и выгод представленных коммерческих предложений. Кроме того, журнал входит в рабочую группу изданий, всё ещё занимающуюся определением критериев работы соответствующего программного обеспечения. Пульвер не сомневается, что «в скором времени у нас появятся инструменты высокого уровня».
Пульвер беспокоится, что мошенники могут разведать принципы работы софта и использовать ИИ для создания фейковых изображений, которые не смогут определить ни ИИ, ни человек. Пока никто не продемонстрировал, чтобы такие изображения вообще использовались в научных работах. Тем не менее, в опубликованной в прошлом году статье на bioRxiv было высказано предположение, что можно создать поддельные изображения для работ в сфере биологии (например, вестерн-блот), неотличимые от реальных. Но исследователи работали над этой проблемой. CS (computer scientist) Эдвард Делп из Университета Пердью (Западный Лафайет, штат Индиана, США) возглавляет команду, выявляющую медиафейки, созданные ИИ, в рамках программы Управления перспективными исследовательскими проектами Министерства обороны США (US Defense Advanced Research Projects Agency, DAPRA). Команда сфокусирована на определении фейковых изображений в научных работах по биологии, таких как поддельные рентгеновские данные и данные микроскопии. Эдвард сказал, что у его команды есть один из лучших наборов детекторов генеративно-состязательной сети (generative adversarial networks, GAN) — способ противопоставления ИИ друг другу для создания реалистичных изображений. Научная работа, описывающая его систему, находится на рассмотрении.
Перекрёстные проверки изображений
Сейчас проверка изображений с помощью ИИ стала вполне обычным делом при работае с препринтами, но не с другими видами научных материалов. Считается, что это потребует гораздо более сложных вычислений, но создатели коммерческого и академического ПО говорят, что им по силам справиться с техническими сложностями и упростить процесс. CS Дэниел Акуна из Сиракузского университета (Нью-Йорк, США) в прошлом году проверил собственную программу на тысячах препринтах статей о коронавирусе, чтобы найти дубликаты.
Некоммерческая американская компания Crossref, объединяющая более 15 тысяч организаций и проводящая проверку работ на плагиат, в настоящее время проводит опрос, чтобы определить среди своих партнёров степень серьёзности проблемы с поддельными изображениями. По словам директора по продуктам Crossref Брайан Викери, компания также планирует узнать, планирует узнать, каким именно софтом сейчас пользуются партнёры и насколько им пригодилась бы услуга так называемого перекрёстного издателя.
В декабре STM Solutions (дочерняя компания STM, отраслевой группы научных издателей в Оксфорде, Великобритания) объявила о работе над облачным сервисом, объединяющим издателей «для проверки представленных статей на предмет проблем», сохраняя при этом конфиденциальность и приватность. Поиск следов подделки изображений, дубликатов и плагиата в научных журналах «занимает крайне важное место в нашей дорожной карте», сказал представитель STM Метт МакКей.
