[Перевод] PubPeer как инструмент анонимной экспертной оценки

С 2012 года интернет-форум PubPeer выполняет роль 4chan для науки, позволяя каждому размещать анонимные комментарии по поводу научных исследований. Изначально он предназначался для обсуждения методов и результатов, но теперь стал одним из самых известных информационно-аналитических центров для обвинений в научных ошибках, подделках и недостойном поведении. Благодаря ему журналы выпускали исправления, отзывали материалы, рушили карьеры, и в конечном итоге вовлекли сайт в судебное разбирательство, где его адвокатами выступала команда из объединения американских прав человека [American Civil Liberties Union, ACLU], работавшая с Эдвардом Сноуденом.

Критики считают, что PubPeer поддерживает нецензурируемый поток безответственных обвинений. Но сторонники говорят, что PubPeer – возможно, единственный эффективный способ разоблачения ошибок и фальшивок в текущей научной системе. Он работает во время тихого кризиса науки и научных журналов, когда сообщество волнуют проблемы неповторимости результатов – т.н. «кризис воспроизводимости», а количество отозванных работ возрастает. Традиционная система экспертных оценок не справляется с этими проблемами.

«Мы запустили проект, поскольку хотели получить более детальные аргументы по науке, и были шокированы тем, как много проблем существует с научными работами, включая весьма спорные практики исследований и вполне очевидные злоупотребления»,- говорит Брэндон Стел [Brandon Stell], невролог из Национального центра научных исследований в Париже, создатель PubPeer.

И возразить тут нечего. Согласно блогу Retraction Watch, следящему за исправлениями, ошибками и подделками в научных работах, работы не менее трёх высоко котирующихся учёных за несколько последних месяцев подверглись отзыву журналами после того, как их данные подвергли под сомнения анонимные комментаторы с PubPeer.

Один из учёных, Фазлул Саркар [Fazlul Sarkar], судится с несколькими комментаторами. Его адвокаты утверждают, что сайт должен выдать личности пользователей, повредивших его карьеру – он потерял своё рабочее место в Миссисипском университете. PubPeer отказался это делать. Google и Twitter написали для суда текст в поддержку сайта, который сейчас pro bono защищают адвокаты из ACLU.

Возможно, это одно из самых интересных дел, связанных с интернет-приватностью, из тех, о которых вы не слышали. Всё это растёт из разочарования в среде учёных непонятной политикой публикаций и экспертных оценок работ.

По сути, PubPeer – сайт, позволяющий всем комментировать любую научную статью, находящуюся в государственной базе данных PubMed, как анонимно, так и с подписью. Он очень простой, но возможность анонимных комментариев делает его безопасным местом для того, чтобы учёные – в особенности молодые – обсудили и покритиковали исследования, не опасаясь наказания. И это им очень хочется делать: на сайте с момента запуска насчитывается уже более 55 000 анонимных комментариев.

В октябре 2013 года некто начал обсуждать порядка 20 опубликованных работ за авторством Фазлула Саркара, исследователя в области рака из Государственного университета Уэйна в Мичигане. Работы публиковались более 10 лет, и описывают различные сложные молекулярные сигнальные системы рака. Но вопросы, поднятые комментариями, были прямые: комментаторы утверждали, что изображения в разных работах были скопированы и слегка изменены, что намекало на возможность отсутствия реальных экспериментов – или же на то, что эксперименты могли привести к другим результатам.

Стелл отметил, что для поддержания порядка и закона в дискуссии, PubPeer требует, чтобы комментаторы не обвиняли авторов напрямую в мошенничестве. Комментарии модерируются, поэтому такие обвинения всегда проходят довольно тихо.

Но это не делает самоназначенных сторожей менее эффективными. Самое страшное, что может увидеть исследователь на PubPeer, это «есть проблемы».

Обсуждение «проблем» в работах Саркара быстро разрослось, когда стало ясно, что комментаторы нашли золотую жилу: согласно базе данных от Государственного института здоровья и PubMed, Сакар получил более $12 миллионов в качестве финансирования, и опубликовал более 500 работ. Комментаторы работают довольно тщательно – они известны тем, что частенько выкапывают диссертации давностью в десятилетия в поисках «грязи». В целом на форуме можно найти 77 работ Саркара, подвергшихся тщательному изучению. Если сравнить их друг с другом, появляются тенденции. К примеру, один пользователь утверждает, что один и тот же набор изображений был размножен 54 раза по 13 работам в течение 3 лет. Судя по всему, общественность вскрыла активное околонаучное фотошопство, которое в течение десяти лет не замечали комитеты, редакторы и эксперты престижных журналов.

Многие посетители сайта перенимают такой вид расследований. «Я пришла на PubPeer частично из-за разочарования»,- говорит Элизабет Бик, микробиолог Стэнфордского университета и постоянный пользователь PubPeer. Она говорит, что комментирует от своего имени обсуждения научных преимуществ статьи, но остаётся анонимной в другой области деятельности: обнаружении манипуляций и подделок изображений в работах. Бик говорит, что в своих обсуждениях не касалась работ Саркара.

«В некоторых случаях я жаловалась редакторам журналов,- говорит она. – Это был наиболее честный способ, который к тому же даёт возможность авторам ответить, но я разочаровалась, видя, что многие редакторы не отвечали мне, или отвечали как-то вроде ‘Мы расследуем этот вопрос’, а затем – тишина».

Другие учёные в беседах со мной говорили примерно то же самое, и их не покидало чувство, что того, кого они критиковали, старались покрывать.

В ответ на наш вопрос по поводу беспокойства учёных, представитель Nature Research ответил по электронной почте, что переданные им работы «проходят тщательный экспертный контроль» и предполагается, что работы выполнены «добросовестно». Они автоматически проверяются на предмет плагиата и манипуляций с изображениями, и редакторы вместе с экспертами могут исправить что-то или отозвать работу в случае подозрений.

«Мы серьёзно относимся ко всем подозрениям по поводу опубликованных работ, исходят они от конкретных людей или из анонимных источников, и рассматриваем все случаи отдельно»,- написали они.

Представитель Cell Press также утверждает, что редактора стремятся исправлять научные записи, отметив, что «поскольку мы сохраняем конфиденциальность расследований, мы не сообщаем их детали тем людям, которые поделились своими подозрениями».

Многие наблюдатели не верят в то, что журналы и другие посредники делают всё, что могут. «Десятилетиями исследователи и редактора игнорировали анонимные и критические комментарии, пока не добивались идентификации»,- говорит Иван Оранский из Retraction Watch. Он говорит, что через его сайт постоянно обращаются критики и информаторы, но объём этих жалоб слишком велик для небольшого штата журналистов. По его словам, PubPeer предоставляет критикам отдушину.

Обвинение в подлоге – это вам не игрушки, особенно для обвиняемого. Обвинения Саркара не были лишь праздными упражнениями: как это часто бывает с популярными тредами на PubPeer, люди отправили обнаруженные проблемы по всем официальным каналам, способным сделать хоть что-либо, включая публиковавшие эти исследования журналы и его сотрудников.

К сожалению для Саркара, это произошло в критический момент его карьеры. Согласно документам суда, полученным Retraction Watch, в июне 2014 года он уволился из Государственного университета Уэйна, приняв престижное предложение из Миссисипского университета, включавшее оплату открытия лаборатории и жалованье в $350 000. Но всего лишь за 11 дней до предполагаемого начала работы, когда он уже присмотрел себе домик в Оксфорде, предложение отозвали. И всё из-за расследования, начавшегося на PubPeer.

Согласно документам из суда, в письме от 19 июня 2014 года от Ларри Уокера [Larry Walker], директора Государственного исследовательского центра естественных продуктов в Миссисипском университете рака, и главного контакта Саркара, указано, что Уокер получил из анонимного (?) источника цитаты с сайта PubPeer.com, касающиеся нескольких работ Саркара. Письма якобы были разосланы и другим исследователям в университете, в результате чего все новые коллеги Саркара оказались в курсе дела ещё до того, как он появился на рабочем месте.

Саркар в ответ подал в суд на университет за отзыв предложения и на несколько анонимных комментаторов с PubPeer за клевету. В январе 2016 года судья закрыл дело против Миссисипского университета, но дело против PubPeer всё ещё идёт. Адвокаты Саркара утверждают, что комментаторы не просто обсуждали его работы, но атаковали его лично. Они послали в PubPeer судебное требование о выдаче имён и IP-адресов комментаторов.

PubPeer стартовал как хобби одного молодого учёного и его коллег, поэтому он не был хорошо подготовлен к защите в суде. Но его кредо как анонимной платформы для информаторов привело к тому, что он оказался на волне дебатов о приватности и раскрытии персональных данных, кипевших через год после первого выпуска документов АНБ Сноуденом.

«Я получил это письмо от анонима, который списывался с Беном Визнером, и Бену будет интересно поговорить с нами об этом»,- говорит Стелл. Бен Визнер, директор проекта ACLU «Речь, приватность и технологии» и один из адвокатов Эдварда Сноудена. «Мне сказали, что он хочет помочь, и я ужасно обрадовался!» ACLU быстро организовала команду, приступившую к защите PubPeer совершенно бесплатно.

«Не то, чтобы людей швыряют в застенки, но научные дискуссии страдают, если учёные не могут высказываться свободна, не опасаясь, что их текущие или будущие начальники узнают об этом»,- говорит Александр Абдо, главный адвокат в ACLU и один из членов команды, работающий над делом PubPeer. «Нужно сжечь все мосты перед тем, как начать публичную критику. Анонимность даёт пространство для манёвра». «Я думаю, что PubPeer пытается использовать анонимность по той же причине, по которой её защищает конституция. Анонимность защищает вас от тех, кто мог бы наказать вас за ваши взгляды»,- добавляет он.

Стелл, основатель PubPeer, соглашается. «Если мы попытаемся высказать своё мнение по поводу работы наших коллег, это может привести к серьёзным последствиям для наших карьер»,- говорит он.

А Николас Румель [Nicholas Roumel], партнёр в мичиганской фирме NachtLaw, представляющий Саркара, утверждает, что анонимные комментаторы защищены лучше, чем их цель, которая не может даже обратиться к ним по имени. «Конечно, анонимным комментаторам можно защищаться Первой поправкой. Проблема в том, что нужно ли защищать анонимные свидетельства больше, чем не-анонимные. Трусы, размещающие анонимные обвинения, больше заслуживают защиты, потому что они боятся преследований – но они без сомнений уничтожают карьеры так, как это произошло с доктором Саркаром, действуя из засады. Это лицемерие».

Румель, указавший, что является членом ACLU и председателем местного комитета ACLU, утверждает, что его клиента судят жёстче, чем его обвинителей, и что отправляя памфлеты в поддержку PubPeer, гиганты вроде Google и Twitter соглашаются с идеей, которую он считает тревожной. «Они говорят, что жертвам, вроде доктора Саркара, должно быть тяжелее доказывать свою невиновность, судясь с анонимами»,- говорит он. Сам Саркар не стал давать комментариев по поводу этой истории.

Пока что дело находится в патовой ситуации. В марте 2015 судья отклонил запрос на выдачу данных о пользователях PubPeer – правда, кроме одного. Его вклад в дискуссию адвокаты Саркара сочли наиболее вредным. PubPeer приказали выдать всю информацию по этому пользователю, включая IP-адрес.

ACLU подала апелляцию на это решение, а адвокаты Саркара подали апелляцию на решение судьи отклонить запросы на выдачу информации по остальным пользователям. Слушания назначены на октябрь.

Что интересно, согласно данным адвокатов Саркара, тот самый злостный пользователь пользовался емейлом, принадлежавшим «Клэр Фрэнсис». Фрэнсис – это псевдоним, пользуясь которым, различные учёные примерно с 2010 года уже отправили сотни (а возможно, и тысячи) анонимных писем редакторам журналов. Плодотворность псевдонима заставила издателя-гиганта Elsevier выпустить специальные правила для редакторов, предписывающие порядок обработки этих писем. Несомненно, на это повлияла привычка «Фрэнсис» отправлять копию писем в New York Times.

Выходит, что это судебное дело потенциально может раскрыт одну из самых долгоживущих загадок научных публикаций и раскрыть личность или личности, ответственные за явление под названием «Клэр Фрэнсис».

Хотя дело тормозит, карьера Сакара повреждена. Уже тринадцать его работ были отозваны из журналов, опубликовавших их (сразу шесть из них – за один месяц), а имя Саркара числится в списке увольняющихся из Университета Уэйна в этом году.

Но многие члены научного сообщества не спешат доверять слишком сильно возможностям общества анонимов. Редакторы двух крупных журналов выступают против такой критики. Майкл Блатт, редактор Plant Physiology, напрямую обратился к PubPeer. В колонке редактора Блатт согласился, что способ борьбы с подлогом в его области, биологии растений, должен существовать. При этом он говорит, что «анонимность, это не ответ, если вашей целью являются законные методы и защита невиновных».

Множество пользователей PubPeer выражают беспокойство, что анонимные комментаторы могут преследовать личные цели или ошибаться. «Однозначно есть случаи, в которых видно, что у комментатора есть скрытые мотивы»,- сказал один. Другой предположил, что в некоторых случаях бывший студент или сотрудник может выдвигать неподкреплённые обвинения из-за плохого опыта сотрудничества.

Но и в случае искренних намерений есть опасность ошибочных обвинений. Бик, микробиолог из Стэнфорда, рассказала, что она, один раз пытаясь разоблачить манипуляцию изображениями через PubPeer, ошиблась. Самые простые случаи ложных обвинений быстро разбираются либо самими комментаторами, либо авторами работ. Но авторам неприятно, что эти дискуссии в публичном доступе оказываются связанными с их работами. Бик говорит, что с тех пор стала более аккуратной.

Но научные подлоги, возможно, встречаются чаще, чем мы думаем. Бик превратила свой интерес к разоблачению манипуляций с изображениями в отдельную тему для исследований, и недавно даже опубликовала по ней работу. Вместе с соавторами они показали, что почти 4% изображений из 20 000 рассмотренных работ – «проблемные», многие из них содержат признаки манипуляций. В работе они пишут, что если у автора есть одно такое изображение, велика вероятность, что есть и другие, при этом в некоторых журналах эта проблема встречается чаще, чем в других.

Пока получается, что лучшим способом обратить внимание на такие проблемы остаётся анонимное сообщение. Как указал Оранский из Retraction Watch, в самом PubMed недавно появилась система комментариев, привязанная к емейл-адресам учёных, позволяющая оставлять под работами комментарии от своего настоящего имени. Но сравнимых результатов она не даёт. «Нет случаев отзыва работ, связанного с комментариями. Анонимность – это ключ».

Стелл говорит, что хотя он надеется вдохновить людей использовать настоящие имена и развивать научные дискуссии, он всё равно планирует поддерживать PubPeer как эффективную платформу для информаторов. Он говорит, что сайт увеличивает анонимность пользователей, храня как можно меньше информации о них, облегчая заход на сайт через Tor, и работает над тем, чтобы вдохновить больше людей использовать настоящие имена.

Идея в том, что когда все учёные, а не только выбранные эксперты, смогут оценивать исследования на публичном форуме, подделки и негодные данные перестанут быть такой проблемой. Но пока основатели PubPeer ведут пользователей от жёсткой иерархии научных журналов к более качественной научной дискуссии, сообщество может продолжать свою работу в роли непокойной совести для сильных мира сего, используя анонимность и интернет для очистки науки доступными им способами.