Во-первых, нарушен процесс независимой экспертизы (peer review). Четверть работ с конференции NeurIPS выкладывается на arXiv. В DeepMind есть исследователи, которые публично преследуют рецензентов, критикующих их представление ICLR. Кроме того, статьи известных институтов с arXiv принимаются на ведущих конференциях, даже если рецензенты решают отклонить работу. И наоборот, некоторые статьи с большинством положительных отзывов отклоняются (не хочу называть никаких имён, просто взгляните на страницу openreview ICRL этого года).
Во-вторых, существует кризис воспроизводимости. Видимо, настройка гиперпараметров на тестовом наборе стала стандартной практикой в настоящее время. У статей, которые не превосходят лучший на сегодняшний день метод, нулевые шансы быть принятыми на хорошей конференции. В результате гиперпараметры настраиваются тонкими трюками, чтобы получить прирост производительности там, где его нет.
В-третьих, существует проблема поклонения. Каждая статья, имеющая отношение к Стэнфорду или DeepMind, превозносится как прорыв. Например, у BERT цитирований в семь раз больше, чем у ULMfit. Принадлежность к Google придаёт статье очень много доверия и известности. На каждой конференции ICML перед каждым плакатом DeepMind стоит толпа людей, независимо от содержания работы. Та же история с Zoom-встречами на виртуальной конференции ICLR 2020. Более того, NeurIPS 2020 собрала в два раза больше заявок, чем ICML, хотя обе конференции высшего уровня. Почему? Почему слово «нейронный» так превозносится? Далее, Бенгио, Хинтон и ЛеКун [лауреаты премии Тьюринга 2018 года за исследования в области ИИ — прим. пер] действительно являются пионерами глубокого обучения, но называть их «крёстными отцами ИИ» — безумие. Это уже становится культом.
В-четвёртых, Янн ЛеКун довольно мягко высказался о темах предвзятости и справедливости. Однако в ответ получил совершенно неадекватную токсичность и отрицательную реакцию. Избавиться от ЛеКуна и заткнуть человеку рот — это не решение.
В-пятых, у машинного обучения и информатики в целом огромная проблема неравенства (diversity). На нашем факультете CS только 30% студентов и 15% профессоров — женщины. Уход в отпуск по уходу за ребёнком во время аспирантуры или докторантуры обычно означает конец академической карьеры. Однако этим неравенством часто злоупотребляют как предлогом, чтобы оградить некоторых людей от любой формы критики. Сведение каждого негативного комментария в научной дискуссии к расе и полу создаёт токсичную среду. Люди боятся участвовать в дискуссиях, чтобы их не назвали расистами или сексистами, что, в свою очередь, усиливает проблему неравенства.
В-шестых, мораль и этика устанавливаются произвольно. В любой дискуссии доминирует внутренняя политика США. В этот самый момент тысячи уйгуров попадают в концентрационные лагеря, основанные на алгоритмах компьютерного зрения, изобретённых этим сообществом, и никому, кажется, вообще нет дела до этого. Добавление раздела «Более широкое воздействие» в конце каждой работы не решит эту проблему. Поднимаются кучи дерьма, когда какой-то исследователь не упомянут в статье. Между тем африканский континент с населением в 1 миллиард человек практически исключён из любого значимого обсуждения ML (кроме нескольких семинаров Indaba).
В-седьмых, распространён менталитет типа «перережь горло — опубликуй или умри». Если ты не публикуешь 5+ статей в год на конференциях NeurIPS/ICML, ты неудачник. Исследовательские группы стали настолько большими, что научный руководитель даже не помнит имён всех аспирантов. Некоторые подают на NeurIPS более 50 работ в год. Единственной целью написания статьи стало добавление ещё одной статьи NeurIPS в резюме. Качество вторично; основной целью стало прохождение стадии предварительного просмотра.
Наконец, дискуссии стали неуважительными. Шмидхубер обзывает Хинтона вором, Гебру обзывает ЛеКуна белым супрематистом, Анандкумар обзывает Маркуса сексистом, все подвергаются нападкам, но ничего не улучшается.
Альберт Эйнштейн выступал против квантовой механики. Пожалуйста, можно прекратить демонизировать тех, кто не разделяет наши взгляды в точности? Давайте позволим людям не соглашаться, не перерезая им глотки.
В тот момент, когда мы затыкаем людям рот из-за их мнения, научный и общественный прогресс просто умирает.
