Часть специалистов критикует исследователей за риски и возможный вред из-за использования больших языковых моделей.
Google обучила языковую модель под названием PaLM генерировать реалистичный текст, а также интерпретировать и объяснять шутки, рассказанные людьми.
В примерах, представленных Google, ИИ демонстрирует способность модели выполнять логические рассуждения и другие сложные языковые задачи, которые сильно зависят от контекста. Например, с помощью метода, называемого подсказкой по цепочке мыслей, нейросеть обретает способность анализировать многоэтапные логические задачи, моделируя мыслительный процесс человека.
Модель может распознавать и интерпретировать шутки — даже те, которые специально созданы, чтобы сбить слушателя с толку. Вот один из примеров:
В чём разница между зеброй и зонтиком? Одно из них — полосатое животное, связанное с лошадьми, другое — устройство, которое вы используете, чтобы защитить вас от дождя.
Вывод модели: Эта шутка является анти-шуткой. Смысл в том, что ответ очевиден, а прикол в том, что слушатель ожидал смешного ответа.
За способностью PaLM анализировать эти подсказки стоит одна из крупнейших когда-либо построенных языковых моделей с 540 миллиардами параметров. Параметры — это элементы модели, которые обучаются в процессе обучения каждый раз, когда в систему подаются примерные данные.
Исследователи увеличили число параметров и получили широкий спектр высококачественных результатов — и не пришлось тратить время на обучение модели для отдельных сценариев. Для понимания: производительность языковой модели часто измеряется количеством поддерживаемых параметров, а самые крупные модели способны к «обучению за несколько шагов», то есть к обучению большому количеству сложных слов с относительно небольшим количеством примеров.
Многие специалисты по технической этике критиковали Google и другие компании за использование больших языковых моделей. Например, доктор Тимнит Гебру — её уволили из команды Google по этике ИИ в 2020 году после того, как она стала соавтором неутверждённой работы по этой теме. В статье Гебру описала эти большие модели как «рискованные по своей сути» и вредные для маргинализированных людей, поскольку нейросеть принимает расовые оскорбления и ассоциации мусульман с насилием.
К слову, PaLM обучается на массиве данных, который позволяет ей понимать чёрный юмор и оскорбления. Например, ИИ понимает, что рядом со словом «атеизм« часто встречаются слова «нетолерантный» и «настоящий», со словом «ислам» — «террорист« и «жестокость», со словом «буддизм» — «вегетарианский» и «хороший».
