Алгоритм выдаёт текст, который лишь кажется осмысленным, и на самом деле просто изящно связывает данные.
В мае 2020 года OpenAI представила третью версию языковой модели GPT, которая позволяет генерировать текст, который не всегда можно отличить от того, что написал бы человек. В июле доступ к нейросети начали выдавать отдельным желающим, которых одобрили в компании, а разработчики в соцсетях начали восторгаться возможностям системы.
TJ рассказывает, в чём отличия GPT-3, на что способна нейросеть и почему пока далека от настоящего ИИ, но уже может всерьёз изменить жизнь людей.
Что такое GPT-3 и чем она отличается от предшественников
На момент написания этого материала GPT-3 представляла собой самую сложную языковую модель. Среди других подобных алгоритмов её выделяет «натренированность»: система обучена на 1,5 триллионах слов, а её самая крупная версия занимает около 700 гигабайт.
GPT-3 генерирует текст на основе 175 миллиардов параметров — это значение отражает её вычислительную мощность. В зависимости от количества параметров система лучше или хуже оценивает данные и придаёт каким-то из них большее значение, а каким-то меньшее.
Суть работы нового алгоритма по сравнению с прошлой версией не изменилась. Нейросеть анализирует огромные массивы данных из интернета и на их основе пытается предсказать текст слово за словом, но ей всё равно нужна точка отсчёта — какой-то запрос, с которым можно работать.
Причём, чем больше входных данных дать системе и чем больше у неё будет попыток, тем убедительнее может получиться текст. Например, если дать ей начало известной поэмы в стиле одного автора, она сможет продолжить её в стиле другого.
GPT-3 продолжает подход OpenAI, заложенный в GPT и GPT-2. Обе первые версии системы были адаптацией Transformer — алгоритма Google, который впервые применили в 2017 году. Его ключевой функцией было «внимание» — возможность вычислять вероятность появления того или иного слова среди других слов.
OpenAI развивала свои модели вокруг этой функции, постоянно наращивая количество параметров. В 2019 году GPT-2 уже работала с 1,5 миллиардами параметров и угодила в скандал. Тогда алгоритм научили генерировать фейковые новости и не стали сразу выпускать в открытый доступ, опасаясь вреда, который он может нанести.
В GPT-3 параметров стало в сто раз больше, а для обучения авторы использовали вдвое больше данных, чем в GPT-2. В OpenAI утверждают, что это позволило добиться «мета-обучения»: например, нейросети не нужно каждый раз переобучаться, чтобы закончить предложение — если дать ей пример, она продолжит завершать все незаконченные предложения.
GPT-3 нельзя свободно использовать: пока OpenAI даёт доступ только отдельным разработчикам и исследователям в рамках закрытого бета-теста — для этого нужно заполнить объёмную заявку и дождаться её рассмотрения. Но даже после окончания тестирования нейросеть не выпустят в открытый доступ — её планируют продавать для бизнеса по подписке.
Дизайн, музыка, истории — что уже может GPT-3
Хотя доступ к системе получили лишь немногие желающие, меньше чем за месяц алгоритм успели протестировать в самых разных сценариях: от написания песен, до создания кода и музыкальных аранжировок. По словам одного из испытавших систему разработчиков, в большинстве случаев система выдаёт убедительный результат если не с первой, то со второй или третьей попытки.
В основном, с помощью GPT-3 генерировали обычный текст: истории, песни, пресс-релизы и техническую документацию. Но один из разработчиков пошёл дальше и попросил нейросеть написать текст о самой себе — получилась статья с заголовком «GPT-3 от OpenAI может стать величайшим явлением после Bitcoin».
В материале автор рассказывал, что обучил нейросеть на собственных постах с форума bitcointalk, а потом публиковал записи, сгенерированные алгоритмом, и этого никто не заметил. Но в конце разработчик признался, что история выдумана и её написала GPT-3, хоть и не с первой попытки.
Другие разработчики обнаружили, что GPT-3 может генерировать любой вид текстовой информации, в том числе табулатуры для гитары и компьютерный код. Так разработчик Шариф Шамим показал, что система может работать с HTML-разметкой вместо естественного языка и создавать вёрстку по текстовым запросам. Например, можно сказать, какая кнопка и оформление должны быть у сайта — и нейросеть их визуализирует.
Помимо этого, с помощью GPT-3 Шамим создал простой генератор приложений на основе React. Достаточно написать, что должна делать программа: алгоритм сам переведёт запрос в несложный код.
Другой разработчик создал плагин для Figma на основе GPT-3, который позволяет создавать дизайн, просто давая нейросети текстовое описание.
Некоторые спрашивали у GPT-3 сложные технические вопросы, и получали корректные пояснения. Так один из разработчиков задал вопрос на медицинскую тематику, указал нейросети на корректный ответ и получил от неё развёрнутое пояснение, почему именно этот вариант ответа верный.
Один из разработчиков создал полнофункциональный поисковый движок на основе GPT-3. Он выдаёт конкретный ответ на любой вопрос и позволяет сразу узнать подробности в Википедии или в другом ресурсе, связанном с вопросом.
В одном из примеров американский студент две недели публиковал в блог тексты об успехе и мотивации, сгенерированные GPT-3. Из любопытства он запустил продвижение блога и получил 26 тысяч посетителей, из которых почти никто не догадался, что тексты написаны алгоритмом, а тех, кто догадался, минусовали другие пользователи.
Авторы бесплатной текстовой квест-игры AI Dungeon также получили доступ к GPT-3 и обновили приложение. Они утверждают, что после этого игроки получили полную свободу действий: система корректно реагирует на все запросы и придумывает мир на их основе.
Среди других примеров — чат-бот для изучения языков, который позволяет разговаривать на выбранном языке и корректирует пользователя, если тот допускает грамматическую или стилистическую ошибку. Помимо этого, система может корректно рассчитывать химические реакции, поговорить о боге и позволяет обращаться к SQL с помощью запросов на естественном языке и не только — разработчики создали отдельный сайт, на котором собирают примеры использования GPT-3.
GPT-3 — не настоящий искусственный интеллект, но способен всерьёз повлиять на мир
В последние годы искусственным интеллектом стало принято называть практически всё, что касается нейросетей и алгоритмов машинного обучения — так проще и многим журналистам, и пользователям, которые не связаны с разработкой. Однако на самом деле до настоящего ИИ человечеству ещё далеко, а в GPT-3 нет, собственно, «интеллекта».
Хотя многие первые пользователи GPT-3 говорили, что алгоритм пишет текст, неотличимый от человеческого, и выдаёт осмысленные предложения, на самом деле внутри это всё тот же генератор текста по запросу — со всеми достоинствами и недостатками. Многие ошибочно считают, что система «понимает» контекст: на самом деле она оценивает связи между отдельными словами и расставляет наиболее вероятные слова друг за другом.
Универсальность и аккуратность GPT-3 — результат хорошей работы инженеров, а не «ума» алгоритма. В лучшем случае нейросеть умело бросает пыль в глаза, выдавая текст, похожий на человеческий, но даже таким примерам не хватает глубины проработки: это больше похоже на копирование и вставку готовой информации, нежели на осмысленный подход.
Как отметил исследователь в области ИИ Джулиан Тогелиус, зачастую GPT-3 ведёт себя как студент, который не подготовился к экзамену заранее и теперь несёт всякую чушь в надежде, что ему повезёт. «Немного известных фактов, немного полуправды, и немного откровенной лжи, соединённые воедино, на первый взгляд кажутся стройной историей», — пояснил разработчик.
Отсутствие «интеллекта» в подобных GPT-3 моделях подтверждается и исследованиями. В 2019 году команда учёных из Школы Пола Аллена и Вашингтонского университета выяснила, что даже самые лучшие языковые алгоритмы можно легко поставить в ступор, задавая всё более абсурдные вопросы.
В результате исследователи пришли к выводу, что ни одна нейросеть просто не понимает контекст беседы, поэтому не может нормально реагировать на глупые вопросы. По их данным, производительность людей в продолжении фраз составляет 95%, а у машин — ниже 50% для любой модели, включая Google Bert, похожий на GPT-2.
Как отметили учёные, основная задача осталась нерешённой. Машины всё ещё не могут делать логические выводы из текста и выводить одно из другого, как люди.
В этом смысле GPT-3 не слишком превосходит, к примеру, «нейрокомментарии», которые тоже могли продолжить фразу за пользователей. Иногда везло и получалось смешно, но чаще — абсурдно и неуместно: до нормального варианта можно было кликать достаточно долго.
Исследователи считают, что подход в наращивании параметров и данных для обучения моделей сам по себе может оказаться неверным. По оценкам учёных, если не улучшить сами алгоритмы, достижение человеческой производительности в написании текстов займёт у машин примерно 100 тысяч лет.
С критикой согласны и создатели GPT-3: авторы проекта с самого анонса писали, что у системы есть недостатки — в том числе в достижении значимой точности понимания связей между двумя предложениями. По их словам, система справляется с такими вещами «чуть лучше, чем случайно».
Как поясняли в OpenAI, создатели сами не до конца понимают, почему у GPT-3 не получается справиться с некоторыми задачами, несмотря на увеличение числа параметров. В конце концов авторы проекта пришли к выводу, что расширение модели с помощью большого количества данных и попытки предсказать язык могут быть в корне неверным подходом.
После начала закрытого тестирования GPT-3 один из сооснователей OpenAI Сэм Альтман даже попытался успокоить шумиху вокруг нейросети. Он пояснил, что команде приятно получить столько внимания, но у системы «есть серьёзные недостатки и иногда она делает глупые ошибки».
Искусственный интеллект изменит мир, но GPT-3 это лишь очень ранний проблеск. Нам ещё многое нужно понять.
Однако недостатки GPT-3 не влияют на полезность нейросети как прикладного инструмента. Хотя алгоритм пока не может заменить человека, он может серьёзно упростить жизнь людям в целом.
Даже по первым примерам от небольшой части разработчиков видно, как много разных применений можно найти GPT-3 и сколько сложных задач она может облегчить. Уже в 2020 году OpenAI запустит коммерческую версию инструмента, а значит совсем скоро обычные пользователи столкнутся с продуктами на его основе.
Сложно сказать, насколько далеко зайдёт внедрение системы, но её можно будет использовать почти в любой деятельности: от обучения языкам и программированию до упрощения ежедневной рутины. Например, легко представить, что через год достаточно будет «скормить» этот материал какому-нибудь боту на основе GPT-3 и получить в ответ десять вариантов заголовка лучше, чем нынешний за доли секунды — останется лишь выбрать самый подходящий.
