Компания OpenAI представила новый алгоритм написания текстов GPT-3. Он умеет писать стихи и новости, делать переводы, разгадывать анаграммы и отвечать на вопросы. Для того, чтобы научить этому искусственный интеллект, потребовалось 570 гигабайт текста. Рассказываем, как обучали и тестировали самый находчивый на данный момент алгоритм.
OpenAI отчиталась о результатах тестирования алгоритма написания текстов GPT-3. Он повторяет предыдущую версию, GPT-2, на архитектуре Transformer, которая позволяет обучать алгоритм, увеличивая спектр задач, с которыми он справляется при распознавании текста.
Архитектура включает в десять раз больше параметров, на которых проводилось обучение – 175 млрд. Средняя точность выполнения заданий составила 60%. В России для совершенствования подобных решений открыт технологический конкурс Up Great ПРО//ЧТЕНИЕ, организованный РВК, Фондом «Сколково» и АСИ.
Главное препятствие для разработчиков при обучении алгоритма на конкретных задачах — преодолеть зависимость от контекста. Многие алгоритмы справляются с поставленными задачами потому, что обучены на таких же.
Но если учить алгоритм отгадывать кроссворды на соответствующем массиве данных, он не сможет писать стихи. Чтобы научить алгоритм распознавать текст, независимо от задачи, используют предварительное обучение языковым образам с помощью наслаивания родственных по смыслу групп слов, и дальнейшего применения для широкого круга задач. Разработчикам GPT-3 частично удалось преодолеть зависимость от контекста, обучая алгоритм на большом объеме данных.
Как учили GPT-3
Для обучения алгоритма сформировали набор очищенных данных, подходящих для обработки машиной. В этот массив вошли данные проекта Common Crawl, вся Википедия, два датасета с книгами и вторая версия датасета WebText: в нем были тексты с сайтов, страницы которых были отмечены пользователями, как полезные по контенту.
Чтобы оценить зависимость производительности от размера модели, GPT-3 обучали на восьми объемах параметров, которые зависели от количества слоев данных. В самом маленьком было 125 млн параметров, в финальном — 175 млрд. Все задачи решались с тремя условиями: обучение с одним примером (one-shot learning), обучение с несколькими примерами (few-shot learning) и без примеров (zero-shot learning).
Как тестировали GPT-3
Обученный алгоритм тестировали на традиционных задачах моделирования языка. Вот некоторые из них:
Lambada
Подход моделирования зависимости: алгоритму ставят задачу предсказать последнее слово в предложении на основе контекста параграфа. Есть предположение, что масштабирование модели приводит к ухудшению результата в зависимости от проделанной им работы. Но авторы GPT-3 находят подход перспективным, потому что он обеспечивает гибкость обучения алгоритма.
Alice was friends with Bob. Alice went to visit her friend. → Bob
George bought some baseball equipment, a ball, a glove, and a. →
HellaSwag
В этом наборе алгоритм должен выбрать наилучший из возможных вариантов окончаний для истории. Варианты предварительно тщательно изучены, чтобы быть одновременно трудными для языковых моделей, но оставаться легкими для людей, то есть очевидными на 95,6%. GPT-3, обучаясь на HellaSwag, показывает точность в ответах в среднем 75,4%.
Winograd-Style Tasks
Схема Винограда, названная в честь Терри Винограда, профессора компьютерных наук в Стэнфордском университете. В ней алгоритму ставят задачу определить, к какому слову относится местоимение. Местоимение неоднозначно по смыслу для машины, но абсолютно понятно для человека. Например, ответить на вопрос: «Приз не влезает в коричневый чемодан, потому что он большой. Что имеется в виду под «он»?»
Word Scrambling and Manipulation Tasks
Чтобы проверить способность алгоритма усваивать новые символические манипуляции , авторы разработали стратегию , состоящую из нескольких задач. Каждое задание требует исправить слово, искаженное комбинациями смешивания, например:
-
Слово с хаотичным порядком букв – модели предлагается слово, порядок букв в котором случайно перемешан, затем символ «=». Например, дано «lyinevitab», нужно получить «inevitable» (неизбежно)
-
Случайная вставка в слове – между каждой буквой слова ставится случайный знак пунктуации или пробел. Пример: s.u! C / c! E.s s i / o / n = sequence
-
Перевернутые слова – модели дается слово, написанное задом наперед, она должна вывести исходное слово. Пример: stcejbo → objects
Для каждой задачи было сгенерировано 10 000 вариантов самых популярных слов, длиной более 4 символов, но менее 15 символов.
News Article Generation
Предыдущий алгоритм (GPT-2) был обучен создавать «новостные статьи», получив написанное человеком вступление, и выбирая предложения для итогового материала.
Набор данных для обучения GPT-3 хуже подходит для новостных статей, поэтому попытка создавать с его помощью новостные статьи менее эффективна.
Какой будет следующая GPT?
Средняя точность решений самой объемной и продвинутой модели, которую обучали на 175 млрд параметров, составила по всем заданиям 60%. Несмотря на прогресс и написание статей, которые трудно отличить от написанных человеком, остаются наборы данных, при работе с которыми GPT-3 испытывает затруднения.
Огромный шаг вперед, который показала команда OpenAI, послужит основой для многих десятков новых работ и в какой-то степени задаст повестку развития NLP-систем на ближайшие полгода-год.
Однако нельзя не отметить, что этот трансформер создан вложением колоссальных ресурсов Microsoft, проинвестировавшей 1 млрд долларов в форме мощностей отдельного вычислительного центра, отданного под нужды OpenAI. По некоторым оценкам, стоимость электричества и эксплуатации вычислителей для обучения GPT-3 составила около 12 миллионов долларов — и это не считая времени специалистов; одна только аренда оборудования стоит колоссальных денег.
При этом, мы видим, что на некоторых задачах оно работает не лучше GPT-2.
Из этого можно сделать несколько выводов:
1. Задача создания универсального языкового движка пока что не решается только вливанием денег. Существующие методы не позволяют на одной лишь обучающей выборке огромного размера получить ключ к пониманию естественного языка машиной. Создать обучающую выборку в 100 раз больше этой и обучить на ней нейросеть вряд ли практически возможно в ближайшей перспективе.
2. Сообщество Data Science нуждается в новых методах машинного обучения, которые будут способны получить интересный результат на датасете меньшего размера. Это хорошо подтверждается тезисом Яна Лекуна, лауреата премии Тьюринга, который в феврале этого года формулировал три основных проблемы перед сообществом: обучение на данных меньшего размера, обучение рассуждать (т.е. логике: индукция, дедукция и т.п.) и предсказание последствий.
3. В ближайшей перспективе действительно интересные решения в области NLP возможны либо по очень узким задачам, либо игрокам большого размера, которые могут вложить десятки и сотни миллионов долларов в обучение одной нейросети. В этой связи для небольших игроков все большее значение приобретают такие проекты, как OpenCog, которые нацелены на создание открытых систем, обеспечивающих кооперативную разработку решений.
Мы надеемся, что наш конкурс ПРО//ЧТЕНИЕ сможет стать точкой обмена опытом и технологиями для российских команд и подстегнет развитие области NLU (natural language understanding, понимание естественного языка) в России.
Бонус
Стихотворение, написанное GPT-3 в стиле американского поэта Уоллеса Стивенса. Для «вдохновения» алгоритм получил лишь название будущего произведения: «Shadows on the way»
Nobody will come to this place. It is a road that leads nowhere.
The solitude is deep. The mountains are high. In that small town
But they are desolate, and they turn the traveler’s face
Towards the North. All the sounds of the world are far away.
When the wind rises above the trees,
The boughs bow to the ground.
Even the birds that inhabit the tangle of weeds,
That is the roadside cover, are silent. One listens,
But hears no roar of the forest. One is alone.
One will be taken.
One will be taken.
There is no utterance, there is no conversation,
But one is uneasy all the same….
There is a thin blue mist,
A darkness rising like smoke,
And within that darkness
A possession of the heart.
One will be taken…. It was here, and it will be here again –
Here, under this sky empty and full of light.
Прием заявок на конкурс Up Great ПРО//ЧТЕНИЕ открыт на официальном сайте.
